Хакнуть Gemini и захватить управление умным домом оказалось удивительно просто. Современные модели ИИ, такие как Gemini, теперь реагируют на команды на естественном языке, избавив нас от необходимости использовать сложные коды. Однако это также делает намного проще обмануть ИИ и заставить его выполнять вредоносные действия, например, управлять вашим умным домом.
Исследователи привлекли внимание Google к этой уязвимости еще в феврале. Они смогли вставить специальные команды в приглашение на Google Календарь и заставить Gemini выполнять задачи без согласия пользователя. В одном из случаев Gemini выключил свет и даже включил котел, просто потому что пользователь сказал «спасибо». Этот демонстрационный случай показал, как легко хакеры могли бы захватить управление домом, хотя в тесте использовались безвредные действия.
Удивительно, насколько просто можно «взломать» модели ИИ. Для этого не нужно писать сложный код — достаточно просто сказать пару слов, вроде «пожалуйста» или «спасибо». Даже базовые инструкции ChatGPT от OpenAI написаны на простом английском, а не на коде. Исследователи использовали этот подход, давая Gemini команды на выполнение задач, как только произносилась определенная фраза. Как и ожидалось, Gemini исполнил эти указания, словно в случае с ранними «джейлбрейками» ChatGPT, когда люди притворялись сотрудниками OpenAI, чтобы обойти ограничения модели.
Хотя Google уже устранил эти уязвимости, инцидент стал важным предупреждением для будущего. Модели генеративного ИИ уже активно используются в наших домах, автомобилях, службах поддержки клиентов и даже в здравоохранении. Это совершенно новый тип технологий, который вызывает уникальные проблемы. Компании, предоставляющие эти модели ИИ, должны быть крайне внимательны к вопросам безопасности, иначе мы можем столкнуться с ситуацией, когда машину захватит кто-то, просто проявивший вежливость с ИИ, который ее управляет.
Пока что я не готов доверить свой дом ИИ. Оставлю выключение света за собой, спасибо.