OWASP: искусственный интеллект породил новые угрозы в виде промпт–инъекций

Эксперты в области кибербезопасности из международной организации OWASP (Open Worldwide Application Security Project) завершили детальную работу по выявлению и классификации потенциальных проблем, связанных с приложениями на базе искусственного интеллекта. В 2023 году они представили первую версию списка угроз, связанных с внедрением ИИ. Об этом пишет DP.RU.

«Автотека»: оптимальный возраст для замены авто зависит от множества факторов

Наиболее распространенной уязвимостью является манипуляция входными данными, известная как промпт-инъекции. Злоумышленники могут создавать специально сформулированные запросы, которые вводят систему в заблуждение, отклоняя её от изначально задуманного сценария разработки, что приводит к неадекватным решениям и потенциально опасным действиям.

Суть атаки заключается в том, что для языковых моделей искусственного интеллекта не существует четкого разграничения между инструкциями и данными, которые они обрабатывают. Запрос в ИИ поступает в виде обычного текста, называемого промптом. Инструкции представляют собой вводную часть, тогда как вопрос пользователя является частью данных.

В качестве примера можно рассмотреть чат-бота интернет-магазина, который имеет доступ к базе данных заказов. При наличии правильно сформулированного запроса, такой бот может не только предоставить информацию о вашем заказе, но и «подсмотреть» историю покупок других клиентов.

Ранее «Национальная лента новостей» сообщала, что россияне могут в 2025 году посетить Западную Европу, выбрав безвизовые страны.