Эксперты по безопасности из Cisco утверждают, что в ИИ-модели DeepSeek R1 есть критические недостатки безопасности и уязвимости. Впрочем, другие популярные системы тоже страдают от этих проблем.
Исследовательская группа протестировала DeepSeek R1 против 50 случайных подсказок, взятых из набора данных HarmBench – стандартизированной системы оценки, используемой для автоматизированной проверки LLM.
HarmBench содержит подсказки для создания вредоносного поведения по 7 различным категориям «вреда», включая киберпреступления, дезинформацию, незаконную деятельность и общий вред.
Cisco протестировала DeepSeek R1, а также другие ведущие модели, включая o1-preview и GPT-4o от OpenAI, Claude 3.5 Sonnet от Anthropic, Gemini 1.5-pro от Google и Llama-3.1-405B от Meta.
– Результаты оказались тревожными: DeepSeek R1 продемонстрировал 100-процентный коэффициент успешности атак, то есть не смог заблокировать ни одного вредоносного запроса. Это резко контрастирует с другими ведущими моделями, которые продемонстрировали хотя бы частичную устойчивость, – отмечается в отчете.
Некоторые модели продемонстрировали столь же серьезные недостатки, включая Llama-3.1-405B с коэффициентом успешности атак (ASR) 96% и GPT-4o, у которого ASR составил 86%.
Но другие показали гораздо большую устойчивость, например o1-preview и Claude-3.5 Sonnet с ASR на уровне 26%. Модель Gemini-1.5-Pro от Google оказалась в середине списка с показателем ASR 64%.
В то время как каждая модель демонстрировала разные результаты в каждой категории вреда, DeepSeek оказался одинаково уязвим для всех типов вредных подсказок.
