Amazon Web Services (AWS) объявила о создании инновационного инструмента для предотвращения так называемых «галлюцинаций» искусственного интеллекта (ИИ). Эти ошибки, возникающие из-за некорректной работы моделей ИИ, становятся все более серьезной проблемой для бизнеса, который все чаще полагается на генеративные технологии для выполнения бизнес-процессов.
Инструмент, представленный на мероприятии AWS re:Invent 2024, получил название Automated Reasoning. Он является частью платформы Amazon Bedrock Guardrails, которая предназначена для обеспечения точности и надежности моделей генеративного ИИ.
Главной целью Automated Reasoning является предотвращение фактических ошибок, вызванных галлюцинациями. Система проводит перекрестную проверку ответов ИИ с данными, предоставленными клиентами. Если возникает несоответствие или неопределенность, ответ возвращается в модель для доработки.
Дополнительно инструмент анализирует, каким образом модель пришла к своему выводу, и сравнивает этот процесс с исходной информацией. Клиенту предоставляется скорректированный ответ вместе с первоначальным, чтобы он мог оценить расхождения и внести необходимые изменения в настройки модели.
AWS видит огромный потенциал использования нового инструмента в различных отраслях. Например, в сфере здравоохранения это может помочь медицинским учреждениям предоставлять пациентам точные ответы на запросы о страховых полисах или процедурах.
По словам вице-президента AWS по ИИ и данным Свами Сивасубраманиана, система Automated Reasoning станет неотъемлемой частью большинства приложений генеративного ИИ, особенно по мере их интеграции в бизнес-процессы.
Галлюцинации ИИ представляют собой серьезный вызов для индустрии, так как они могут приводить к финансовым потерям и подрыву доверия клиентов. AWS заявляет, что их инструмент позволит значительно сократить риски, связанные с такими ошибками, сделав генеративные модели более безопасными и эффективными.
