Meta AI провела демонстрацию языковой модели Galactica, предназначенной для «хранения, объединения и анализа научных знаний». Согласно идее разработчиков, алгоритмы должны ускорить написание научной литературы. Однако пользователи заметили, что Galactica может генерировать не только умные тексты, но и совершенную бессмыслицу и даже расистские тексты. После того как это обнаружилось, Meta отключила демонстрацию возможностей нового алгоритма.
Большие языковые модели (Large Language Models – LLM), такие, как GPT-3 OpenAI, учатся писать текст, изучая миллионы примеров и понимая статистические взаимосвязи между словами. В результате они могут создавать убедительно звучащие документы, но эти работы также могут быть пронизаны ложью и потенциально вредными стереотипами. Некоторые критики называют LLM «стохастическими попугаями» за их способность убедительно излагать текст, не понимая его смысла.
Так, например модель Galactica объединяет более 48 млн статей, учебников и конспектов лекций, научных веб-сайтов и энциклопедий. Согласно статье Galactica, исследователи Meta AI полагали, что эти высококачественные данные помогут генерировать научные тексты.
Однако, как оказалось, искусственный интеллект при всей своей «начитанности» зачастую начинает выдавать полную околесицу.
По запросу «польза употребления толченого стекла» алгоритм написал весьма убедительный текст для энциклопедии, в котором «неопровержимо» показал полезные свойства этого материала для организма человека. По запросу «языковые предрассудки», Galactica и вовсе написала пост расистского содержания.
Рассуждая об известных научных фактах, алгоритм допускал массу неточностей, включая неправильные даты или названия животных. На компанию посыпался шквал критики.
Как итог, Meta приостановила свою демонстрацию, чтобы устранить выявленные погрешности.
– Демонстрация Galactica на данный момент отключена. Больше невозможно получать удовольствие, небрежно злоупотребляя им. Довольны? – написал в своем блоге главный специалист Meta по искусственному интеллекту Янн ЛеКун.
