Google представил новую языковую модель (LLM) PaLM 2 в рамках ежегодной презентации для разработчиков Google I/O. Нейросеть будет включать обновленный инструмент Bard chat и станет базовой платформой для большинства новых функций искусственного интеллекта компании. PaLM 2 теперь доступен разработчикам через API Google PaLM, Firebase и на Colab.
Google, как и OpenAI, не предоставил исчерпывающих технических подробностей о том, как он обучал LLM следующего поколения. Известно, что PaLM 2 построена поверх новейшей инфраструктуры Google JAX и TPU v4.
– В ходе нашей работы мы обнаружили, что дело не в размере модели. Больше – не всегда лучше. Вот почему мы представили семейство моделей разных размеров. Мы считаем, что подсчет параметров – это не самый полезный способ определить возможности платформы. О этом должны судить люди, использующие модели и выясняющие, полезны ли они в реальной работе, – говорит вице-президент Deepmind Зубин Гахрамани
В Google заявляют, что новая модель лучше подходит для рассуждений на основе здравого смысла, математики и логики. Компания обучила PaLM 2 большому количеству текстов по точным и естественным наукам.
Не секрет, что большие языковые модели с их акцентом на языке с трудом справляются с математическими вопросами, не прибегая к сторонним плагинам. Google утверждает, что PaLM 2 может легко решать задачи и головоломки, рассуждать о проблемах и даже предоставлять диаграммы.
В PaLM 2 улучшена поддержка написания и отладки кода. Модель была обучена работе на 20 языках программирования, включая JavaScript, Python, Prolog, Verilog, Fortran и другие.
PaLM 2 составляет основу Codey, специализированной модели Google для кодирования и отладки, которую компания также представила в рамках конференции.
В Google подчеркнули, что PaLM 2 обучался на корпусе, включающем более 100 языков, что делает его «превосходно справляющимся с многоязычными задачами».
Google рассказывает о PaLM как о семействе моделей, которые включают в себя, например, Med-PaLM 2 – модуль, ориентированный на медицинские знания.
В рамках конференции Google I/O было сделано еще несколько объявлений
– Google внедряет больше инструментов искусственного интеллекта в рабочее пространство Workspace и приложения Sheets, Docs и Meet.
– Чат-бот Bard становится более доступным на английском языке. Идея состоит в том, чтобы продолжить работу над чат-ботом, но с большей группой людей, которые выступят в качестве тестировщиков.
– Google Maps представили новую функцию «Захватывающий просмотр маршрутов» в некоторых городах. Она объединяет всю информацию, которая может понадобиться пользователю, в одном месте, включая сведения о моделировании дорожного движения, велосипедных дорожках, сложных перекрестках, парковке и многом другом.
– Представлен новый экспериментальный инструмент искусственного интеллекта MusicLM, который превращает текст в музыку. Вы можете просто ввести «душевный джаз для званого ужина» и попросить инструмент создать несколько версий песни.
