AMD представила первую малую языковую модель (SLM), AMD-135M, которая относится к семейству Llama и ориентирована на частный бизнес.
По мере того как AMD наращивает свои мускулы в игре с искусственным интеллектом, она не только представляет новое оборудование, но и делает ставку на программное обеспечение, пытаясь занять новые сегменты рынка, в которых еще не доминирует Nvidia.
Новый релиз AMD выпускается в двух версиях: AMD-Llama-135M и AMD-Llama-135M-code, каждая из которых предназначена для оптимизации конкретных задач путем ускорения производительности выводов за счет использования технологии спекулятивного декодирования.
Базовая модель, AMD-Llama-135M, была обучена с нуля на 670 миллиардах токенов общих данных. Этот процесс занял шесть дней с использованием четырех 8-полосных узлов AMD Instinct на базе MI250.
Кроме того, код AMD-Llama-135M был доработан с использованием дополнительных 20 миллиардов токенов, специально направленных на кодирование, и эта задача была решена за четыре дня с использованием того же оборудования.
AMD считает, что дальнейшие оптимизации могут привести к еще более высокой производительности. Эксперты оценивают появление AMD-135M, как явный шаг в направлении удовлетворения потребностей конкретных клиентов с помощью предварительно обученной модели с использованием оборудования AMD для вывода.
