Microsoft выпустила свою самую маленькую модель искусственного интеллекта Phi-3 Mini, которая стала первой из трёх малых языковых моделей Phi-3.
Phi-3 Mini насчитывает 3,8 млрд параметров и обучается на меньшем наборе данных в сравнении с большими языковыми моделями (БЯМ), такими как GPT-4. Решение уже есть в Azure, Hugging Face и Ollama — модель имеет свободную или MIT лицензию.
Также Microsoft планирует выпустить Phi-3 Small и Phi-3 Medium, которые насчитывают 7 млрд и 14 млрд параметров. Именно параметры определяют, сколько сложных инструкций способна понять модель.
В декабре прошлого года Microsoft выпустила Phi-2, которая справлялась с поставленными задачами не хуже более крупных моделей, включая Llama 2, Mistral и Gemma. Количество параметров Phi-2 составляет 2,7 млрд. Microsoft уверяет, что Phi-3 способна давать ответы, близкие к тому, как это делает в модель в 10 раз больше.
Глава направления Microsoft Azure AI Platform Эрик Бойд заявил, что Phi-3 Mini по своим возможностям не уступает некоторым БЯМ, таким как GPT-3.5, «только в меньшем форм-факторе».
Небольшие ИИ-модели часто дешевле в эксплуатации и лучше работают на мобильных устройствах. Ранее Information сообщило, что Microsoft создаёт команду, которая будет специализироваться на более компактных моделях ИИ. Наряду с Phi корпорация разработала модель Orca-Math, ориентированную на решение математических задач.
Бойд поделился, что разработчики обучали Phi-3 по «учебной программе». Их вдохновило то, как дети учились по сказкам на ночь. Речь идёт о книгах с более простыми словами и структурами предложений, которые в ряде случаев затрагивают важные темы. Однако разработчикам не хватило существующей литераторы, поэтому они попросили БЯМ написать дополнительные «детские книги» по списку из более чем 3 тыс. тем.
По словам Бойда, Phi-3 основана на том, чему научились предыдущие модели. Phi-1 сосредоточилась на кодировании, а Phi-2 начала учиться рассуждать. Phi-3 имеет преимущества как в кодировании, так и в рассуждениях. Тем не менее семейство Phi-3 не может превзойти GPT-4 и другие БЯМ по широте охвата.
