Microsoft навчає нову модель ШІ, достатньо велику, щоб конкурувати з основними LLM

Microsoft розробляє нову велику мовну модель (LLM) під кодовою назвою MAI-1, яка має потенціал конкурувати з LLM на базі ШІ, розробленими Google та OpenAI. Це вперше, коли Microsoft розробляє таку велику LLM з часу інвестування мільярдів доларів в OpenAI за права використовувати технологію останньої у своїх пакетах офісних програм.

Розробка MAI-1 здійснюється під керівництвом співзасновника Google DeepMind та Inflection Мустафи Сулеймана, згідно зі звітом The Information. У березні 2024 року до Microsoft перейшли декілька співробітників Inflection у межах угоди вартістю 650 мільйонів доларів.

Згідно зі звітом, опублікованим 6 травня, MAI-1 матиме приблизно 500 мільярдів параметрів, що ставить її між зареєстрованими одним трильйоном параметрів GPT-4 від OpenAI і 70 мільярдами параметрів ШІ-моделі Llama 3 від Meta. Очікується також, що вона буде «значно більшою» та дорожчою за будь-яку з попередніх менших відкритих моделей AI від Microsoft (Phi-3 і WizardLM-2), оскільки вимагатиме більшої обчислювальної потужності та навчальних даних.

Хоча MAI-1 може використовувати техніки й навчальні дані від Inflection, вона залишається відмінною від будь-яких моделей або технологій, вироблених OpenAI або Inflection. Згідно зі співробітниками Microsoft, знайомими з проєктом, MAI-1 є повністю новою LLM, розробленою внутрішньо Microsoft.

Microsoft ще не оголосила точну мету MAI-1, і її точне використання залежатиме від продуктивності. Тим часом компанія виділила великий кластер серверів з графічним процесором Nvidia і використовує великі обсяги даних із різних джерел для покращення моделі.

Повідомляється, що залежно від прогресу компанія може представити MAI-1 на конференції розробників Build пізніше цього місяця, але це не підтверджено.