Microsoft представила мовну модель Phi-4, яка при 14 млрд параметрів перевершила більші системи в задачах з математики та коду. Про це повідомляє TechCrunch.
Що сталося
Microsoft випустила Phi-4 — мовну модель нового покоління, яка при значно меншому розмірі показала результати, зіставні із найпотужнішими моделями. Phi-4 має 14 млрд параметрів — це значно менше, ніж у GPT-4 або Gemini 1.5. Водночас вона випереджає їх у завданнях з розв’язання математичних задач і програмування.
Згідно з результатами тестів:
- MATH (олімпіадні задачі) — 80,4%.
- GPQA (глибокі питання з природничих наук) — 56,1%.
- HumanEval (генерація коду) — 82,6%.
Модель навчали переважно на синтетичних даних, створених за допомогою інших моделей Microsoft. Це дало змогу зібрати чистий і сфокусований датасет без шуму, що часто присутній у відкритих вебданих. Розробники називають цей підхід Small Language Model thinking — ставка не на розмір, а на якість. Phi-4 доступна з відкритою MIT-ліцензією. Її можна:
- завантажити на Hugging Face;
- запускати через Azure AI Studio.
Що далі
Microsoft продовжить розвивати лінійку Phi — вже тестуються мультимодальні та довгоконтекстні версії. Очікується поява нових проєктів на базі цієї моделі: від мобільних застосунків до інструментів для досліджень.
Також імовірно, що OpenAI, Meta та Google активніше вкладатимуться у малі, але точні моделі. Це може змінити логіку розробки ШІ.