Хотя Apple давно не в центре внимания в сфере ИИ, компания явно не собирается сдавать позиции. В свежем техническом отчёте под названием «Apple Intelligence Foundation Language Models — Tech Report 2025» она раскрыла, как обучает свои новейшие ИИ-модели. Это один из самых подробных и открытых шагов Apple в этой области.
На WWDC в центре внимания была новая визуальная система Liquid, но параллельно компания представила и следующее поколение фундаментальных ИИ-моделей. Эти модели будут работать как на устройстве, так и в облаке, с упором на приватность и производительность.
Главная особенность — двухблочная архитектура моделей. Первый блок содержит более 60% слоёв трансформеров и отвечает за понимание языка. Второй — облегчённый, без тяжёлых компонентов вроде key и value projection, что позволило снизить использование памяти на 38% и ускорить работу модели.
Для облачных вычислений Apple использует систему Private Cloud Compute с архитектурой Parallel-Track Mixture-of-Experts (PT-MoE). Модель разбита на «экспертов», и при выполнении задачи активируется только нужная часть, что экономит ресурсы и ускоряет обработку.
Один из прорывов — поддержка языков. Если раньше модели Apple работали почти только с английским, теперь доля неанглийских данных выросла с 8% до 30%. Используются как реальные данные, так и синтетика, что делает инструменты, например, для письма, доступнее по всему миру.
В качестве источников Apple использует свой краулер Applebot, который собирает общедоступные данные, если сайт не запретил индексацию. Также компания заключает лицензионные соглашения с издательствами (но не раскрывает, с какими), и применяет меньшие модели для генерации синтетических данных, особенно для задач с изображениями, кодом и инструкциями.
Важную роль играет и визуальный контент. Более 10 миллиардов пар «изображение + подпись» (включая скриншоты и рукописные заметки) используются для обучения. Подписи дорабатываются с помощью собственных моделей Apple.
Пока конкуренты громко трубят о своих ИИ-успехах, Apple делает ставку на баланс: эффективность, конфиденциальность и глобальная доступность. Без лишнего шума, но со своими приоритетами.