AMD представила ROCm 7 с улучшенными возможностями для ИИ и новыми функциями

AMD официально представила ROCm 7, новую версию своего открытого программного пакета, предназначенного для ускорения работы с ИИ и повышения продуктивности разработчиков. Это обновление является продолжением популярной версии ROCm 6, которая претерпела множество улучшений за последние несколько лет, особенно в сфере вычислений с ИИ. ROCm 7 обещает значительные изменения, с акцентом на улучшение возможностей для работы с выводами и внедрение новых функций и оптимизаций.

Новый стек включает в себя целый ряд обновлений, таких как улучшенные фреймворки, включая vLLM v1, llm-d и SGLang, которые будут направлены на улучшение производительности вывода. Также добавлены оптимизации для распределенных выводов, Prefill и Disaggregation, что должно значительно повысить эффективность ИИ-нагрузок.

Одной из основных особенностей ROCm 7 является добавление новых ядер и алгоритмов, таких как GEMM Autotuning, MoE и Attention, а также поддержка написания ядер на Python. В пакете теперь также поддерживаются такие сложные типы данных, как FP8, FP6, FP4 и Mixed Precision, что позволит значительно улучшить производительность, особенно для ИИ-моделей и вычислений. Для графических процессоров MI350 теперь доступна полная поддержка этих новых типов данных, что обеспечит более высокую эффективность и производительность.

Что касается производительности, AMD заявляет, что вывод в ИИ-нагрузках был основным направлением работы при разработке ROCm 7, и это действительно оправдывается. Например, в тестах ROCm 7 продемонстрировал увеличение производительности на 3.2x в Llama 3.1 70B, на 3.4x в Qwen2-72B и до 3.8x в DeepSeek R1, по сравнению с ROCm 6. В тестах DeepSeek R1 GPU Instinct MI355X с ROCm 7 показал на 30% лучшую производительность по сравнению с NVIDIA Blackwell B200, работающим с CUDA, в плане пропускной способности FP8.

По производительности при обучении, ROCm 7 также демонстрирует значительный прирост: до 3x в таких задачах, как Llama 2 70B, Llama 3.1 8B и Quen 1.5 7B. Эти улучшения делают ROCm 7 сильным конкурентом на рынке ИИ.

Как часть своего продвижения в сферу корпоративного ИИ, ROCm 7 предлагает готовые решения с полным циклом, безопасную интеграцию данных и легкость развертывания, что делает его отличным выбором для рабочих нагрузок GenAI. Стек также будет работать с разнообразным оборудованием, включая GPU, CPU и DPU, обеспечивая поддержку различных сценариев использования.

Позднее в этом году AMD расширит поддержку ROCm для ноутбуков и рабочих станций на базе Ryzen, а также добавит поддержку Linux и Windows во второй половине 2025 года.