Делл представляет сервер PowerEdge XE9680 с восемью графическими процессорами АМД Инстинкт MI300X
Делл Технологии объявила о выпуске своего новейшего сервера PowerEdge XE9680, отличающегося передовой интеграцией с графическими процессорами АМД Инстинкт MI300X ИИ. Это сотрудничество знаменует собой значительный прогресс в области генеративных решений ИИ, предоставляя предприятиям надежную поддержку производительности и инноваций ИИ.
Высокая производительность ИИ с интеграцией MI300X
Новый сервер Делл PowerEdge XE9680 объединяет восемь ускорителей АМД Инстинкт MI300X, обеспечивая существенные возможности производительности ИИ. Каждый сервер оснащен 1,5 ТБ памяти HBM3 и обеспечивает пиковую теоретическую производительность 42 петафлопс. Эта мощная конфигурация предназначена для ускорения обучения и вывода больших языковых моделей (Магистр права), позволяя компаниям достигать эффективных идей и инноваций на основе ИИ.
Сервер продемонстрировал значительную экономическую эффективность в конфигурациях с одним узлом. Например, модель параметров Лама 2 70B была успешно развернута на одном ускорителе MI300X и масштабирована до восьми параллельных экземпляров с использованием всех восьми ускорителей. Более того, тонкая настройка модели Лама 2 70B была достигнута с точностью FP16.
Интеграция передовых технологий
Сервер PowerEdge XE9680 включает в себя несколько передовых технологий для поддержки быстрого внедрения и масштабирования генеративных решений ИИ. Делл ОткрытьУправление Предприятие упрощает развертывание, а программное обеспечение АПЕКС AIOps обеспечивает интеллектуальную автоматизацию. Новые службы развертывания, запуск которых запланирован на сентябрь, обеспечивают плавную интеграцию этих инноваций в корпоративные операции.
Ключевые компоненты этого развертывания включают Делл PowerSwitch Z9664F-НА, который обеспечивает 64 порта 400GbE для поддержки структур Ethernet с низкой задержкой и высокой пропускной способностью для современных кластеров ИИ. Кроме того, оптимизированные для ИИ сетевые карты Бродком Тор2 предлагают соединения 400G, обеспечивая маломощные соединения для ускорителей MI300X.
Расширение экосистемы генеративного ИИ
Сервер Делл PowerEdge XE9680 поддерживается фреймворком АМД ROCм, который расширяет экосистему решений Делл для генеративного ИИ. Этот фреймворк поддерживает различные модели больших языков с открытым исходным кодом, включая PyTorch, TensorFlow, ONNX-РТ и ДЖАКС. Ускорители АМД Инстинкт также поставляются с комплексной поддержкой драйверов, наборами инструментов разработки и API.
Делл Омния упрощает создание и управление кластерами ИИ, обеспечивая автоматическую настройку и повышая эффективность обработки рабочей нагрузки. Кроме того, Делл Технологии представила версию корпоративного дистрибутива СОНИК, объединяющую платформу СОНИК с открытым исходным кодом с Делл PowerSwitch для расширенных функций и поддержки корпоративного уровня.
Руководства по проектированию генеративного ИИ и поддержка разработчиков
В мае Делл и АМД выпустили руководство по проверке генеративного дизайна ИИ, которое недавно стало доступно. Это руководство содержит исчерпывающие инструкции по внедрению вывода крупномасштабной языковой модели (Магистр права), настройки модели, тонкой настройки и технологий генерации дополненного поиска (ТРЯПКА). Дизайн основан на открытых стандартах, что снижает зависимость от фирменных программных пакетов ИИ и позволяет разработчикам использовать модели Магистр права с открытым исходным кодом от таких партнеров, как Обниматься Лицо и Мета.
Преобразующее влияние на инновации в области ИИ
Сотрудничество Делл и АМД посредством внедрения ускорителей ИИ Инстинкт MI300X и генеративных решений ИИ обеспечивает предприятия мощной основой для развития ИИ. Предлагая эффективную, экономичную локальную инфраструктуру и открытую экосистему, Делл и АМД продвигают более быстрые и эффективные инновации и результаты на основе ИИ.
Сервер Делл PowerEdge XE9680 с графическими процессорами АМД Инстинкт MI300X представляет собой значительный шаг вперед в технологии генеративного ИИ, помогая предприятиям использовать передовые возможности ИИ для различных приложений. Эта интеграция подчеркивает продолжающуюся эволюцию и растущую доступность решений ИИ в корпоративном секторе.
