Inspur Информация запускает сервер вывода Метамозг R1, способный раскрыть всю мощь модуля DeepSeek 671B на одной машине
11 февраля компания Inspur Информация официально запустила МетаМозг R1.сервер выводаБлагодаря системным инновациям и совместной оптимизации программного и аппаратного обеспечения модель DeepSeek R1 671B может быть развернута и запущена на одной машине, что помогает клиентам значительно снизить сложность и стоимость развертывания полнопараметрической модели DeepSeek R1, повысить производительность службы вывода и ускорить внедрение интеллектуальных исследований в различных отраслях.
В настоящее время DeepSeek является проектом с открытым исходным кодом с несколькими версиями моделей, помогая различным отраслям ускорить применение технологии больших моделей для содействия модернизации и трансформации бизнеса. Среди них модель DeepSeek R1 671B, как полностью параметризованная базовая большая модель, обладает более сильной способностью к обобщению, более высокой точностью и лучшей способностью понимания контекста по сравнению с моделью дистилляции. Однако она также предъявляет более высокие требования к объему видеопамяти системы, пропускной способности видеопамяти, пропускной способности межсоединений и задержке: для точности РП8 требуется не менее 800 ГБ видеопамяти, а для точности FP16/БФ16 требуется более 1,4 ТБ пространства видеопамяти; Кроме того, DeepSeek R1 является типичной моделью длинной цепочки мыслей с прикладными характеристиками короткого ввода и длинного вывода. Этап декодирования вывода опирается на более высокую пропускную способность видеопамяти и чрезвычайно низкую задержку связи. На основе характеристик вычислительной мощности и системных требований модели 671B сервер вывода Метамозг R1 обеспечивает ведущую емкость видеопамяти, полосу пропускания видеопамяти и скорость связи, что может помочь предприятиям эффективно завершить локализационное развертывание полнопараметрических моделей DeepSeek.
Theметамозг R1Сервер вывода NF5688G7 — это ведущая высокопроизводительная вычислительная платформа ИИ, встроенная в вычислительный движок РП8, с быстрой скоростью развертывания и без потери точности для модели DeepSeek R1 671B. Что касается видеопамяти, высокоскоростная видеопамять HBM3e объемом 1128 ГБ обеспечивает не менее 800 ГБ емкости видеопамяти при точности РП8 модели 671B. Даже если одна машина поддерживает полный вывод модели, все равно зарезервировано достаточное пространство кэша КВ. Пропускная способность видеопамяти достигает 4,8 ТБ/с, что идеально соответствует техническим характеристикам модели DeepSeek R1 "короткий вход длинный выход, чувствительности пропускной способности видеопамяти" и позволяет достичь максимального ускорения на этапе декодирования вывода. Что касается связи, пропускная способность ГПУ P2P достигает 900 ГБ/с, что обеспечивает оптимальную производительность связи для параллельного развертывания тензора на одной машине. На основе новейшей структуры вывода одна машина может поддерживать 20-30 одновременных пользователей. В то же время одна NF5688G7 оснащена сетью расширения без потерь 3200 Гбит/с, которая может обеспечить гибкое расширение в соответствии с ростом потребностей бизнеса пользователя и предоставить готовое решение для зрелого кластера серверов R1.
Сервер вывода метамозг R1 NF5868G8 — это сервер вывода с высокой пропускной способностью, разработанный специально для больших моделей рассуждений. Это первый в отрасли сервер, поддерживающий 16 стандартных карт PCIe двойной широкий на одной машине, обеспечивающий до 1536 ГБ емкости видеопамяти и поддерживающий развертывание моделей DeepSeek 671B на одной машине с точностью FP16/БФ16. Инновационные исследования и разработка полностью взаимосвязанной топологии из 16 карт на основе PCIe Ткань с пропускной способностью P2P-связи до 128 ГБ/с для любых двух карт, что снижает задержку связи более чем на 60%. Благодаря программно-аппаратной совместной оптимизации, по сравнению с традиционными моделями PCIe с 2 машинами и 8 картами, NF5868G8 может улучшить производительность вывода модели DeepSeek 671B почти на 40% и в настоящее время поддерживает несколько вариантов карт ускорения ИИ.
Inspur Информация — ведущий мировой поставщик продуктов, решений и услуг для ИТ-инфраструктуры. Разрабатывая новое поколение системно-ориентированной вычислительной архитектуры, Inspur стремится создавать открытые, разнообразные и экологичные интеллектуальные вычислительные продукты и решения для метамозга. Inspur Информация занимается исследованиями и инновациями в области вычислительных платформ ИИ, ресурсных платформ и алгоритмических платформ, а также сотрудничает с ведущими партнерами через экосистему метамозга для ускорения инноваций и применения искусственного интеллекта.
_________ Статья взята из официального аккаунта Юаннао WeChat.
