Теперь можно объединять несколько ПК по USB4 для работы с большими ИИ-моделями. Microsoft реализовала работу RDMA новым способом — Свежие новости

Теперь можно объединять несколько ПК по USB4 для работы с большими ИИ-моделями. Microsoft реализовала работу RDMA новым способом

Компания Microsoft реализовала работу технологии RDMA (Remote Direct Memory Access) через USB, что позволяет объединять несколько ПК в единую систему для запуска более крупных ИИ-моделей. 

Для подключения нужен USB4, так как он обеспечивает намного большую скорость передачи данных. Соответственно, объединить таким образом можно будет только достаточно современные ПК. Более того, если нужно объединить три ПК, один из них должен будет иметь два таких порта.

 

Сама технология RDMA в целом позволяет передавать данные напрямую между памятью двух систем, минуя большую часть традиционного сетевого стека. Это обеспечивает низкую задержку и низкую нагрузку на CPU, поэтому RDMA является неотъемлемой частью систем хранения данных в центрах обработки данных и распределенных вычислений. Теперь же у неё есть новое применение. 

Сегодня мы объявляем о выпуске предварительной версии RDMA через USB4 для разработчиков под управлением Windows. Подключите два или более ПК с Windows, поддерживающих USB4, с помощью кабелей USB4, и вы сможете разделить нагрузку одной модели между ними, объединив их память и вычислительные ресурсы графического процессора. Не нужно покупать сетевой адаптер RDMA, настраивать коммутатор и устанавливать сторонние драйверы. 

Также стоит отметить, что провайдер NetworkDirect для USB4 и тестовая платформа на основе llama.cpp являются проектами с открытым исходным кодом. 

Сама Microsoft для демонстрации протестировала технологию на мини-ПК с Ryzen AI Max+ 395 и 128 ГБ ОЗУ. Три подключенных компьютера успешно запустили модель Qwen3-235B-A22B с 4-битным квантованием. Microsoft получила примерно 18,5 токенов в секунду, в то время как AMD сообщила о 21,98 токенов в секунду, используя свою собственную конфигурацию.  

   

 

 

Предыдущая новость Роутер с Wi-Fi 6, LTE на скорости 150 Мбит/с, подключением до 16 устройств и батареей 3000 мАч — всего $6. Meizu MIFI N1 вышел в продажу
Следующая новость «Мы начали петь русские песни»: дневник российского учителя в Монголии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *