Похоже, видеокарты GeForce RTX прошлых поколений могут подорожать на вторичном рынке, так как усилиями моддеров они неожиданно стали намного мощнее в задачах ИИ.
Энтузиасты нашли способ снять определённые ограчения Nvidia и существенно повысить вычистельную мощность ядер Tensor Core. Для этого не требуется вносить каких-то аппаратных изменений и даже не нужно прошивать BIOS.
Проект GPU-Unlock разработчика Zagitta изменяет низкоуровневые регистры конфигурации графического процессора до загрузки графического драйвера, снимая ограничения на скорость выполнения определенных инструкций Tensor Core. Изменения носят временный характер и сбрасываются при отключении питания графического процессора, но это лишь особенность, а не преграда.
Прирост действительно очень заметный. К примеру, для RTX 3090 Ti производительность умножения матриц BF16 выросла с 87,5 до 157,4 TFLOPS, то есть почти вдвое. Та же ситуация наблюдается у протестированных карт линеек RTX 20 и RTX 40.
Bзменения в первую очередь затрагивают операции FP16 и BF16 с накоплением FP32, а также некоторые рабочие нагрузки TF32 и FP8 на поддерживаемых архитектурах. Само собой, всё это не повышает объём памяти или её пропускную способность, но модификация позволяет ускорить задачи ИИ, связанные с матричным умножением, включая обработку подсказок LLM и некоторые рабочие нагрузки по генерации изображений.
Прирост также зависит от задач. К примеру, в случае обработки запросов LLM прирост уже не двукратный, а лишь на 14-36%, хотя это тоже немало. А вот генерация токенов быстрее практически не становится. Также это не влияет на производительность в играх.
