gamegpu     Search find 4120

 tg2 f2 lin2 in2 X icon 3 y2  p2 тільки steam2

Оновлення Llamafile значно прискорює процесори AMD Ryzen з AVX-512

Останнє оновлення Llamafile надає підтримку набору інструкцій AVX-512, що дозволяє процесорам, що підтримують цю технологію значно збільшити продуктивність при використанні даного програмного забезпечення. Повідомляється, що процесори AMD Zen 4 "Ryzen" зазнають десятикратного прискорення оцінки запитів з новим оновленням, що в кінцевому підсумку дозволить досягти набагато більш ефективної роботи LLM на цьому інструменті.

Screenshot 2024 04 02 at 7.59.25 PM 1920x661

Llamafile, розроблений Mozilla Ocho, є інструментом, який можна розгорнути за допомогою одного файлу, що виконується, що поєднує модель LLM з необхідними бібліотеками для її виконання. Інструмент спрямований на те, щоб зробити LLM доступними для більш широкої аудиторії, використовуючи обчислення на CPU, так і на GPU. Llamafile отримав велику популярність серед розробників, особливо тому, що він усуває необхідність у дорогих рішеннях для доступу до LLM, але в даний час він все ще знаходиться на ранніх стадіях розвитку, тому існують області неточностей, які, як очікується, будуть усунуті в найближчому майбутньому .

Нове покращення продуктивності поки не було протестовано, але Phoronix заявляє, що вони планують випробувати новий Llamafire 0.7 у майбутньому як на системах AMD, так і Intel. Остання версія доступна на GitHub. Варто зазначити, що процесори Ryzen від AMD є єдиними споживчими чіпами, що підтримують інструкції AVX-512, в той час як Intel відмовилася від підтримки цієї технології, оскільки це впливає на продаж їх чіпів Xeon, що дає платформі Ryzen AMD перевагу для користувачів, які бажають. запускати програми, що використовують AVX-512.

Джерело GameGPU.tech

Коментарі (0)