NVIDIA PAIR розподіляє запити до локального ШІ між кількома комп’ютерами
Бета-версія PAIR об’єднує доступ до локальних моделей на ПК і Mac. Вона розподіляє паралельні запити, але не складає пам’ять відеокарт для однієї великої моделі.
Маєте кілька комп’ютерів із локальними ШІ-моделями? NVIDIA пропонує розподіляти між ними запити через одну програму, PAIR. Її бета-версія вийшла 3 вересня й працює з Ollama та LM Studio, інструментами для запуску моделей на власному обладнанні. Анонс NVIDIA.
Схема така: ваш застосунок надсилає запит на одну адресу, а PAIR обирає машину для його обробки. На ній уже має бути потрібна модель і запущений Ollama або LM Studio.
Де тут користь
Ну от, у команди кілька ШІ-агентів, які одночасно звертаються до локальної моделі. PAIR може роздати ці незалежні запити різним комп’ютерам. Кожен оброблятиме свою частину черги.
Є нюанс: пам’ять відеокарт не складається. Якщо велика модель не влізає на жодну окрему машину, підключення ще двох ПК через PAIR не допоможе. Один запит виконує один комп’ютер; прискорення одиночного послідовного завдання теж не гарантоване. Обмеження PAIR.
На чому працює
PAIR підтримує Windows, macOS і Linux. Серед перевіреного NVIDIA обладнання є GeForce RTX серії 20 і новіші, DGX Spark та Mac із чипами M4 і новішими. Перед встановленням варто звірити конкретну конфігурацію з вимогами бета-версії.
Для обробки локальних запитів інтернет не потрібен; для завантаження моделей знадобиться. Наскільки швидше працюватиме конкретна команда, ще треба перевіряти: власних тестів PAIR у нас поки немає.