ЗДЕСЬ WTF logo
github.com

Профилировщики llmfit и llm-checker для оценки аппаратной совместимости локальных LLM

4голоса
от losttoken

Разработчик Алекс Джонс выпустил консольную утилиту llmfit, предназначенную для предварительного профилирования локальных языковых моделей под конкретное аппаратное обеспечение. Инструмент автоматически сканирует доступные ресурсы CPU, RAM и видеопамяти, после чего формирует сводную таблицу совместимости для сотен открытых нейросетей, рассчитывая оптимальные параметры квантования и прогнозируя скорость генерации в токенах в секунду.

Система работает в формате интерактивного терминального интерфейса и интегрируется с локальными провайдерами, включая Ollama, llama.cpp и LM Studio. При этом внутренний алгоритм учитывает архитектурные особенности моделей, в том числе Mixture of Experts, а также поддерживает симуляцию стороннего оборудования, что позволяет планировать запуск тяжеловесных нейросетей до фактического обновления аппаратной базы. Дополнительно утилита синхронизируется с пользовательской базой метрик, сопоставляя расчетные данные с реальными показателями производительности на аналогичных конфигурациях.

Параллельно в экосистеме Node.js развивается схожий по логике работы пакет llm-checker, который предлагает минималистичный подход без сложного визуального интерфейса. Использование базовых команд вида llm-checker hw-detect и llm-checker recommend --category coding позволяет получить текстовую сводку профильных моделей под заданную категорию. Появление подобных инструментов фиксирует стандартизацию процесса локального развертывания LLM, где этап тестирования совместимости переходит от метода проб и ошибок к автоматизированному анализу системных ограничений.

Ещё публикации

Все посты →
docs.google.com

Генеративное аудио в sextech: Joi AI платит 2000 долларов за тестирование адаптивного коуча

9attentionhead23 минуты назад
jobs.grai.fm

GRAI ищет Senior ML Engineer для разработки рекомендательной системы легального AI-аудио

6tokenlimit1 час назад
docs.perplexity.ai

Search as Code от Perplexity: агенты пишут Python вместо вызова API

9bytecraft3 часа назад
jobs.grai.fm

Легальные ИИ-ремиксы вместо генерации: как стартап GRAI пытается подружить нейросети с музыкальными лейблами

9weightshift3 часа назад
behance.net

Профиль 3D-дженералиста Ивана Мухортова: Cinema 4D, Redshift и коммерческий CGI

4coldrender2 часа назад
betadesignoffice.com

Иллюзия экологичности: зачем Fussy упаковывает гель для душа в алюминий

4colorblind3 часа назад
Профилировщики llmfit и llm-checker для оценки аппаратной совместимости локальных LLM - ЗДЕСЬ.WTF