Тестирование локальных LLM моделей для задач программирования

Аппаратная конфигурация

Тестирование проводилось на следующем оборудовании:

• CPU: Intel Core i5-12600k
• Оперативная память: 32 GB DDR4
• Видеокарта: NVIDIA RTX 4070 12 GB
• ПО: LM Studio версий 0.4.5 и 0.4.6
• Runtime: CUDA llama.cpp (Windows) 2.5.1
• Размер контекста: 64000 токенов (или меньше, согласно ограничениям модели)
• Операционная система: Windows 10
• Версия драйвера NVIDIA: 576.57

Методология тестирования

Для тестирования использовались две задачи:

1. Генерация Python-скрипта: Создание скрипта для чтения CSV-файла, фильтрации строк по условию (значение колонки > 100), вычисления среднего значения числовой колонки и сохранения результата в JSON с обработкой ошибок и логированием.

2. Исправление ошибки: Исправление предоставленного кода с ошибкой на основе лога ошибок.

Оценка качества сгенерированного кода проводилась с помощью LLM (arcee-ai/trinity-large-preview:free) по шкале от 1 до 10 с учётом следующих критериев:

• Отсутствие синтаксических и логических ошибок
• Эффективность кода
• Читаемость и структура
• Соответствие поставленной задаче

Результаты тестирования

Анализ результатов

Скоростные лидеры (быстрее 30 секунд)

Наиболее быстрые модели, показавшие приемлемое качество кода:

1. liquid/lfm2.5-1.2b (6.06 с) - Самая быстрая, минимальный размер
2. tiny-aya-global (7.09 с) - Очень быстрая, оценка 9 за исправление
3. openchat-3.6-8b-20240522 (12.36 с) - Отличная скорость
4. essentialai/rnj-1 (15.09 с) - Быстрая, стабильно 7-8 баллов
5. qwen3-1.7b (22.84 с) - Хороший баланс, 9 за исправление

Оптимальный выбор для железа с 12GB VRAM

На конфигурации с RTX 4070 12GB оптимально работают модели до 8-10B параметров:

1. zai-org/glm-4.6v-flash (59.39 с, оценка 8-9) - Рекомендуемый выбор
2. liquid/lfm2-24b-a2b (62.02 с) - MoE модель, быстрая
3. qwen2.5-coder-7b-instruct (173.50 с) - Хорошее качество кода
4. google/gemma-3-4b (27.31 с) - Быстрая, стабильно 8 баллов
5. nvidia/nemotron-3-nano (177.75 с, оценка 9/9) - Отличное качество

Модели с высокой оценкой качества (9 баллов)

Модели, получившие оценку 9 за генерацию или исправление:

• zai-org/glm-4.6v-flash - 9 за генерацию
• zai-org/glm-4.7-flash - 9 за генерацию
• openai/gpt-oss-20b - 9 за генерацию
• qwen/qwen3-coder-30b - 9 за генерацию
• mistralai/devstral-small-2-2512 - 9/9 за оба теста
• nvidia/nemotron-3-nano - 9/9 за оба теста
• t-pro-it-2.0 - 9 за генерацию
• qwen3-1.7b - 9 за исправление
• x-coder-rl-qwen3-8b-i1 - 9 за исправление
• tiny-aya-global - 9 за исправление
• claude-3.7-sonnet-reasoning-gemma3-12b - 9 за исправление
• qwen3-14b - 9 за исправление

Медленные модели (>300 секунд)

Данные модели нецелесообразно использовать на оборудовании с 12GB VRAM:

1. qwen3-32b - 1330.95 с (22 минуты)
2. microsoft/phi-4-reasoning-plus - 1261.83 с (21 минута)
3. t-pro-it-2.0 - 963.38 с (16 минут)
4. claude-3.7-sonnet-reasoning-gemma3-12b - 673.26 с (11 минут)
5. mistralai/devstral-small-2-2512 - 510.68 с (8.5 минут)

Выводы

Ключевые наблюдения

1. Модели, не помещающиеся в VRAM (более 12B параметров на 12GB) работают крайне медленно - 10-22 минуты на генерацию простого кода. Использовать их для практического кодинга на таком железе нецелесообразно.

2. MoE модели (Mixture of Experts) в целом показывают неплохую производительность по сравнению с монолитными моделями при сопоставимом общем количестве параметров (liquid/lfm2-24b-a2b, qwen/qwen3.5-35b-a3b).

3. Для локального кодинга требуется мощное железо с VRAM >= 24GB либо использование маленьких моделей (< 9B) для простых проектов.

4. Практический опыт: На указанном железе (RTX 4070 12GB) оптимально работает связка VS Code + Cline + GLM 4.6 flash через LM Studio. Claude Code при аналогичной конфигурации постоянно тормозил и выдавал ошибки.

5. GLM 4.6 flash показала высокую скорость работы и качество ответов (оценка 9 за генерацию), субъективно понравилась ещё до тестирования в проекте AST-Agent (доработанный GigaAgent).

6. nvidia/nemotron-3-nano - приятный сюрприз: при скромном размере показывает отличное качество кода (9/9 баллов) за приемлемое время (177 с).

Рекомендации

• Для максимальной скорости: liquid/lfm2.5-1.2b, tiny-aya-global, openchat-3.6-8b
• Для баланса скорости и качества: zai-org/glm-4.6v-flash, nvidia/nemotron-3-nano, qwen3-1.7b
• Для качества кода: nvidia/nemotron-3-nano, mistralai/devstral-small-2-2512, qwen/qwen3-coder-30b

Ссылка на исходный тест с результатами

https://github.com/AlexKidd727/ast-localLLMtester

Примечание:
1. В результатах отсутствует скорость генерации токенов/с. Это планируется добавить в расширенном
тестировании с выбором инструментов.

2. Некоторые модели дают более быстрые ответы не через CUDA, а через Vulcan, некоторые наоборот. Отдельное тестирование через разные Runtime будет добавлено позже.