52 lines
2.3 KiB
Markdown
52 lines
2.3 KiB
Markdown
# Сессия 2026-05-29 — Сравнение LLM, модели DeepSeek, модели aillm.ru
|
||
|
||
## Хронология
|
||
|
||
### 10:00 — Вопрос о модели LLM
|
||
- Используем `gpt-oss-120b` (120B open-source) на `api.aillm.ru/v1`
|
||
- Изначально задумано как DeepSeek, но провайдер — aillm.ru
|
||
|
||
### 10:15 — DeepSeek V4: модели и цены
|
||
**DeepSeek V4 Flash (`deepseek-v4-flash`):**
|
||
- Кеш hit: $0.0028 / 1M токенов
|
||
- Кеш miss: $0.14 / 1M
|
||
- Выход: $0.28 / 1M
|
||
- 1M контекст, 384K max output, 2500 concurrent
|
||
|
||
**DeepSeek V4 Pro (`deepseek-v4-pro`):**
|
||
- До 31.05 акция 75% off
|
||
- С 01.06 официальная цена = ¼ original (т.е. та же, что со скидкой)
|
||
- Кеш hit: $0.0145 / 1M
|
||
- Вход: $1.74 → фикс $0.435 / 1M
|
||
- Выход: $3.48 → фикс $0.87 / 1M
|
||
- 500 concurrent
|
||
|
||
### 10:30 — Создан `tools/compare_llm.py`
|
||
Скрипт сравнения трёх моделей на одинаковом промпте (VIN VW, DTC P0301+P0171+P0420, параметры ЭБУ).
|
||
|
||
### 10:45 — Запуск сравнения
|
||
|
||
| Модель | Время | Вход | Выход | Стоимость |
|
||
|--------|-------|------|-------|-----------|
|
||
| DeepSeek V4 Flash | 56.9с | 427 | 6,494 | $0.0019 |
|
||
| DeepSeek V4 Pro | 223.5с | 427 | 10,323 | $0.0030 |
|
||
| Aillm.ru (gpt-oss-120b) | 103.3с | 492 | 7,003 | ? |
|
||
|
||
- V4 Flash: быстрый, конкретика по VW, лучший price/quality
|
||
- V4 Pro: самый глубокий ответ (думал 223с — режим thinking)
|
||
- Aillm 120b: адекватно, структурированно, но медленнее Flash
|
||
|
||
**Вывод:** 120b юзабелен для прототипа, DeepSeek V4 Flash — оптимальная замена при переходе в прод.
|
||
|
||
### 11:00 — Модели aillm.ru
|
||
Запросом к `/v1/models` получен список:
|
||
- `gpt-oss-120b` ← текущая
|
||
- `qwen3-6-27b-fp8` (27B)
|
||
- `qwen3.5-9b` (9B)
|
||
- `whisper-large-v3-turbo` (речь)
|
||
|
||
Для диагноза альтернатив 120b нет.
|
||
|
||
### 11:15 — Dify-совместимость
|
||
aillm.ru отдаёт OpenAI-совместимый API → Dify подключается как кастомный провайдер.
|