diff --git a/History/local-llm-setup.md b/History/local-llm-setup.md index be3c0ae..943ed6a 100644 --- a/History/local-llm-setup.md +++ b/History/local-llm-setup.md @@ -1,39 +1,28 @@ -# Локальный LLM на 2× RTX 3060 (24 ГБ суммарно) +# Локальный LLM -Дата: 28.06.2026 +## Железо (проверено 28.06.2026) -## Железо - -2× NVIDIA RTX 3060 (12 ГБ каждая), без NVLink, PCIe. +- **GPU:** 1× RTX 3060, 12 ГБ VRAM +- **RAM:** 15 ГБ +- **Доступ:** `ssh naeel@192.168.1.49`, ключ `Y:\MY\Nubes\id_ed25519` +- **Ollama:** не установлен ## Что влезает -| Модель | Квантизация | Память | Куда | Скорость | Приоритет | -|--------|------------|--------|------|----------|-----------| -| 7-9B | Q4/Q5 | ~6 ГБ | 1 карта | Быстро | Классификация, извлечение | -| 14B | Q4 | ~8-9 ГБ | **1 карта** | 15-30 ток/с | Основная рабочая | -| 32B | Q4 | ~18-20 ГБ | Сплит на 2 карты | Медленно | Максимальное качество | +| Модель | Квантизация | Память | Скорость | Для чего | +|--------|------------|--------|----------|----------| +| 7-9B | Q4/Q5 | ~6 ГБ | Быстро | classify, extract | +| 14B | Q4 | ~8-9 ГБ | 15-30 ток/с | Весь пайплайн | +| 32B | ❌ | 18-20 ГБ | — | Не влезает | -## Важно про две карты +## План установки -- Сплит модели на 2 карты через PCIe (без NVLink) — часто **медленнее** чем та же модель на одной. -- **Лучший расклад:** 14B на одной карте, вторая — на параллелизм (два документа одновременно) или под отдельную модель (мелкая на classify, 14B на diff). +1. `ollama pull qwen2.5:7b` (старт) или `qwen2.5:14b` (основная) +2. Ollama отдаёт OpenAI-совместимый API на `http://localhost:11434/v1` +3. В `llm_client.py`: `url="http://192.168.1.49:11434/v1/chat/completions"`, `model="qwen2.5:14b"` +4. API-ключ не нужен (ollama локально без авторизации) -## Движок +## Переключение -- **llama.cpp (GGUF)** или **ExLlamaV2** — оптимальны для consumer-карт без NVLink. -- vLLM/TGI — выше throughput, но больше VRAM-запас, на 12 ГБ тесно. - -## Засады - -- `max_tokens=8000` — большая спецификация = длинный ответ = сотни секунд. Чанковать. -- Конкурентность: 1-2 запроса параллельно. Не для многопользовательской нагрузки. -- Точность чисел: подстраховать арифметикой + UNRESOLVED. - -## Рекомендация - -**Qwen2.5-14B или Qwen3-14B в Q4/Q5 на одной 3060** — уверенно тянет весь пайплайн для несложных документов. Проверить на testgen/. - -## Сейчас - -api.aillm.ru (gpt-oss-120b, бесплатно). Код готов к смене LLM через `llm_client.py` DI. +Код уже готов через DI: `HttpxLLMClient(url=..., key=..., model=...)`. +Для переключения достаточно поменять `url` и `model`.