doc: AI provider decision — Groq default, no self-hosted LLM on VM
This commit is contained in:
@@ -709,3 +709,25 @@ REST API Gemini достаточен: один endpoint, один JSON запр
|
|||||||
- Существующие `.tf` файлы изменять не нужно.
|
- Существующие `.tf` файлы изменять не нужно.
|
||||||
|
|
||||||
**Коммиты:** `d5ce8c2` (internal/ai + cmd/sless-plan), `582b589` (provider schema)
|
**Коммиты:** `d5ce8c2` (internal/ai + cmd/sless-plan), `582b589` (provider schema)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2026-03-12 — Groq/OpenAI-compat как default AI провайдер, self-hosted LLM не поднимаем
|
||||||
|
|
||||||
|
**Решение:** Groq — default AI провайдер (через OpenAI-compat API). Google Gemini — альтернатива (env `AI_PROVIDER=google`). Self-hosted LLM (ollama) — не устанавливаем на VM.
|
||||||
|
|
||||||
|
**Причина:**
|
||||||
|
- `sless-plan` — **клиентский инструмент**. Запускается на машине разработчика, не на сервере оператора. Разработчик сам отвечает за наличие доступа к AI API.
|
||||||
|
- Self-hosted LLM на VM облака — чужая инфраструктура, нецелевое использование ресурсов, потенциальные трения с облачной командой.
|
||||||
|
- Groq — бесплатный tier, OpenAI-compat API (минимальный код), модель `llama-3.3-70b-versatile` достаточна для code review.
|
||||||
|
|
||||||
|
**Будущее:** когда облако запустит свой LLM endpoint — добавить case `"cloud"` в `NewProvider`, endpoint из env. Stub `internal/ai/cloud_llm.go` уже есть.
|
||||||
|
|
||||||
|
**Переменные окружения для разработчика:**
|
||||||
|
```bash
|
||||||
|
export GROQ_API_KEY=gsk_... # обязательно для Groq
|
||||||
|
export AI_PROVIDER=groq # default, можно опустить
|
||||||
|
export GROQ_MODEL=llama-3.3-70b-versatile # default, можно опустить
|
||||||
|
```
|
||||||
|
|
||||||
|
**Коммит:** `11b484e`
|
||||||
|
|||||||
Reference in New Issue
Block a user