doc: AI provider decision — Groq default, no self-hosted LLM on VM
This commit is contained in:
@@ -709,3 +709,25 @@ REST API Gemini достаточен: один endpoint, один JSON запр
|
||||
- Существующие `.tf` файлы изменять не нужно.
|
||||
|
||||
**Коммиты:** `d5ce8c2` (internal/ai + cmd/sless-plan), `582b589` (provider schema)
|
||||
|
||||
---
|
||||
|
||||
## 2026-03-12 — Groq/OpenAI-compat как default AI провайдер, self-hosted LLM не поднимаем
|
||||
|
||||
**Решение:** Groq — default AI провайдер (через OpenAI-compat API). Google Gemini — альтернатива (env `AI_PROVIDER=google`). Self-hosted LLM (ollama) — не устанавливаем на VM.
|
||||
|
||||
**Причина:**
|
||||
- `sless-plan` — **клиентский инструмент**. Запускается на машине разработчика, не на сервере оператора. Разработчик сам отвечает за наличие доступа к AI API.
|
||||
- Self-hosted LLM на VM облака — чужая инфраструктура, нецелевое использование ресурсов, потенциальные трения с облачной командой.
|
||||
- Groq — бесплатный tier, OpenAI-compat API (минимальный код), модель `llama-3.3-70b-versatile` достаточна для code review.
|
||||
|
||||
**Будущее:** когда облако запустит свой LLM endpoint — добавить case `"cloud"` в `NewProvider`, endpoint из env. Stub `internal/ai/cloud_llm.go` уже есть.
|
||||
|
||||
**Переменные окружения для разработчика:**
|
||||
```bash
|
||||
export GROQ_API_KEY=gsk_... # обязательно для Groq
|
||||
export AI_PROVIDER=groq # default, можно опустить
|
||||
export GROQ_MODEL=llama-3.3-70b-versatile # default, можно опустить
|
||||
```
|
||||
|
||||
**Коммит:** `11b484e`
|
||||
|
||||
Reference in New Issue
Block a user