Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
51a758fd21 | ||
|
|
14322799f6 | ||
|
|
27969cd623 | ||
|
|
57ce4d4f97 | ||
|
|
380fb053e8 | ||
|
|
ce88c0c224 | ||
|
|
a7bf18939c | ||
|
|
ab764f9364 | ||
|
|
677468da09 | ||
|
|
b1313bc987 | ||
|
|
d6adb59d4a |
+1
-6
@@ -1,6 +1 @@
|
|||||||
__pycache__/
|
node_modules/
|
||||||
*.pyc
|
|
||||||
.env
|
|
||||||
venv/
|
|
||||||
.venv/
|
|
||||||
*.egg-info/
|
|
||||||
|
|||||||
-16
@@ -1,16 +0,0 @@
|
|||||||
FROM python:3.12-slim
|
|
||||||
|
|
||||||
WORKDIR /app
|
|
||||||
|
|
||||||
# Зависимости
|
|
||||||
COPY requirements.txt .
|
|
||||||
RUN pip install --no-cache-dir -r requirements.txt
|
|
||||||
|
|
||||||
# Код
|
|
||||||
COPY . .
|
|
||||||
|
|
||||||
# Порт
|
|
||||||
EXPOSE 5000
|
|
||||||
|
|
||||||
# Запуск
|
|
||||||
CMD ["python", "app.py"]
|
|
||||||
@@ -1,55 +0,0 @@
|
|||||||
"""
|
|
||||||
Say — голосовой ассистент с Whisper + LLM.
|
|
||||||
|
|
||||||
Точка входа. Создаёт Flask-приложение, регистрирует Blueprints,
|
|
||||||
настраивает логирование и запускает сервер.
|
|
||||||
"""
|
|
||||||
|
|
||||||
import logging
|
|
||||||
import sys
|
|
||||||
|
|
||||||
from flask import Flask
|
|
||||||
|
|
||||||
from config import FLASK_HOST, FLASK_PORT, LOG_LEVEL
|
|
||||||
from routes import pages_bp, api_bp
|
|
||||||
|
|
||||||
|
|
||||||
def create_app() -> Flask:
|
|
||||||
"""
|
|
||||||
Фабрика Flask-приложения.
|
|
||||||
|
|
||||||
Собирает приложение из Blueprint'ов:
|
|
||||||
- pages_bp — HTML-страницы (/, /health)
|
|
||||||
- api_bp — REST API (/api/*)
|
|
||||||
"""
|
|
||||||
app = Flask(__name__)
|
|
||||||
|
|
||||||
# --- Blueprints ---
|
|
||||||
app.register_blueprint(pages_bp)
|
|
||||||
app.register_blueprint(api_bp)
|
|
||||||
|
|
||||||
# --- Логирование ---
|
|
||||||
logging.basicConfig(
|
|
||||||
level=getattr(logging, LOG_LEVEL.upper(), logging.INFO),
|
|
||||||
format="%(asctime)s [%(levelname)s] %(name)s: %(message)s",
|
|
||||||
stream=sys.stdout,
|
|
||||||
)
|
|
||||||
|
|
||||||
return app
|
|
||||||
|
|
||||||
|
|
||||||
# =============================================================================
|
|
||||||
# Запуск
|
|
||||||
# =============================================================================
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
|
||||||
application = create_app()
|
|
||||||
logging.info("Say server starting on %s:%s", FLASK_HOST, FLASK_PORT)
|
|
||||||
application.run(
|
|
||||||
host=FLASK_HOST,
|
|
||||||
port=FLASK_PORT,
|
|
||||||
debug=False,
|
|
||||||
)
|
|
||||||
else:
|
|
||||||
# WSGI-сервер (gunicorn) импортирует `application`
|
|
||||||
application = create_app()
|
|
||||||
@@ -1,87 +0,0 @@
|
|||||||
"""
|
|
||||||
Централизованная конфигурация приложения Say.
|
|
||||||
|
|
||||||
Все настройки читаются из переменных окружения с разумными значениями по умолчанию.
|
|
||||||
"""
|
|
||||||
|
|
||||||
import os
|
|
||||||
|
|
||||||
# =============================================================================
|
|
||||||
# API — единый эндпоинт (aillm.ru)
|
|
||||||
# =============================================================================
|
|
||||||
|
|
||||||
API_BASE = os.environ.get("API_BASE", "https://api.aillm.ru")
|
|
||||||
API_KEY = os.environ.get("API_KEY", "") # ⚠️ Без ключа — только через env!
|
|
||||||
|
|
||||||
# =============================================================================
|
|
||||||
# Whisper (распознавание речи)
|
|
||||||
# =============================================================================
|
|
||||||
|
|
||||||
WHISPER_URL = os.environ.get(
|
|
||||||
"WHISPER_URL",
|
|
||||||
f"{API_BASE}/v1/audio/transcriptions",
|
|
||||||
)
|
|
||||||
WHISPER_KEY = os.environ.get("WHISPER_KEY", API_KEY)
|
|
||||||
WHISPER_MODEL = os.environ.get("WHISPER_MODEL", "whisper-large-v3")
|
|
||||||
|
|
||||||
# =============================================================================
|
|
||||||
# Три LLM-профиля — каждый со своим именем, моделью и системным промптом
|
|
||||||
# =============================================================================
|
|
||||||
|
|
||||||
LLM_PROFILES = [
|
|
||||||
{
|
|
||||||
"id": "ddm",
|
|
||||||
"name": "DDM-120",
|
|
||||||
"description": "Быстрая модель, общие вопросы",
|
|
||||||
"url": os.environ.get("LLM_URL_DDM", f"{API_BASE}/v1/chat/completions"),
|
|
||||||
"key": os.environ.get("LLM_KEY_DDM", API_KEY),
|
|
||||||
"model": os.environ.get("LLM_MODEL_DDM", "ddm-120"),
|
|
||||||
"system_prompt": os.environ.get(
|
|
||||||
"LLM_SYSTEM_DDM",
|
|
||||||
"Ты — полезный ассистент. Отвечай кратко и по делу на том же языке, что и запрос.",
|
|
||||||
),
|
|
||||||
"temperature": float(os.environ.get("LLM_TEMP_DDM", "0.7")),
|
|
||||||
"max_tokens": int(os.environ.get("LLM_TOKENS_DDM", "1024")),
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": "qwen",
|
|
||||||
"name": "Qwen",
|
|
||||||
"description": "Мощная модель, сложные задачи",
|
|
||||||
"url": os.environ.get("LLM_URL_QWEN", f"{API_BASE}/v1/chat/completions"),
|
|
||||||
"key": os.environ.get("LLM_KEY_QWEN", API_KEY),
|
|
||||||
"model": os.environ.get("LLM_MODEL_QWEN", "qwen-plus"),
|
|
||||||
"system_prompt": os.environ.get(
|
|
||||||
"LLM_SYSTEM_QWEN",
|
|
||||||
"Ты — эксперт-аналитик. Отвечай развернуто, структурированно, на языке запроса.",
|
|
||||||
),
|
|
||||||
"temperature": float(os.environ.get("LLM_TEMP_QWEN", "0.7")),
|
|
||||||
"max_tokens": int(os.environ.get("LLM_TOKENS_QWEN", "2048")),
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": "deepseek",
|
|
||||||
"name": "DeepSeek",
|
|
||||||
"description": "Глубокая аналитика, код, рассуждения",
|
|
||||||
"url": os.environ.get("LLM_URL_DEEPSEEK", f"{API_BASE}/v1/chat/completions"),
|
|
||||||
"key": os.environ.get("LLM_KEY_DEEPSEEK", API_KEY),
|
|
||||||
"model": os.environ.get("LLM_MODEL_DEEPSEEK", "deepseek-chat"),
|
|
||||||
"system_prompt": os.environ.get(
|
|
||||||
"LLM_SYSTEM_DEEPSEEK",
|
|
||||||
"Ты — глубокий аналитик и программист. Думай step-by-step, отвечай на языке запроса.",
|
|
||||||
),
|
|
||||||
"temperature": float(os.environ.get("LLM_TEMP_DEEPSEEK", "0.7")),
|
|
||||||
"max_tokens": int(os.environ.get("LLM_TOKENS_DEEPSEEK", "4096")),
|
|
||||||
},
|
|
||||||
]
|
|
||||||
|
|
||||||
# =============================================================================
|
|
||||||
# Flask
|
|
||||||
# =============================================================================
|
|
||||||
|
|
||||||
FLASK_HOST = os.environ.get("HOST", "0.0.0.0")
|
|
||||||
FLASK_PORT = int(os.environ.get("PORT", "5000"))
|
|
||||||
|
|
||||||
# =============================================================================
|
|
||||||
# Логирование
|
|
||||||
# =============================================================================
|
|
||||||
|
|
||||||
LOG_LEVEL = os.environ.get("LOG_LEVEL", "INFO")
|
|
||||||
Generated
+15
@@ -0,0 +1,15 @@
|
|||||||
|
{
|
||||||
|
"name": "say",
|
||||||
|
"version": "1.0.0",
|
||||||
|
"lockfileVersion": 3,
|
||||||
|
"requires": true,
|
||||||
|
"packages": {
|
||||||
|
"": {
|
||||||
|
"name": "say",
|
||||||
|
"version": "1.0.0",
|
||||||
|
"engines": {
|
||||||
|
"node": ">=16"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,9 @@
|
|||||||
|
{
|
||||||
|
"name": "say",
|
||||||
|
"version": "1.0.0",
|
||||||
|
"description": "Voice assistant: mic → Whisper STT → LLM response",
|
||||||
|
"main": "server.js",
|
||||||
|
"engines": { "node": ">=16" },
|
||||||
|
"scripts": { "start": "node server.js" },
|
||||||
|
"dependencies": {}
|
||||||
|
}
|
||||||
|
Before Width: | Height: | Size: 1017 B After Width: | Height: | Size: 1017 B |
@@ -1,3 +0,0 @@
|
|||||||
flask>=3.0
|
|
||||||
requests>=2.31
|
|
||||||
gunicorn>=21.2
|
|
||||||
@@ -1,11 +0,0 @@
|
|||||||
"""
|
|
||||||
Роуты приложения Say.
|
|
||||||
|
|
||||||
pages.py — HTML-страницы (index, health).
|
|
||||||
api.py — REST API (список профилей, отправка речи).
|
|
||||||
"""
|
|
||||||
|
|
||||||
from .pages import pages_bp
|
|
||||||
from .api import api_bp
|
|
||||||
|
|
||||||
__all__ = ["pages_bp", "api_bp"]
|
|
||||||
@@ -1,92 +0,0 @@
|
|||||||
"""
|
|
||||||
API-роуты.
|
|
||||||
|
|
||||||
GET /api/profiles — список доступных LLM-профилей.
|
|
||||||
POST /api/speech/<llm_id> — принять аудио, распознать, отправить в LLM, вернуть ответ.
|
|
||||||
"""
|
|
||||||
|
|
||||||
import logging
|
|
||||||
|
|
||||||
from flask import Blueprint, request, jsonify
|
|
||||||
|
|
||||||
from services.whisper import whisper_service
|
|
||||||
from services.llm import llm_service
|
|
||||||
|
|
||||||
log = logging.getLogger(__name__)
|
|
||||||
|
|
||||||
api_bp = Blueprint("api", __name__, url_prefix="/api")
|
|
||||||
|
|
||||||
|
|
||||||
@api_bp.route("/profiles")
|
|
||||||
def get_profiles():
|
|
||||||
"""Возвращает список LLM-профилей для отображения на фронтенде."""
|
|
||||||
return jsonify(llm_service.profile_list)
|
|
||||||
|
|
||||||
|
|
||||||
@api_bp.route("/speech/<llm_id>", methods=["POST"])
|
|
||||||
def speech_to_llm(llm_id: str):
|
|
||||||
"""
|
|
||||||
Основной рабочий процесс:
|
|
||||||
|
|
||||||
1. Принимает аудиофайл из формы (поле "audio").
|
|
||||||
2. Отправляет в Whisper → получает распознанный текст.
|
|
||||||
3. Отправляет текст в выбранный LLM-профиль → получает ответ.
|
|
||||||
4. Возвращает JSON: { transcription, response, llm }.
|
|
||||||
|
|
||||||
Args:
|
|
||||||
llm_id: Идентификатор LLM-профиля (ddm, qwen, deepseek, ...).
|
|
||||||
"""
|
|
||||||
# --- Валидация входных данных ---
|
|
||||||
if "audio" not in request.files:
|
|
||||||
return jsonify({"error": "Поле 'audio' обязательно"}), 400
|
|
||||||
|
|
||||||
audio_file = request.files["audio"]
|
|
||||||
audio_bytes = audio_file.read()
|
|
||||||
mime_type = audio_file.mimetype or "audio/webm"
|
|
||||||
|
|
||||||
if len(audio_bytes) == 0:
|
|
||||||
return jsonify({"error": "Аудиофайл пуст"}), 400
|
|
||||||
|
|
||||||
# --- Проверка существования LLM-профиля ---
|
|
||||||
profile = llm_service.get_profile(llm_id)
|
|
||||||
if not profile:
|
|
||||||
return jsonify({
|
|
||||||
"error": f"Неизвестный LLM: '{llm_id}'",
|
|
||||||
"available": [p["id"] for p in llm_service.profile_list],
|
|
||||||
}), 400
|
|
||||||
|
|
||||||
try:
|
|
||||||
# Шаг 1: Whisper — распознавание речи
|
|
||||||
log.info("API /speech/%s: получено %d байт аудио", llm_id, len(audio_bytes))
|
|
||||||
transcription = whisper_service.transcribe(audio_bytes, mime_type)
|
|
||||||
|
|
||||||
if not transcription:
|
|
||||||
return jsonify({
|
|
||||||
"error": "Не удалось распознать речь",
|
|
||||||
"transcription": "",
|
|
||||||
}), 400
|
|
||||||
|
|
||||||
# Шаг 2: LLM — отправка распознанного текста
|
|
||||||
llm_answer = llm_service.chat(llm_id, transcription)
|
|
||||||
|
|
||||||
# Шаг 3: Ответ
|
|
||||||
return jsonify({
|
|
||||||
"transcription": transcription,
|
|
||||||
"response": llm_answer,
|
|
||||||
"llm": {
|
|
||||||
"id": profile["id"],
|
|
||||||
"name": profile["name"],
|
|
||||||
},
|
|
||||||
})
|
|
||||||
|
|
||||||
except ValueError as e:
|
|
||||||
log.warning("API /speech/%s: bad request — %s", llm_id, e)
|
|
||||||
return jsonify({"error": str(e)}), 400
|
|
||||||
|
|
||||||
except RuntimeError as e:
|
|
||||||
log.error("API /speech/%s: runtime error — %s", llm_id, e)
|
|
||||||
return jsonify({"error": str(e)}), 500
|
|
||||||
|
|
||||||
except Exception as e:
|
|
||||||
log.exception("API /speech/%s: unexpected error", llm_id)
|
|
||||||
return jsonify({"error": f"Внутренняя ошибка: {e}"}), 500
|
|
||||||
@@ -1,22 +0,0 @@
|
|||||||
"""
|
|
||||||
Роуты HTML-страниц.
|
|
||||||
|
|
||||||
GET / — главная страница (интерфейс с микрофоном).
|
|
||||||
GET /health — проверка живости сервера.
|
|
||||||
"""
|
|
||||||
|
|
||||||
from flask import Blueprint, render_template, jsonify
|
|
||||||
|
|
||||||
pages_bp = Blueprint("pages", __name__)
|
|
||||||
|
|
||||||
|
|
||||||
@pages_bp.route("/")
|
|
||||||
def index():
|
|
||||||
"""Главная страница с тремя кнопками записи (по одной на каждый ЛЛМ)."""
|
|
||||||
return render_template("index.html")
|
|
||||||
|
|
||||||
|
|
||||||
@pages_bp.route("/health")
|
|
||||||
def health():
|
|
||||||
"""Проверка работоспособности сервера."""
|
|
||||||
return jsonify({"status": "ok"})
|
|
||||||
@@ -0,0 +1,12 @@
|
|||||||
|
const http = require('http');
|
||||||
|
const PORT = process.env.PORT || 3000;
|
||||||
|
|
||||||
|
http.createServer((req, res) => {
|
||||||
|
if (req.url === '/health') {
|
||||||
|
res.writeHead(200, { 'Content-Type': 'application/json' });
|
||||||
|
res.end('{"status":"ok"}');
|
||||||
|
} else {
|
||||||
|
res.writeHead(200, { 'Content-Type': 'text/plain' });
|
||||||
|
res.end('Say OK');
|
||||||
|
}
|
||||||
|
}).listen(PORT, () => console.log(':' + PORT));
|
||||||
@@ -1,11 +0,0 @@
|
|||||||
"""
|
|
||||||
Сервисы приложения Say.
|
|
||||||
|
|
||||||
WhisperService — распознавание речи (speech-to-text).
|
|
||||||
LLMService — обращение к языковой модели (text-to-response).
|
|
||||||
"""
|
|
||||||
|
|
||||||
from .whisper import WhisperService
|
|
||||||
from .llm import LLMService
|
|
||||||
|
|
||||||
__all__ = ["WhisperService", "LLMService"]
|
|
||||||
-123
@@ -1,123 +0,0 @@
|
|||||||
"""
|
|
||||||
LLMService — обращение к языковой модели через OpenAI-совместимый API.
|
|
||||||
|
|
||||||
Поддерживает несколько профилей (разные модели/промпты) —
|
|
||||||
пользователь выбирает, к какому ЛЛМ отправить запрос.
|
|
||||||
"""
|
|
||||||
|
|
||||||
import logging
|
|
||||||
from typing import Dict, Optional
|
|
||||||
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from config import LLM_PROFILES
|
|
||||||
|
|
||||||
log = logging.getLogger(__name__)
|
|
||||||
|
|
||||||
|
|
||||||
class LLMService:
|
|
||||||
"""
|
|
||||||
Сервис общения с языковой моделью.
|
|
||||||
|
|
||||||
Хранит набор профилей (model + system_prompt + температура + ...).
|
|
||||||
Метод chat() принимает id профиля и текст пользователя, возвращает ответ.
|
|
||||||
"""
|
|
||||||
|
|
||||||
def __init__(self, profiles: list = None):
|
|
||||||
"""
|
|
||||||
Args:
|
|
||||||
profiles: Список словарей с ключами:
|
|
||||||
id, name, description, url, key, model,
|
|
||||||
system_prompt, temperature, max_tokens.
|
|
||||||
По умолчанию — LLM_PROFILES из config.py.
|
|
||||||
"""
|
|
||||||
self._profiles: Dict[str, dict] = {}
|
|
||||||
|
|
||||||
for p in (profiles or LLM_PROFILES):
|
|
||||||
pid = p["id"]
|
|
||||||
self._profiles[pid] = p
|
|
||||||
log.info("LLM: зарегистрирован профиль '%s' (модель=%s)", pid, p["model"])
|
|
||||||
|
|
||||||
@property
|
|
||||||
def profile_list(self) -> list:
|
|
||||||
"""
|
|
||||||
Возвращает список профилей для фронтенда
|
|
||||||
(без ключей, только публичная информация).
|
|
||||||
"""
|
|
||||||
return [
|
|
||||||
{
|
|
||||||
"id": p["id"],
|
|
||||||
"name": p["name"],
|
|
||||||
"description": p["description"],
|
|
||||||
}
|
|
||||||
for p in self._profiles.values()
|
|
||||||
]
|
|
||||||
|
|
||||||
def get_profile(self, profile_id: str) -> Optional[dict]:
|
|
||||||
"""Возвращает полный профиль по id или None."""
|
|
||||||
return self._profiles.get(profile_id)
|
|
||||||
|
|
||||||
def chat(self, profile_id: str, user_text: str) -> str:
|
|
||||||
"""
|
|
||||||
Отправляет текст пользователя в указанную LLM и возвращает ответ.
|
|
||||||
|
|
||||||
Args:
|
|
||||||
profile_id: Идентификатор профиля (ddm, qwen, deepseek, ...).
|
|
||||||
user_text: Текст, который нужно отправить модели.
|
|
||||||
|
|
||||||
Returns:
|
|
||||||
Ответ модели (строка).
|
|
||||||
|
|
||||||
Raises:
|
|
||||||
ValueError: Если профиль не найден.
|
|
||||||
RuntimeError: При ошибке API.
|
|
||||||
"""
|
|
||||||
profile = self._profiles.get(profile_id)
|
|
||||||
if not profile:
|
|
||||||
available = ", ".join(self._profiles.keys())
|
|
||||||
raise ValueError(
|
|
||||||
f"Неизвестный LLM-профиль '{profile_id}'. Доступны: {available}"
|
|
||||||
)
|
|
||||||
|
|
||||||
if not profile["key"]:
|
|
||||||
raise RuntimeError(f"API-ключ для профиля '{profile_id}' не задан")
|
|
||||||
|
|
||||||
log.info(
|
|
||||||
"LLM [%s]: отправка запроса (модель=%s, %d символов)",
|
|
||||||
profile_id,
|
|
||||||
profile["model"],
|
|
||||||
len(user_text),
|
|
||||||
)
|
|
||||||
|
|
||||||
resp = requests.post(
|
|
||||||
profile["url"],
|
|
||||||
headers={
|
|
||||||
"Authorization": f"Bearer {profile['key']}",
|
|
||||||
"Content-Type": "application/json",
|
|
||||||
},
|
|
||||||
json={
|
|
||||||
"model": profile["model"],
|
|
||||||
"messages": [
|
|
||||||
{"role": "system", "content": profile["system_prompt"]},
|
|
||||||
{"role": "user", "content": user_text},
|
|
||||||
],
|
|
||||||
"temperature": profile["temperature"],
|
|
||||||
"max_tokens": profile["max_tokens"],
|
|
||||||
},
|
|
||||||
timeout=60,
|
|
||||||
)
|
|
||||||
|
|
||||||
if resp.status_code != 200:
|
|
||||||
log.error("LLM [%s] API error %d: %s", profile_id, resp.status_code, resp.text)
|
|
||||||
raise RuntimeError(
|
|
||||||
f"Ошибка LLM ({resp.status_code}): {resp.text[:200]}"
|
|
||||||
)
|
|
||||||
|
|
||||||
answer = resp.json()["choices"][0]["message"]["content"].strip()
|
|
||||||
|
|
||||||
log.info("LLM [%s]: получен ответ (%d символов)", profile_id, len(answer))
|
|
||||||
return answer
|
|
||||||
|
|
||||||
|
|
||||||
# Глобальный экземпляр сервиса
|
|
||||||
llm_service = LLMService()
|
|
||||||
@@ -1,120 +0,0 @@
|
|||||||
"""
|
|
||||||
WhisperService — распознавание речи через OpenAI-совместимый API.
|
|
||||||
|
|
||||||
Принимает аудио-байты и MIME-тип, возвращает распознанный текст.
|
|
||||||
"""
|
|
||||||
|
|
||||||
import logging
|
|
||||||
import tempfile
|
|
||||||
from typing import Optional
|
|
||||||
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from config import WHISPER_URL, WHISPER_KEY, WHISPER_MODEL
|
|
||||||
|
|
||||||
log = logging.getLogger(__name__)
|
|
||||||
|
|
||||||
|
|
||||||
class WhisperService:
|
|
||||||
"""
|
|
||||||
Сервис транскрибации аудио в текст.
|
|
||||||
|
|
||||||
Использует OpenAI-совместимый эндпоинт /v1/audio/transcriptions.
|
|
||||||
Поддерживает форматы: webm, wav, mp3, ogg, flac.
|
|
||||||
"""
|
|
||||||
|
|
||||||
def __init__(
|
|
||||||
self,
|
|
||||||
api_url: str = WHISPER_URL,
|
|
||||||
api_key: str = WHISPER_KEY,
|
|
||||||
model: str = WHISPER_MODEL,
|
|
||||||
):
|
|
||||||
"""
|
|
||||||
Args:
|
|
||||||
api_url: URL эндпоинта транскрибации.
|
|
||||||
api_key: API-ключ (Bearer-токен).
|
|
||||||
model: Название модели Whisper.
|
|
||||||
"""
|
|
||||||
self._url = api_url
|
|
||||||
self._key = api_key
|
|
||||||
self._model = model
|
|
||||||
|
|
||||||
def transcribe(
|
|
||||||
self,
|
|
||||||
audio_bytes: bytes,
|
|
||||||
mime_type: str = "audio/webm",
|
|
||||||
language: str = "ru",
|
|
||||||
) -> str:
|
|
||||||
"""
|
|
||||||
Отправляет аудио на распознавание и возвращает текст.
|
|
||||||
|
|
||||||
Args:
|
|
||||||
audio_bytes: Сырые байты аудиофайла.
|
|
||||||
mime_type: MIME-тип аудио (audio/webm, audio/wav, ...).
|
|
||||||
language: Язык распознавания (ISO 639-1).
|
|
||||||
|
|
||||||
Returns:
|
|
||||||
Распознанный текст (может быть пустой строкой).
|
|
||||||
|
|
||||||
Raises:
|
|
||||||
RuntimeError: При ошибке API или отсутствии ключа.
|
|
||||||
"""
|
|
||||||
if not self._key:
|
|
||||||
raise RuntimeError("API-ключ для Whisper не задан (WHISPER_KEY)")
|
|
||||||
|
|
||||||
# Определяем расширение файла по MIME-типу
|
|
||||||
suffix = self._mime_to_suffix(mime_type)
|
|
||||||
|
|
||||||
# Пишем аудио во временный файл (requests требует file-like object)
|
|
||||||
with tempfile.NamedTemporaryFile(suffix=suffix, delete=False) as tmp:
|
|
||||||
tmp.write(audio_bytes)
|
|
||||||
tmp.flush()
|
|
||||||
tmp.seek(0)
|
|
||||||
|
|
||||||
log.info(
|
|
||||||
"Whisper: отправка %d байт (тип=%s, модель=%s)",
|
|
||||||
len(audio_bytes),
|
|
||||||
mime_type,
|
|
||||||
self._model,
|
|
||||||
)
|
|
||||||
|
|
||||||
resp = requests.post(
|
|
||||||
self._url,
|
|
||||||
headers={"Authorization": f"Bearer {self._key}"},
|
|
||||||
files={"file": (f"audio{suffix}", tmp, mime_type)},
|
|
||||||
data={
|
|
||||||
"model": self._model,
|
|
||||||
"language": language,
|
|
||||||
},
|
|
||||||
timeout=30,
|
|
||||||
)
|
|
||||||
|
|
||||||
if resp.status_code != 200:
|
|
||||||
log.error("Whisper API error %d: %s", resp.status_code, resp.text)
|
|
||||||
raise RuntimeError(
|
|
||||||
f"Ошибка распознавания ({resp.status_code}): {resp.text[:200]}"
|
|
||||||
)
|
|
||||||
|
|
||||||
result = resp.json()
|
|
||||||
text = result.get("text", "").strip()
|
|
||||||
|
|
||||||
log.info("Whisper: распознано %d символов", len(text))
|
|
||||||
return text
|
|
||||||
|
|
||||||
@staticmethod
|
|
||||||
def _mime_to_suffix(mime_type: str) -> str:
|
|
||||||
"""Сопоставляет MIME-тип с расширением файла."""
|
|
||||||
mapping = {
|
|
||||||
"audio/webm": ".webm",
|
|
||||||
"audio/wav": ".wav",
|
|
||||||
"audio/wave": ".wav",
|
|
||||||
"audio/mp3": ".mp3",
|
|
||||||
"audio/mpeg": ".mp3",
|
|
||||||
"audio/ogg": ".ogg",
|
|
||||||
"audio/flac": ".flac",
|
|
||||||
}
|
|
||||||
return mapping.get(mime_type, ".webm")
|
|
||||||
|
|
||||||
|
|
||||||
# Глобальный экземпляр сервиса (переиспользуется между запросами)
|
|
||||||
whisper_service = WhisperService()
|
|
||||||
@@ -1,283 +0,0 @@
|
|||||||
<!DOCTYPE html>
|
|
||||||
<html lang="ru">
|
|
||||||
<head>
|
|
||||||
<meta charset="UTF-8">
|
|
||||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
|
||||||
<title>Say — Голосовой ассистент | Nubes</title>
|
|
||||||
<link rel="icon" href="/static/favicon.png" type="image/png">
|
|
||||||
<link rel="stylesheet" href="/static/style.css">
|
|
||||||
</head>
|
|
||||||
<body>
|
|
||||||
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<!-- Header — точь-в-точь как в ipwhitelist-app -->
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<header class="topbar">
|
|
||||||
<div class="topbar-inner">
|
|
||||||
<a href="/" class="topbar-logo" title="Say — Главная">
|
|
||||||
<img src="/static/nubes-logo.svg" alt="Nubes" width="130" height="28">
|
|
||||||
</a>
|
|
||||||
<span class="topbar-sep">|</span>
|
|
||||||
<span class="topbar-title">Say — Голосовой ассистент</span>
|
|
||||||
</div>
|
|
||||||
</header>
|
|
||||||
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<!-- Контент -->
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<div class="page">
|
|
||||||
|
|
||||||
<!-- Карточка: три LLM на выбор -->
|
|
||||||
<div class="card">
|
|
||||||
<div class="card-header">🤖 Выберите модель — нажмите и говорите</div>
|
|
||||||
<div class="card-body" id="llmCards">
|
|
||||||
<!-- Заполняется JS после загрузки профилей с /api/profiles -->
|
|
||||||
<div class="loading">Загрузка моделей...</div>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<!-- Карточка: результат -->
|
|
||||||
<div class="card" id="resultCard" style="display:none">
|
|
||||||
<div class="card-header">📋 Результат</div>
|
|
||||||
<div class="card-body">
|
|
||||||
<div class="result-section">
|
|
||||||
<div class="result-label">📝 Распознано (Whisper)</div>
|
|
||||||
<div class="result-text" id="transcriptionText"></div>
|
|
||||||
</div>
|
|
||||||
<div class="result-section">
|
|
||||||
<div class="result-label" id="responseLabel">🤖 Ответ LLM</div>
|
|
||||||
<div class="result-text" id="responseText"></div>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<!-- Ошибка -->
|
|
||||||
<div class="alert alert-error" id="errorBox" style="display:none"></div>
|
|
||||||
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<!-- Footer -->
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<div class="footer">Say v1.0.0 · Whisper + LLM · Nubes</div>
|
|
||||||
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<!-- JavaScript -->
|
|
||||||
<!-- ================================================================== -->
|
|
||||||
<script>
|
|
||||||
// ===========================================================================
|
|
||||||
// DOM-элементы
|
|
||||||
// ===========================================================================
|
|
||||||
const llmCards = document.getElementById('llmCards');
|
|
||||||
const resultCard = document.getElementById('resultCard');
|
|
||||||
const transEl = document.getElementById('transcriptionText');
|
|
||||||
const respEl = document.getElementById('responseText');
|
|
||||||
const respLabel = document.getElementById('responseLabel');
|
|
||||||
const errorBox = document.getElementById('errorBox');
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Состояние записи (одна активная кнопка в моменте)
|
|
||||||
// ===========================================================================
|
|
||||||
let activeStream = null; // MediaStream
|
|
||||||
let activeRecorder = null; // MediaRecorder
|
|
||||||
let activeBtn = null; // DOM-кнопка
|
|
||||||
let audioChunks = [];
|
|
||||||
let activeLlmId = null;
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Шаблон карточки LLM
|
|
||||||
// ===========================================================================
|
|
||||||
function buildLlmCard(profile) {
|
|
||||||
return `
|
|
||||||
<div class="llm-card" data-llm="${profile.id}">
|
|
||||||
<div class="llm-info">
|
|
||||||
<div class="llm-name">${escapeHtml(profile.name)}</div>
|
|
||||||
<div class="llm-desc">${escapeHtml(profile.description)}</div>
|
|
||||||
</div>
|
|
||||||
<button class="btn btn-primary record-btn" data-llm="${profile.id}">
|
|
||||||
<span class="btn-icon">🎤</span>
|
|
||||||
<span class="btn-label">Записать</span>
|
|
||||||
</button>
|
|
||||||
<span class="rec-status" data-llm="${profile.id}"></span>
|
|
||||||
</div>
|
|
||||||
`;
|
|
||||||
}
|
|
||||||
|
|
||||||
function escapeHtml(str) {
|
|
||||||
const div = document.createElement('div');
|
|
||||||
div.textContent = str;
|
|
||||||
return div.innerHTML;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Загрузка профилей с сервера
|
|
||||||
// ===========================================================================
|
|
||||||
async function loadProfiles() {
|
|
||||||
try {
|
|
||||||
const resp = await fetch('/api/profiles');
|
|
||||||
if (!resp.ok) throw new Error('Ошибка загрузки профилей: ' + resp.status);
|
|
||||||
const profiles = await resp.json();
|
|
||||||
|
|
||||||
llmCards.innerHTML = profiles.map(buildLlmCard).join('');
|
|
||||||
|
|
||||||
// Вешаем обработчики на все кнопки записи
|
|
||||||
document.querySelectorAll('.record-btn').forEach(function(btn) {
|
|
||||||
btn.addEventListener('click', function() {
|
|
||||||
var llmId = btn.dataset.llm;
|
|
||||||
if (activeRecorder && activeRecorder.state === 'recording') {
|
|
||||||
stopRecording(); // повторное нажатие = стоп
|
|
||||||
} else {
|
|
||||||
startRecording(llmId, btn);
|
|
||||||
}
|
|
||||||
});
|
|
||||||
});
|
|
||||||
} catch (err) {
|
|
||||||
llmCards.innerHTML = '<div class="alert alert-error">' + escapeHtml(err.message) + '</div>';
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Старт записи
|
|
||||||
// ===========================================================================
|
|
||||||
async function startRecording(llmId, btn) {
|
|
||||||
// Сбрасываем предыдущий результат/ошибку
|
|
||||||
resultCard.style.display = 'none';
|
|
||||||
errorBox.style.display = 'none';
|
|
||||||
|
|
||||||
// Если уже идёт запись на другой кнопке — стоп
|
|
||||||
if (activeRecorder && activeRecorder.state === 'recording') {
|
|
||||||
stopRecording();
|
|
||||||
}
|
|
||||||
|
|
||||||
try {
|
|
||||||
activeStream = await navigator.mediaDevices.getUserMedia({ audio: true });
|
|
||||||
} catch (err) {
|
|
||||||
showError('Нет доступа к микрофону. Разрешите запись в браузере.');
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
var mimeType = MediaRecorder.isTypeSupported('audio/webm;codecs=opus')
|
|
||||||
? 'audio/webm;codecs=opus'
|
|
||||||
: 'audio/webm';
|
|
||||||
|
|
||||||
activeRecorder = new MediaRecorder(activeStream, { mimeType: mimeType });
|
|
||||||
audioChunks = [];
|
|
||||||
activeLlmId = llmId;
|
|
||||||
activeBtn = btn;
|
|
||||||
|
|
||||||
activeRecorder.ondataavailable = function(e) {
|
|
||||||
if (e.data.size > 0) audioChunks.push(e.data);
|
|
||||||
};
|
|
||||||
|
|
||||||
activeRecorder.onstop = function() { sendToServer(); };
|
|
||||||
|
|
||||||
activeRecorder.start();
|
|
||||||
|
|
||||||
// UI: кнопка → состояние «запись»
|
|
||||||
setButtonRecording(btn, true);
|
|
||||||
setAllButtonsDisabled(true, btn);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Стоп записи
|
|
||||||
// ===========================================================================
|
|
||||||
function stopRecording() {
|
|
||||||
if (activeRecorder && activeRecorder.state === 'recording') {
|
|
||||||
activeRecorder.stop();
|
|
||||||
}
|
|
||||||
if (activeStream) {
|
|
||||||
activeStream.getTracks().forEach(function(t) { t.stop(); });
|
|
||||||
activeStream = null;
|
|
||||||
}
|
|
||||||
// UI: кнопка → «обработка...»
|
|
||||||
if (activeBtn) {
|
|
||||||
setButtonProcessing(activeBtn);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Отправка аудио на сервер
|
|
||||||
// ===========================================================================
|
|
||||||
async function sendToServer() {
|
|
||||||
var blob = new Blob(audioChunks, { type: 'audio/webm' });
|
|
||||||
var formData = new FormData();
|
|
||||||
formData.append('audio', blob, 'recording.webm');
|
|
||||||
|
|
||||||
try {
|
|
||||||
var resp = await fetch('/api/speech/' + activeLlmId, {
|
|
||||||
method: 'POST',
|
|
||||||
body: formData,
|
|
||||||
});
|
|
||||||
|
|
||||||
var data = await resp.json();
|
|
||||||
|
|
||||||
if (!resp.ok) {
|
|
||||||
throw new Error(data.error || 'Ошибка сервера (' + resp.status + ')');
|
|
||||||
}
|
|
||||||
|
|
||||||
// Успех — показываем результат
|
|
||||||
transEl.textContent = data.transcription;
|
|
||||||
respEl.textContent = data.response;
|
|
||||||
respLabel.textContent = '🤖 Ответ (' + data.llm.name + ')';
|
|
||||||
resultCard.style.display = '';
|
|
||||||
errorBox.style.display = 'none';
|
|
||||||
|
|
||||||
} catch (err) {
|
|
||||||
showError(err.message);
|
|
||||||
} finally {
|
|
||||||
resetButtons();
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// UI-хелперы
|
|
||||||
// ===========================================================================
|
|
||||||
function setButtonRecording(btn, rec) {
|
|
||||||
var icon = btn.querySelector('.btn-icon');
|
|
||||||
var label = btn.querySelector('.btn-label');
|
|
||||||
if (rec) {
|
|
||||||
icon.textContent = '⏺️';
|
|
||||||
label.textContent = 'Стоп';
|
|
||||||
btn.classList.add('recording');
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function setButtonProcessing(btn) {
|
|
||||||
var icon = btn.querySelector('.btn-icon');
|
|
||||||
var label = btn.querySelector('.btn-label');
|
|
||||||
icon.textContent = '⏳';
|
|
||||||
label.textContent = 'Обработка...';
|
|
||||||
btn.disabled = true;
|
|
||||||
}
|
|
||||||
|
|
||||||
function setAllButtonsDisabled(dis, exceptBtn) {
|
|
||||||
document.querySelectorAll('.record-btn').forEach(function(b) {
|
|
||||||
if (b !== exceptBtn) b.disabled = dis;
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
function resetButtons() {
|
|
||||||
document.querySelectorAll('.record-btn').forEach(function(b) {
|
|
||||||
b.disabled = false;
|
|
||||||
b.classList.remove('recording');
|
|
||||||
b.querySelector('.btn-icon').textContent = '🎤';
|
|
||||||
b.querySelector('.btn-label').textContent = 'Записать';
|
|
||||||
});
|
|
||||||
activeBtn = null;
|
|
||||||
activeRecorder = null;
|
|
||||||
activeLlmId = null;
|
|
||||||
}
|
|
||||||
|
|
||||||
function showError(msg) {
|
|
||||||
errorBox.textContent = '❌ ' + msg;
|
|
||||||
errorBox.style.display = '';
|
|
||||||
resultCard.style.display = 'none';
|
|
||||||
}
|
|
||||||
|
|
||||||
// ===========================================================================
|
|
||||||
// Инициализация
|
|
||||||
// ===========================================================================
|
|
||||||
loadProfiles();
|
|
||||||
</script>
|
|
||||||
</body>
|
|
||||||
</html>
|
|
||||||
Reference in New Issue
Block a user