Step 0: rename site/ → app/ (Python stdlib conflict fix)
This commit is contained in:
+128
@@ -0,0 +1,128 @@
|
||||
"""contracts-flask — Flask-фронтенд для сверки договоров.
|
||||
1:1 функционал с Lucee-версией.
|
||||
Все тяжёлые операции — на ВМ (contracts.kube5s.ru).
|
||||
"""
|
||||
import os
|
||||
import httpx
|
||||
from flask import Flask, render_template, request, jsonify
|
||||
|
||||
app = Flask(__name__)
|
||||
|
||||
VM_API = os.environ.get("VM_API", "https://contracts.kube5s.ru")
|
||||
LLM_URL = os.environ.get("LLM_API_URL", "https://api.aillm.ru/v1/chat/completions")
|
||||
LLM_KEY = os.environ.get("LLM_API_KEY", "")
|
||||
LLM_MODEL = os.environ.get("LLM_MODEL", "gpt-oss-120b")
|
||||
|
||||
|
||||
@app.route("/")
|
||||
def index():
|
||||
return render_template("index.html", vm_api=VM_API)
|
||||
|
||||
|
||||
@app.route("/chat", methods=["POST"])
|
||||
def chat():
|
||||
contract_id = request.args.get("contract_id", "")
|
||||
question = request.form.get("question", "")
|
||||
if not contract_id or not question:
|
||||
return jsonify({"ok": False, "error": "contract_id and question required"})
|
||||
|
||||
try:
|
||||
with httpx.Client(timeout=10) as client:
|
||||
resp = client.get(f"{VM_API}/api/spec-current", params={"contract_id": contract_id})
|
||||
resp.raise_for_status()
|
||||
rows = resp.json().get("rows", [])
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": f"VM error: {e}"})
|
||||
|
||||
if not rows:
|
||||
return jsonify({"ok": True, "answer": "Нет данных. Сначала запустите сравнение."})
|
||||
|
||||
ctx = "\n".join(f"{r.get('name','')} | цена={r.get('price')} | объём={r.get('qty')} | сумма={r.get('sum')} | начало={r.get('date_start')}" for r in rows)
|
||||
prompt = f"Ты — анализатор договоров. Данные:\n{ctx}\n\nВопрос: {question}\nОтветь кратко, только по данным."
|
||||
|
||||
try:
|
||||
with httpx.Client(http2=True, timeout=120) as client:
|
||||
resp = client.post(LLM_URL, json={
|
||||
"model": LLM_MODEL,
|
||||
"messages": [{"role": "user", "content": prompt}],
|
||||
"max_tokens": 1000, "temperature": 0.1,
|
||||
}, headers={"Authorization": f"Bearer {LLM_KEY}", "Content-Type": "application/json"})
|
||||
resp.raise_for_status()
|
||||
return jsonify({"ok": True, "answer": resp.json()["choices"][0]["message"]["content"]})
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": f"LLM error: {e}"})
|
||||
|
||||
|
||||
@app.route("/api/prompts", methods=["GET"])
|
||||
def prompts_get():
|
||||
try:
|
||||
with httpx.Client(timeout=10) as client:
|
||||
resp = client.get(f"{VM_API}/api/prompts", params=request.args)
|
||||
return jsonify(resp.json())
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": str(e)})
|
||||
|
||||
|
||||
@app.route("/api/prompts/list", methods=["GET"])
|
||||
def prompts_list():
|
||||
try:
|
||||
with httpx.Client(timeout=10) as client:
|
||||
resp = client.get(f"{VM_API}/api/prompts/list")
|
||||
return jsonify(resp.json())
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": str(e)})
|
||||
|
||||
|
||||
@app.route("/api/prompts/save", methods=["POST"])
|
||||
def prompts_save():
|
||||
try:
|
||||
with httpx.Client(timeout=10) as client:
|
||||
resp = client.post(f"{VM_API}/api/prompts/save", json=request.get_json())
|
||||
return jsonify(resp.json())
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": str(e)})
|
||||
|
||||
|
||||
@app.route("/api/prompts/activate", methods=["POST"])
|
||||
def prompts_activate():
|
||||
try:
|
||||
with httpx.Client(timeout=10) as client:
|
||||
resp = client.post(f"{VM_API}/api/prompts/activate", json=request.get_json())
|
||||
return jsonify(resp.json())
|
||||
except Exception as e:
|
||||
return jsonify({"ok": False, "error": str(e)})
|
||||
|
||||
|
||||
@app.route("/architect")
|
||||
def architect():
|
||||
return render_template("architect.html")
|
||||
|
||||
|
||||
@app.route("/ci-cd")
|
||||
def ci_cd():
|
||||
return render_template("ci-cd.html")
|
||||
|
||||
|
||||
@app.route("/drhider")
|
||||
@app.route("/DrHider")
|
||||
def drhider():
|
||||
return render_template("drhider.html", vm_api=VM_API)
|
||||
|
||||
|
||||
@app.route("/health")
|
||||
def health():
|
||||
return {"ok": True, "service": "contracts-flask"}
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
app.run(host="0.0.0.0", port=5000, threaded=True)
|
||||
|
||||
# ── Совместимость с Lucee-путями ──────────────────────────────
|
||||
|
||||
@app.route("/chat.cfm", methods=["POST"])
|
||||
def chat_cfm():
|
||||
return chat()
|
||||
|
||||
@app.route("/prompt.cfm", methods=["GET"])
|
||||
def prompt_cfm():
|
||||
return prompts_get()
|
||||
@@ -0,0 +1,549 @@
|
||||
"""
|
||||
DrHider — обфускация документов (двухпроходная, в памяти, без БД).
|
||||
|
||||
Проход 1: собрать все сущности из всех файлов → глобальный словарь замен.
|
||||
Проход 2: применить замены → собрать ZIP с обфусцированными файлами + mapping.csv.
|
||||
|
||||
Согласованность: одна и та же сущность во всех файлах → одно и то же фиктивное значение.
|
||||
"""
|
||||
DRHIDER_VERSION = "1.3"
|
||||
import io
|
||||
import csv
|
||||
import re
|
||||
import random
|
||||
import string
|
||||
import zipfile
|
||||
import logging
|
||||
import os
|
||||
from typing import Dict, List, Tuple, Callable, Optional
|
||||
|
||||
log = logging.getLogger("drhider")
|
||||
|
||||
# ═══════════════════════════════════════════
|
||||
# Regex-паттерны для обнаружения сущностей
|
||||
# ═══════════════════════════════════════════
|
||||
|
||||
ENTITY_PATTERNS: Dict[str, str] = {
|
||||
"phone": r'(?<!\d)(?:\+7|8)[\s\-]?\(?\d{3}\)?[\s\-]?\d{3}[\s\-]?\d{2}[\s\-]?\d{2}(?!\d)',
|
||||
"email": r'\b[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}\b',
|
||||
# 12-значный ИНН ДО 10-значного (иначе 12-значный матчится как 10)
|
||||
"inn_fl": r'ИНН\s*\d{12}',
|
||||
"inn_ul": r'ИНН\s*\d{10}',
|
||||
"ogrn": r'ОГРН\s*\d{13}',
|
||||
"kpp": r'КПП\s*\d{9}',
|
||||
"bik": r'БИК\s*\d{9}',
|
||||
"rs": r'(?:р/с|расч[её]тный\s*сч[её]т)\s*\d{20}',
|
||||
"ks": r'(?:к/с|кор/сч|корр?[еи]?спондентский\s*сч[её]т)\s*\d{20}',
|
||||
"passport": r'(?:паспорт|серия\s+номер)[\s:№]*\d{2}\s*\d{2}\s*\d{6,7}',
|
||||
}
|
||||
|
||||
# Фирмы — обнаружение по шаблону
|
||||
COMPANY_PATTERN = re.compile(
|
||||
r'(?:ООО|ЗАО|ОАО|АО|ПАО|ИП|ТОО)\s+(?:«[^»]+»|"[^"]+"|\u201c[^\u201d]+\u201d|[А-ЯA-Z][\w\-\.]{2,40})',
|
||||
re.IGNORECASE
|
||||
)
|
||||
|
||||
# ФИО — Фамилия + инициалы или полное имя (только кириллица)
|
||||
PERSON_PATTERN = re.compile(
|
||||
r'\b[А-Я][а-я]+\s+[А-Я]\.[А-Я]\.'
|
||||
r'|\b[А-Я][а-я]+\s+[А-Я][а-я]+\s+[А-Я][а-я]+'
|
||||
)
|
||||
|
||||
# ═══════════════════════════════════════════
|
||||
# Генераторы фиктивных значений
|
||||
# ═══════════════════════════════════════════
|
||||
|
||||
# Словари русских имён
|
||||
RU_SURNAMES = ["Иванов", "Смирнов", "Кузнецов", "Попов", "Васильев", "Петров",
|
||||
"Соколов", "Михайлов", "Новиков", "Фёдоров", "Морозов", "Волков", "Алексеев",
|
||||
"Лебедев", "Семёнов", "Егоров", "Павлов", "Козлов", "Степанов", "Николаев"]
|
||||
RU_NAMES = ["Александр", "Дмитрий", "Сергей", "Андрей", "Алексей", "Максим",
|
||||
"Евгений", "Иван", "Михаил", "Николай", "Владимир", "Павел", "Виктор", "Олег"]
|
||||
RU_PATRONYMICS = ["Александрович", "Дмитриевич", "Сергеевич", "Андреевич",
|
||||
"Алексеевич", "Иванович", "Михайлович", "Николаевич", "Владимирович",
|
||||
"Павлович", "Викторович", "Олегович", "Евгеньевич", "Максимович"]
|
||||
|
||||
RU_CITIES = ["Москва", "Санкт-Петербург", "Новосибирск", "Екатеринбург",
|
||||
"Казань", "Нижний Новгород", "Челябинск", "Самара", "Омск", "Ростов-на-Дону",
|
||||
"Уфа", "Красноярск", "Воронеж", "Пермь", "Волгоград"]
|
||||
RU_STREETS = ["Ленина", "Мира", "Пушкина", "Гагарина", "Советская",
|
||||
"Кирова", "Октябрьская", "Молодёжная", "Садовая", "Центральная"]
|
||||
|
||||
FAKE_DOMAINS = ["example.ru", "mail.test", "company.local", "org.example.ru"]
|
||||
|
||||
|
||||
def _checksum_inn10(inn: str) -> str:
|
||||
"""Контрольная сумма для 10-значного ИНН."""
|
||||
coeffs = [2, 4, 10, 3, 5, 9, 4, 6, 8]
|
||||
s = sum(int(inn[i]) * coeffs[i] for i in range(9))
|
||||
return str((s % 11) % 10)
|
||||
|
||||
|
||||
def _checksum_inn12(inn: str) -> str:
|
||||
"""Контрольные суммы для 12-значного ИНН (первые 10 цифр)."""
|
||||
c1 = [7, 2, 4, 10, 3, 5, 9, 4, 6, 8]
|
||||
c2 = [3, 7, 2, 4, 10, 3, 5, 9, 4, 6, 8]
|
||||
s1 = sum(int(inn[i]) * c1[i] for i in range(10))
|
||||
n1 = (s1 % 11) % 10
|
||||
inn2 = inn + str(n1)
|
||||
s2 = sum(int(inn2[i]) * c2[i] for i in range(11))
|
||||
n2 = (s2 % 11) % 10
|
||||
return str(n1) + str(n2)
|
||||
|
||||
|
||||
def _checksum_ogrn(ogrn: str) -> str:
|
||||
"""Контрольная сумма для ОГРН (12 цифр → остаток от деления на 11)."""
|
||||
s = int(ogrn) % 11
|
||||
return str(s % 10)
|
||||
|
||||
|
||||
def _random_digits(n: int) -> str:
|
||||
return ''.join(random.choice(string.digits) for _ in range(n))
|
||||
|
||||
|
||||
def _random_letters(n: int) -> str:
|
||||
return ''.join(random.choice(string.ascii_lowercase) for _ in range(n))
|
||||
|
||||
|
||||
def generate_phone(_: str) -> str:
|
||||
code = random.choice(["495", "499", "812", "383", "343"])
|
||||
return f"+7 ({code}) {_random_digits(3)}-{_random_digits(2)}-{_random_digits(2)}"
|
||||
|
||||
|
||||
def generate_email(original: str) -> str:
|
||||
"""Генерирует email с тем же форматом."""
|
||||
domain = random.choice(FAKE_DOMAINS)
|
||||
local = _random_letters(random.randint(5, 10))
|
||||
return f"{local}@{domain}"
|
||||
|
||||
|
||||
def generate_inn10(original: str) -> str:
|
||||
prefix = re.match(r'ИНН\s*', original, re.IGNORECASE).group(0)
|
||||
base = f"{random.randint(1,9)}{_random_digits(8)}"
|
||||
return prefix + base + _checksum_inn10(base)
|
||||
|
||||
|
||||
def generate_inn12(original: str) -> str:
|
||||
prefix = re.match(r'ИНН\s*', original, re.IGNORECASE).group(0)
|
||||
base = f"{random.randint(1,9)}{_random_digits(9)}"
|
||||
return prefix + base + _checksum_inn12(base)
|
||||
|
||||
|
||||
def generate_ogrn(original: str) -> str:
|
||||
prefix = re.match(r'ОГРН\s*', original, re.IGNORECASE).group(0)
|
||||
base = "1" + _random_digits(11)
|
||||
return prefix + base + _checksum_ogrn(base)
|
||||
|
||||
|
||||
def generate_kpp(original: str) -> str:
|
||||
prefix = re.match(r'КПП\s*', original, re.IGNORECASE).group(0)
|
||||
return prefix + _random_digits(4) + random.choice(["01", "43", "77"]) + _random_digits(3)
|
||||
|
||||
|
||||
def generate_bik(original: str) -> str:
|
||||
prefix = re.match(r'БИК\s*', original, re.IGNORECASE).group(0)
|
||||
return prefix + "04" + _random_digits(7)
|
||||
|
||||
|
||||
def generate_rs(original: str) -> str:
|
||||
prefix = re.match(r'(?:р/с|расч[её]тный\s*сч[её]т)\s*', original, re.IGNORECASE).group(0)
|
||||
return prefix + "40702" + _random_digits(15)
|
||||
|
||||
|
||||
def generate_ks(original: str) -> str:
|
||||
prefix = re.match(r'(?:к/с|кор/сч|корр?[еи]?спондентский\s*сч[её]т)\s*', original, re.IGNORECASE).group(0)
|
||||
return prefix + "30101" + _random_digits(15)
|
||||
|
||||
|
||||
def generate_passport(original: str) -> str:
|
||||
m = re.match(r'(?:паспорт|серия\s+номер)[\s:№]*', original, re.IGNORECASE)
|
||||
prefix = m.group(0) if m else ""
|
||||
return prefix + f"{random.randint(10,99)} {random.randint(10,99)} {_random_digits(6)}"
|
||||
|
||||
|
||||
def generate_company(_: str) -> str:
|
||||
forms = ["ООО", "ЗАО", "АО"]
|
||||
nouns = ["Технология", "Прогресс", "Гарант", "Стандарт", "Импульс",
|
||||
"Вектор", "Сфера", "Альянс", "Синтез", "Меридиан", "Спектр", "Формат"]
|
||||
return f'{random.choice(forms)} «{random.choice(nouns)}»'
|
||||
|
||||
|
||||
def generate_person(_: str) -> str:
|
||||
s = random.choice(RU_SURNAMES)
|
||||
n = random.choice(RU_NAMES)
|
||||
p = random.choice(RU_PATRONYMICS)
|
||||
return f"{s} {n[0]}.{p[0]}."
|
||||
|
||||
|
||||
def generate_address(_: str) -> str:
|
||||
city = random.choice(RU_CITIES)
|
||||
street = random.choice(RU_STREETS)
|
||||
house = random.randint(1, 200)
|
||||
return f"{city}, ул. {street}, д. {house}"
|
||||
|
||||
|
||||
# ═══════════════════════════════════════════
|
||||
# Основной класс
|
||||
# ═══════════════════════════════════════════
|
||||
|
||||
class TwoPassObfuscator:
|
||||
"""Двухпроходный обфускатор: сбор сущностей → замена."""
|
||||
|
||||
def __init__(self, llm_client=None):
|
||||
self._mapping: Dict[str, str] = {} # оригинал → замена (только для точных текстовых совпадений)
|
||||
self._regex_replacements: List[Tuple[str, str, Callable]] = [] # (pattern, type, generator)
|
||||
self._sorted_keys: List[str] = [] # ключи mapping, отсортированные по длине (убывание)
|
||||
self._llm_client = llm_client
|
||||
|
||||
def obfuscate(self, files: List[Tuple[str, bytes, str]]) -> Tuple[bytes, str]:
|
||||
"""
|
||||
Главная точка входа.
|
||||
|
||||
Args:
|
||||
files: [(original_filename, content_bytes, content_type), ...]
|
||||
|
||||
Returns:
|
||||
(zip_bytes, mapping_csv_string)
|
||||
"""
|
||||
# --- Распаковать ZIP-файлы ---
|
||||
files = self._expand_zips(files)
|
||||
# --- Конвертировать PDF → DOCX ---
|
||||
files = self._convert_pdfs_to_docx(files)
|
||||
|
||||
try:
|
||||
# --- Проход 1: сбор сущностей ---
|
||||
all_texts: Dict[str, str] = {}
|
||||
all_docx: Dict[str, object] = {}
|
||||
|
||||
for fname, content, ctype in files:
|
||||
text, doc = self._extract_text(fname, content, ctype)
|
||||
all_texts[fname] = text
|
||||
if doc is not None:
|
||||
all_docx[fname] = doc
|
||||
if text and text != "[DOC binary — not parsed]":
|
||||
self._scan_regex(text)
|
||||
|
||||
if self._llm_client:
|
||||
self._scan_llm_ner(all_texts)
|
||||
|
||||
# Предсортировать ключи один раз для _apply_replacements
|
||||
self._sorted_keys = sorted(self._mapping.keys(), key=len, reverse=True)
|
||||
|
||||
# --- Проход 2: замена ---
|
||||
results = []
|
||||
for fname, content, ctype in files:
|
||||
obf_content = content
|
||||
if fname.endswith('.doc'):
|
||||
# .doc — бинарный, оставляем как есть
|
||||
pass
|
||||
elif fname in all_docx:
|
||||
obf_content = self._replace_in_docx(all_docx[fname])
|
||||
else:
|
||||
txt = all_texts.get(fname, '')
|
||||
obf_content = self._replace_in_text(txt, fname)
|
||||
results.append((fname, obf_content))
|
||||
|
||||
csv_str = self._build_mapping_csv()
|
||||
return self._build_zip(results, csv_str), csv_str
|
||||
|
||||
finally:
|
||||
self._mapping.clear()
|
||||
self._regex_replacements.clear()
|
||||
self._sorted_keys.clear()
|
||||
|
||||
def _convert_pdfs_to_docx(self, files: List[Tuple[str, bytes, str]]) -> List[Tuple[str, bytes, str]]:
|
||||
"""Конвертировать PDF в DOCX через pdfplumber. При совпадении имён — _из_pdf."""
|
||||
import pdfplumber
|
||||
from docx import Document as DocxDocument
|
||||
result = []
|
||||
existing_names = {f[0] for f in files}
|
||||
for fname, content, ctype in files:
|
||||
if not fname.lower().endswith('.pdf'):
|
||||
result.append((fname, content, ctype))
|
||||
continue
|
||||
try:
|
||||
doc = DocxDocument()
|
||||
with pdfplumber.open(io.BytesIO(content)) as pdf:
|
||||
for page in pdf.pages:
|
||||
tables = page.extract_tables()
|
||||
for table in tables:
|
||||
if table:
|
||||
rows = [[str(c or "").strip() for c in (row or [])] for row in table]
|
||||
rows = [r for r in rows if any(r)]
|
||||
if rows:
|
||||
t = doc.add_table(rows=len(rows), cols=len(rows[0]))
|
||||
t.style = 'Table Grid'
|
||||
for ri, row in enumerate(rows):
|
||||
for ci, cell_text in enumerate(row):
|
||||
t.rows[ri].cells[ci].text = cell_text
|
||||
text = page.extract_text()
|
||||
if text:
|
||||
for line in text.split('\n'):
|
||||
line = line.strip()
|
||||
if line:
|
||||
doc.add_paragraph(line)
|
||||
buf = io.BytesIO()
|
||||
doc.save(buf)
|
||||
new_name = fname[:-4] + '.docx'
|
||||
if new_name in existing_names:
|
||||
new_name = fname[:-4] + '_из_pdf.docx'
|
||||
existing_names.add(new_name)
|
||||
result.append((new_name, buf.getvalue(), ctype))
|
||||
except Exception as e:
|
||||
log.warning("PDF→DOCX error for %s: %s", fname, e)
|
||||
result.append((fname, content, ctype))
|
||||
return result
|
||||
|
||||
def _expand_zips(self, files: List[Tuple[str, bytes, str]]) -> List[Tuple[str, bytes, str]]:
|
||||
"""Распаковать ZIP-файлы, заменив их содержимым. Остальные файлы — как есть."""
|
||||
result = []
|
||||
for fname, content, ctype in files:
|
||||
if fname.lower().endswith('.zip'):
|
||||
try:
|
||||
with zipfile.ZipFile(io.BytesIO(content)) as zf:
|
||||
total_size = sum(info.file_size for info in zf.infolist())
|
||||
if total_size > 500 * 1024 * 1024: # 500 MB
|
||||
log.warning("ZIP too large, skipping expansion: %s", fname)
|
||||
result.append((fname, content, ctype))
|
||||
continue
|
||||
if len(zf.infolist()) > 500:
|
||||
log.warning("ZIP too many files, skipping: %s", fname)
|
||||
result.append((fname, content, ctype))
|
||||
continue
|
||||
for info in zf.infolist():
|
||||
if info.is_dir():
|
||||
continue
|
||||
# cp437 → utf8 (как в services/unzip.py)
|
||||
name = info.filename
|
||||
try:
|
||||
name = name.encode("cp437").decode("utf-8", errors="replace")
|
||||
except (UnicodeDecodeError, UnicodeEncodeError):
|
||||
pass
|
||||
# Убрать path traversal
|
||||
name = os.path.basename(name)
|
||||
if not name or name.endswith("/") or ".." in name or "/" in name or "\\" in name:
|
||||
continue
|
||||
inner_data = zf.read(info)
|
||||
result.append((name, inner_data, ""))
|
||||
except Exception as e:
|
||||
log.warning("Failed to expand ZIP %s: %s", fname, e)
|
||||
result.append((fname, content, ctype))
|
||||
else:
|
||||
result.append((fname, content, ctype))
|
||||
return result
|
||||
|
||||
# --- Проход 1: обнаружение ---
|
||||
|
||||
def _extract_text(self, fname: str, content: bytes, ctype: str) -> Tuple[str, Optional[object]]:
|
||||
"""Извлечь текст из файла. Возвращает (text, docx_document_or_None)."""
|
||||
doc = None
|
||||
text = ""
|
||||
|
||||
ext = os.path.splitext(fname)[1].lower()
|
||||
|
||||
if ext == '.docx':
|
||||
try:
|
||||
from docx import Document
|
||||
except ImportError:
|
||||
text = content.decode('utf-8', errors='replace')
|
||||
return text, None
|
||||
doc = Document(io.BytesIO(content))
|
||||
text = "\n".join(p.text for p in doc.paragraphs)
|
||||
for table in doc.tables:
|
||||
for row in table.rows:
|
||||
text += "\n" + " | ".join(cell.text for cell in row.cells)
|
||||
|
||||
elif ext == '.pdf':
|
||||
try:
|
||||
import pdfplumber
|
||||
except ImportError:
|
||||
text = content.decode('utf-8', errors='replace')
|
||||
return text, None
|
||||
with pdfplumber.open(io.BytesIO(content)) as pdf:
|
||||
for page in pdf.pages:
|
||||
t = page.extract_text()
|
||||
if t:
|
||||
text += t + "\n"
|
||||
for table in page.extract_tables():
|
||||
for row in table:
|
||||
text += "\n" + " | ".join(str(c) if c else "" for c in row)
|
||||
|
||||
elif ext == '.doc':
|
||||
# .doc — бинарный формат, без libreoffice не парсим
|
||||
# Пропускаем без изменений (не обфусцируем)
|
||||
text = "[DOC binary — not parsed]"
|
||||
return text, None
|
||||
|
||||
else:
|
||||
text = content.decode('utf-8', errors='replace')
|
||||
|
||||
return text, doc
|
||||
|
||||
def _scan_regex(self, text: str):
|
||||
"""Сканировать текст regex-паттернами, заполнить словарь замен."""
|
||||
for entity_type, pattern in ENTITY_PATTERNS.items():
|
||||
for match in re.finditer(pattern, text, re.IGNORECASE | re.MULTILINE):
|
||||
original = match.group(0).strip()
|
||||
if original and original not in self._mapping:
|
||||
generator = ENTITY_GENERATORS.get(entity_type, lambda x: "XXX")
|
||||
self._mapping[original] = generator(original)
|
||||
|
||||
# Компании (кроме НУБЕС — это Исполнитель)
|
||||
for match in COMPANY_PATTERN.finditer(text):
|
||||
original = match.group(0).strip()
|
||||
if original and original not in self._mapping:
|
||||
if re.search(r'НУБЕС|NUBES', original, re.IGNORECASE):
|
||||
continue # Исполнитель — не заменяем
|
||||
self._mapping[original] = generate_company(original)
|
||||
|
||||
# ФИО (Фамилия И.О.)
|
||||
for match in PERSON_PATTERN.finditer(text):
|
||||
original = match.group(0).strip()
|
||||
if original and original not in self._mapping:
|
||||
self._mapping[original] = generate_person(original)
|
||||
|
||||
def _scan_llm_ner(self, all_texts: Dict[str, str]):
|
||||
"""LLM NER для обнаружения имён и адресов во всех файлах."""
|
||||
combined = "\n\n---FILE---\n\n".join(
|
||||
f"FILE: {fname}\n{t[:3000]}" for fname, t in all_texts.items()
|
||||
)
|
||||
prompt = (
|
||||
"Ты — система обнаружения персональных данных в документах. "
|
||||
"Найди ВСЕ следующие сущности в тексте ниже:\n\n"
|
||||
"1. ФИО (полные и сокращённые — 'Иванов И.И.', 'Петров А.С.')\n"
|
||||
"2. Названия компаний-контрагентов (не 'НУБЕС')\n"
|
||||
"3. Почтовые адреса\n"
|
||||
"4. Паспортные данные\n\n"
|
||||
"Формат ответа — JSON-массив:\n"
|
||||
'[{"type": "person"|"company"|"address"|"passport", "value": "найденный текст"}]\n\n'
|
||||
f"Текст:\n{combined[:8000]}"
|
||||
)
|
||||
try:
|
||||
raw = self._llm_client.complete(prompt)
|
||||
import json
|
||||
# Игнорируем markdown-обёртку
|
||||
raw = raw.strip()
|
||||
if raw.startswith("```"):
|
||||
raw = raw.split("\n", 1)[1]
|
||||
if raw.endswith("```"):
|
||||
raw = raw[:-3]
|
||||
entities = json.loads(raw)
|
||||
for ent in entities:
|
||||
val = ent.get("value", "").strip()
|
||||
if val and val not in self._mapping:
|
||||
if ent.get("type") == "person":
|
||||
self._mapping[val] = generate_person(val)
|
||||
elif ent.get("type") == "company":
|
||||
self._mapping[val] = generate_company(val)
|
||||
elif ent.get("type") == "address":
|
||||
self._mapping[val] = generate_address(val)
|
||||
elif ent.get("type") == "passport":
|
||||
self._mapping[val] = generate_passport(val)
|
||||
except Exception as e:
|
||||
log.warning("LLM NER failed: %s", e)
|
||||
|
||||
# --- Проход 2: замена ---
|
||||
|
||||
def _replace_in_docx(self, doc) -> bytes:
|
||||
"""Заменить сущности в docx. Склеиваем runs → заменяем → пишем в первый run, очищаем остальные."""
|
||||
for para in doc.paragraphs:
|
||||
if not para.runs:
|
||||
continue
|
||||
full_text = "".join(run.text for run in para.runs)
|
||||
replaced = self._apply_replacements(full_text)
|
||||
if replaced != full_text:
|
||||
para.runs[0].text = replaced
|
||||
for run in para.runs[1:]:
|
||||
run.text = ""
|
||||
|
||||
for table in doc.tables:
|
||||
for row in table.rows:
|
||||
for cell in row.cells:
|
||||
for para in cell.paragraphs:
|
||||
if not para.runs:
|
||||
continue
|
||||
full_text = "".join(run.text for run in para.runs)
|
||||
replaced = self._apply_replacements(full_text)
|
||||
if replaced != full_text:
|
||||
para.runs[0].text = replaced
|
||||
for run in para.runs[1:]:
|
||||
run.text = ""
|
||||
|
||||
buf = io.BytesIO()
|
||||
doc.save(buf)
|
||||
return buf.getvalue()
|
||||
|
||||
def _replace_in_text(self, text: str, fname: str) -> bytes:
|
||||
"""Заменить сущности в plain text (для PDF и прочих)."""
|
||||
replaced = self._apply_replacements(text)
|
||||
# Для PDF пока отдаём текст (MVP — без сохранения форматирования PDF)
|
||||
return replaced.encode('utf-8')
|
||||
|
||||
def _apply_replacements(self, text: str) -> str:
|
||||
"""Применить все замены из словаря mapping к строке. Сначала длинные, потом короткие."""
|
||||
result = text
|
||||
for original in self._sorted_keys:
|
||||
replacement = self._mapping[original]
|
||||
# Границы слова — если сущность начинается и заканчивается на \w
|
||||
if original and original[0].isalnum() and original[-1].isalnum():
|
||||
pattern = r'(?<!\w)' + re.escape(original) + r'(?!\w)'
|
||||
else:
|
||||
pattern = re.escape(original)
|
||||
result = re.sub(pattern, replacement, result)
|
||||
return result
|
||||
|
||||
# --- Сборка выдачи ---
|
||||
|
||||
def _build_zip(self, files: List[Tuple[str, bytes]], mapping_csv: str = "") -> bytes:
|
||||
"""Собрать ZIP с обфусцированными файлами + mapping.csv."""
|
||||
buf = io.BytesIO()
|
||||
with zipfile.ZipFile(buf, 'w', zipfile.ZIP_DEFLATED) as zf:
|
||||
for fname, content in files:
|
||||
info = zipfile.ZipInfo(fname)
|
||||
info.flag_bits |= 0x800 # UTF-8 filename
|
||||
zf.writestr(info, content)
|
||||
if mapping_csv:
|
||||
zf.writestr("mapping.csv", '\ufeff'.encode('utf-8') + mapping_csv.encode('utf-8'))
|
||||
return buf.getvalue()
|
||||
|
||||
def _build_mapping_csv(self) -> str:
|
||||
"""Собрать mapping.csv."""
|
||||
buf = io.StringIO()
|
||||
writer = csv.writer(buf)
|
||||
writer.writerow(["тип_данных", "оригинал", "замена"])
|
||||
for original, replacement in sorted(self._mapping.items()):
|
||||
etype = "text"
|
||||
# inn_fl ДО inn_ul (12 цифр vs 10)
|
||||
for t in ["phone", "email", "inn_fl", "inn_ul", "ogrn", "kpp", "bik", "rs", "ks", "passport"]:
|
||||
pat = ENTITY_PATTERNS.get(t, "")
|
||||
if pat and re.match(pat, original, re.IGNORECASE):
|
||||
etype = t
|
||||
break
|
||||
if COMPANY_PATTERN.match(original):
|
||||
etype = "company"
|
||||
writer.writerow([etype, original, replacement])
|
||||
return buf.getvalue()
|
||||
|
||||
|
||||
# ═══════════════════════════════════════════
|
||||
# Маппинг entity_type → генератор
|
||||
# ═══════════════════════════════════════════
|
||||
|
||||
ENTITY_GENERATORS: Dict[str, Callable] = {
|
||||
"phone": generate_phone,
|
||||
"email": generate_email,
|
||||
"inn_ul": generate_inn10,
|
||||
"inn_fl": generate_inn12,
|
||||
"ogrn": generate_ogrn,
|
||||
"kpp": generate_kpp,
|
||||
"bik": generate_bik,
|
||||
"rs": generate_rs,
|
||||
"ks": generate_ks,
|
||||
"passport": generate_passport,
|
||||
}
|
||||
|
||||
|
||||
def obfuscate_files(files: List[Tuple[str, bytes, str]], llm_client=None) -> Tuple[bytes, str]:
|
||||
"""Удобная функция: обфусцировать список файлов → (zip_bytes, csv_string)."""
|
||||
obf = TwoPassObfuscator(llm_client=llm_client)
|
||||
return obf.obfuscate(files)
|
||||
@@ -0,0 +1,74 @@
|
||||
"""LLM Client — протокол + httpx-реализация + fake для тестов.
|
||||
|
||||
План decoupling Ф2:
|
||||
- LLMClient.complete(prompt) -> str — единственный метод
|
||||
- Парсинг JSON остаётся у вызывающего (call_llm / _call_llm_classify)
|
||||
- HttpxLLMClient — продакшен
|
||||
- FakeLLMClient — тесты (возвращает сохранённые ответы)
|
||||
"""
|
||||
from typing import Protocol
|
||||
|
||||
|
||||
class LLMClient(Protocol):
|
||||
"""Протокол LLM-клиента. Один метод — сырой вызов."""
|
||||
def complete(self, prompt: str) -> str:
|
||||
"""Отправить prompt в LLM, вернуть raw_text."""
|
||||
...
|
||||
|
||||
|
||||
class HttpxLLMClient:
|
||||
"""Продакшен-клиент через httpx → api.aillm.ru."""
|
||||
|
||||
def __init__(self, url: str, key: str, model: str = "gpt-oss-120b",
|
||||
max_tokens: int = 8000, temperature: float = 0.1, timeout: int = 120):
|
||||
self.url = url
|
||||
self.key = key
|
||||
self.model = model
|
||||
self.max_tokens = max_tokens
|
||||
self.temperature = temperature
|
||||
self.timeout = timeout
|
||||
|
||||
def complete(self, prompt: str) -> str:
|
||||
import httpx
|
||||
payload = {
|
||||
"model": self.model,
|
||||
"messages": [{"role": "user", "content": prompt}],
|
||||
"max_tokens": self.max_tokens,
|
||||
"temperature": self.temperature,
|
||||
}
|
||||
with httpx.Client(http2=True, timeout=self.timeout, verify=True) as client:
|
||||
resp = client.post(
|
||||
self.url,
|
||||
json=payload,
|
||||
headers={
|
||||
"Authorization": f"Bearer {self.key}",
|
||||
"Content-Type": "application/json",
|
||||
},
|
||||
)
|
||||
resp.raise_for_status()
|
||||
data = resp.json()
|
||||
return data["choices"][0]["message"]["content"]
|
||||
|
||||
|
||||
class FakeLLMClient:
|
||||
"""Тестовый клиент — возвращает сохранённые ответы из словаря."""
|
||||
|
||||
def __init__(self, responses: dict = None):
|
||||
self.responses = responses or {}
|
||||
self.calls: list[str] = [] # история вызовов для проверок
|
||||
|
||||
def add(self, prompt_key: str, response: str):
|
||||
"""Зарегистрировать ответ для конкретного prompt_key."""
|
||||
self.responses[prompt_key] = response
|
||||
|
||||
def complete(self, prompt: str) -> str:
|
||||
self.calls.append(prompt)
|
||||
# Ищем точное совпадение
|
||||
if prompt in self.responses:
|
||||
return self.responses[prompt]
|
||||
# Ищем по частичному ключу
|
||||
for key, resp in self.responses.items():
|
||||
if key in prompt:
|
||||
return resp
|
||||
# Fallback
|
||||
return self.responses.get("default", '{"error": "no response registered"}')
|
||||
@@ -0,0 +1,626 @@
|
||||
// ⛔ НЕ МЕНЯТЬ БЕЗ РАЗРЕШЕНИЯ НАЕЛЯ ⛔
|
||||
// Contracts App — весь JS на VM (contracts.kube5s.ru)
|
||||
// Lucee: только домен + index.cfm-скелет
|
||||
var VM_API = 'https://check.kube5s.ru';
|
||||
var UPLOAD_URL = VM_API + '/upload';
|
||||
var CONVERT_URL = VM_API + '/convert-doc';
|
||||
var UNZIP_URL = VM_API + '/unzip-upload';
|
||||
// SITE_URL удалён (Фаза 4) — не использовался
|
||||
|
||||
var fileInput = document.getElementById('fileInput');
|
||||
var fileTable = document.getElementById('fileTable');
|
||||
// state.files — теперь в state.js (Фаза 0: state + render)
|
||||
// state.contractId — теперь в state.js (Фаза 0: state + render)
|
||||
// state.batchId — теперь в state.js (Фаза 0: state + render)
|
||||
// (batchId = crypto.randomUUID() — уникальный ID сессии для классификации)
|
||||
|
||||
// Автоочистка старых записей при загрузке страницы
|
||||
(async function cleanup() {
|
||||
try {
|
||||
await fetch(VM_API + '/api/cleanup', { method: 'POST' });
|
||||
} catch(e) { /* ignore */ }
|
||||
})();
|
||||
|
||||
/**
|
||||
* render(state) — Главная функция рендеринга (Фаза 0, decoupling-final-plan.md).
|
||||
*
|
||||
* ПАТТЕРН: action → мутация state → render(state)
|
||||
*
|
||||
* Фаза 0: вызывает существующий renderTable().
|
||||
* renderTable читает state.files напрямую (state — глобальный объект).
|
||||
* Фаза 1+: будет вызывать renderFiles(state), renderGroups(state), renderStepper(state) и т.д.
|
||||
*
|
||||
* ПРАВИЛО: любое изменение state ДОЛЖНО завершаться вызовом render(state).
|
||||
* Никакой прямой манипуляции DOM в обход render().
|
||||
* console.log(state) показывает ВСЁ состояние в любой момент.
|
||||
*/
|
||||
function render(state) {
|
||||
renderFiles(state);
|
||||
renderStepper(state);
|
||||
}
|
||||
|
||||
// syncDB, statusToHTML, renderFiles, toggleClassifyDetail, uploadFile, refreshSupps
|
||||
// → вынесены в files.js (Фаза 1)
|
||||
|
||||
// ── Pipeline stepper (Фаза 4: state-driven) ──────────────────
|
||||
|
||||
/**
|
||||
* renderStepper(state) — Рендер степпера из state.ui.steps (Фаза 4).
|
||||
*
|
||||
* Читает state.ui.steps.{upload,classify,groups,compare}, обновляет DOM.
|
||||
* Значения: '○' (не начат) | '⏳' (в процессе) | '✓' (завершён).
|
||||
*/
|
||||
function renderStepper(state) {
|
||||
var steps = state.ui.steps;
|
||||
var map = { upload: 'stepUpload', classify: 'stepClassify', groups: 'stepGroups', compare: 'stepCompare' };
|
||||
var colors = { '○': 'var(--muted)', '⏳': 'var(--brand-primary)', '✓': 'var(--green)' };
|
||||
Object.keys(map).forEach(function(key) {
|
||||
var el = document.getElementById(map[key]);
|
||||
if (el) {
|
||||
el.textContent = steps[key] + ' ' + {upload:'Загрузка',classify:'Классификация',groups:'Группировка',compare:'Сравнение'}[key];
|
||||
el.style.color = colors[steps[key]] || 'var(--muted)';
|
||||
}
|
||||
});
|
||||
}
|
||||
|
||||
/**
|
||||
* stepDone(id) — Отметить шаг как завершённый (Фаза 4).
|
||||
* Мутирует state.ui.steps, вызывает renderStepper.
|
||||
*/
|
||||
function stepDone(id) {
|
||||
var key = { stepUpload: 'upload', stepClassify: 'classify', stepGroups: 'groups', stepCompare: 'compare' }[id];
|
||||
if (key) { state.ui.steps[key] = '✓'; renderStepper(state); }
|
||||
}
|
||||
|
||||
/**
|
||||
* stepActive(id) — Отметить шаг как активный (Фаза 4).
|
||||
* Мутирует state.ui.steps, вызывает renderStepper.
|
||||
*/
|
||||
function stepActive(id) {
|
||||
var key = { stepUpload: 'upload', stepClassify: 'classify', stepGroups: 'groups', stepCompare: 'compare' }[id];
|
||||
if (key) { state.ui.steps[key] = '⏳'; renderStepper(state); }
|
||||
}
|
||||
|
||||
/**
|
||||
* resetStepper(fromId) — Сбросить шаги начиная с fromId (Фаза 4).
|
||||
* Все шаги после (и включая) fromId получают '○'.
|
||||
* Мутирует state.ui.steps, вызывает renderStepper.
|
||||
*/
|
||||
function resetStepper(fromId) {
|
||||
var order = ['stepUpload','stepClassify','stepGroups','stepCompare'];
|
||||
var keys = ['upload','classify','groups','compare'];
|
||||
var reset = false;
|
||||
order.forEach(function(id, i) {
|
||||
if (id === fromId) reset = true;
|
||||
if (reset) { state.ui.steps[keys[i]] = '○'; }
|
||||
});
|
||||
renderStepper(state);
|
||||
}
|
||||
// Утилиты (formatSize, formatDate, moveUp, moveDown, escHtml, fmtDate) —
|
||||
// вынесены в app_utils.js для облегчения анализа и отладки.
|
||||
// statusToHTML, renderFiles → files.js (Фаза 1)
|
||||
|
||||
// ── Раскрыть/скрыть результат классификации под строкой файла ──
|
||||
// toggleClassifyDetail → files.js (Фаза 1)
|
||||
|
||||
// moveUp/moveDown/removeFile/openAbout/closeAbout — вынесены в app_utils.js
|
||||
|
||||
// ── Автозагрузка при выборе файлов ──────────────────────────
|
||||
// Фаза 1 (decoupling-final-plan.md): fileInput handler разбит на чистые функции
|
||||
// onFilesSelected → reconcileSelection → addZipFile/addRegularFile → finalizeUpload
|
||||
// Вся логика — в files.js. Здесь только тонкая обёртка.
|
||||
fileInput.addEventListener('change', async function() {
|
||||
var newFiles = Array.from(fileInput.files);
|
||||
onFilesSelected(newFiles);
|
||||
});
|
||||
|
||||
// ── Классификация ──────────────────────────────────────────
|
||||
function showClassifyBtn() {
|
||||
var btn = document.getElementById('classifyBtn');
|
||||
if (!btn) {
|
||||
btn = document.createElement('button');
|
||||
btn.id = 'classifyBtn';
|
||||
btn.className = 'btn btn-primary';
|
||||
btn.style.cssText = 'width:100%;justify-content:center;margin-top:8px;background:var(--brand-primary);border-color:var(--brand-primary);';
|
||||
btn.innerHTML = '<i data-lucide="tags" style="width:16px;height:16px;"></i> Классифицировать';
|
||||
btn.addEventListener('click', runClassify);
|
||||
document.getElementById('llmBtn').parentNode.insertBefore(btn, document.getElementById('llmBtn'));
|
||||
}
|
||||
btn.style.display = 'flex';
|
||||
btn.disabled = false;
|
||||
}
|
||||
|
||||
async function runClassify() {
|
||||
var btn = document.getElementById('classifyBtn');
|
||||
btn.disabled = true;
|
||||
btn.innerHTML = '<span class="spinner"></span> Классификация... 0с';
|
||||
stepActive('stepClassify');
|
||||
|
||||
var start = Date.now();
|
||||
var timer = setInterval(function() {
|
||||
btn.innerHTML = '<span class="spinner"></span> Классификация... ' + Math.round((Date.now() - start) / 1000) + 'с';
|
||||
}, 1000);
|
||||
|
||||
var totalFiles = 0;
|
||||
var classifyDone = false;
|
||||
|
||||
// Poll progress каждые 2с — работает и для sync, и для async classify
|
||||
var pollTimer = setInterval(async function() {
|
||||
try {
|
||||
var r = await fetch(VM_API + '/api/batch-progress?batch=' + state.batchId);
|
||||
var d = await r.json();
|
||||
if (d.ok && d.counts) {
|
||||
var done = (d.counts.classified || 0) + (d.counts.failed || 0);
|
||||
var total = d.total || 0;
|
||||
if (total > 0) totalFiles = total;
|
||||
btn.innerHTML = '<span class="spinner"></span> Классификация... ' + done + '/' + total + ' (' + Math.round((Date.now() - start) / 1000) + 'с)';
|
||||
if (done >= total && total > 0) {
|
||||
clearInterval(pollTimer);
|
||||
clearInterval(timer);
|
||||
classifyDone = true;
|
||||
btn.innerHTML = '✓ ' + done + '/' + total + ' классифицировано (' + Math.round((Date.now() - start) / 1000) + 'с)';
|
||||
stepDone('stepClassify');
|
||||
stepActive('stepGroups');
|
||||
loadGroupsAction();
|
||||
}
|
||||
}
|
||||
} catch(e) {}
|
||||
}, 2000);
|
||||
|
||||
try {
|
||||
var resp = await fetch(VM_API + '/api/classify-batch', {
|
||||
method: 'POST',
|
||||
headers: {'Content-Type': 'application/json'},
|
||||
body: JSON.stringify({batch_id: state.batchId})
|
||||
});
|
||||
var data = await resp.json();
|
||||
|
||||
// sync classify: ответ уже содержит done
|
||||
if (data.ok && data.done !== undefined) {
|
||||
clearInterval(timer);
|
||||
clearInterval(pollTimer);
|
||||
classifyDone = true;
|
||||
var summary = data.summary || (data.done + '/' + data.total + ' классифицировано');
|
||||
if (data.garbage) summary += ' | 🗑️ ' + data.garbage + ' мусор';
|
||||
if (data.types) summary += ' | ' + Object.entries(data.types).map(function(e){return e[1]+'×'+e[0];}).join(', ');
|
||||
btn.innerHTML = '✓ ' + summary + ' (' + Math.round((Date.now() - start) / 1000) + 'с)';
|
||||
stepDone('stepClassify');
|
||||
stepActive('stepGroups');
|
||||
loadGroupsAction();
|
||||
} else if (data.ok) {
|
||||
// async classify: 202 — ждём poll до done>=total
|
||||
totalFiles = data.total || 0;
|
||||
if (totalFiles === 0) {
|
||||
clearInterval(timer);
|
||||
clearInterval(pollTimer);
|
||||
btn.innerHTML = '✗ нет файлов для классификации';
|
||||
btn.disabled = false;
|
||||
}
|
||||
} else {
|
||||
clearInterval(timer);
|
||||
clearInterval(pollTimer);
|
||||
btn.innerHTML = '✗ ' + (data.error || 'ошибка');
|
||||
btn.disabled = false;
|
||||
}
|
||||
} catch(e) {
|
||||
if (!classifyDone) {
|
||||
clearInterval(timer);
|
||||
clearInterval(pollTimer);
|
||||
btn.innerHTML = '✗ ' + escHtml(e.message);
|
||||
btn.disabled = false;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// loadGroups, buildGroupCard, markGroupDone → groups.js (Фаза 2)
|
||||
|
||||
// Текущий активный EventSource (только один одновременно)
|
||||
// state._activeCompare — теперь в state.js (Фаза 0: state + render)
|
||||
|
||||
window.runCompareForGroup = async function(gi, btn) {
|
||||
var group = state.groups[gi];
|
||||
if (!group || group.contract_number === '__unresolved__') return;
|
||||
|
||||
// Фаза 2: отметить группу как «в процессе»
|
||||
// renderGroups НЕ вызываем — инкрементальные DOM-мутации внутри SSE
|
||||
group.compare = { status: 'running' };
|
||||
|
||||
// Остановить предыдущее сравнение
|
||||
if (state._activeCompare.es) { state._activeCompare.es.close(); state._activeCompare.es = null; }
|
||||
if (state._activeCompare.timer) { clearInterval(state._activeCompare.timer); state._activeCompare.timer = null; }
|
||||
|
||||
// Свернуть ТОЛЬКО тело текущей группы
|
||||
var curBody = document.getElementById('cmpBody_' + gi);
|
||||
if (curBody) curBody.style.display = 'none';
|
||||
|
||||
btn.disabled = true;
|
||||
btn.innerHTML = '<span class="spinner"></span> Применяю...';
|
||||
// Заблокировать ВСЕ кнопки сравнения пока идёт процесс
|
||||
document.querySelectorAll('.cmp-btn').forEach(function(b) { b.disabled = true; });
|
||||
|
||||
var ar = await fetch(VM_API + '/api/apply-groups', {
|
||||
method: 'POST',
|
||||
headers: {'Content-Type': 'application/json'},
|
||||
body: JSON.stringify({batch_id: state.batchId, groups: [group]})
|
||||
});
|
||||
var ad = await ar.json();
|
||||
if (!ad.ok || !ad.contract_ids || !ad.contract_ids.length) {
|
||||
btn.innerHTML = '✗ ошибка'; btn.disabled = false;
|
||||
document.querySelectorAll('.cmp-btn').forEach(function(b) { b.disabled = false; });
|
||||
return;
|
||||
}
|
||||
|
||||
var cid = ad.contract_ids[0];
|
||||
|
||||
// Создать контейнер для результатов сравнения
|
||||
var cmpBody = document.getElementById('cmpBody_' + gi);
|
||||
if (!cmpBody) {
|
||||
cmpBody = document.createElement('div');
|
||||
cmpBody.className = 'cmp-body';
|
||||
cmpBody.id = 'cmpBody_' + gi;
|
||||
cmpBody.style.cssText = 'margin-top:8px;';
|
||||
btn.parentNode.insertBefore(cmpBody, btn.nextSibling);
|
||||
}
|
||||
cmpBody.innerHTML = '';
|
||||
cmpBody.style.display = 'block';
|
||||
btn.innerHTML = '<span class="spinner"></span> Сравнение...';
|
||||
stepActive('stepCompare');
|
||||
|
||||
var statusEl = document.createElement('div');
|
||||
statusEl.style.cssText = 'font-size:11px;color:var(--muted);margin-bottom:4px;';
|
||||
statusEl.textContent = '⏳ 0.0с';
|
||||
cmpBody.appendChild(statusEl);
|
||||
|
||||
// Фаза 3: унифицированный SSE через startCompareSSE (compare.js)
|
||||
var result = startCompareSSE(
|
||||
VM_API + '/process-v2?contract_id=' + cid,
|
||||
cmpBody,
|
||||
statusEl,
|
||||
{
|
||||
onDone: function(d, sections) {
|
||||
state._activeCompare.timer = null;
|
||||
state._activeCompare.es = null;
|
||||
group.compare = {
|
||||
status: 'done',
|
||||
totalTime: d.total_time_s + 'с',
|
||||
bodyHTML: cmpBody.innerHTML,
|
||||
sections: sections
|
||||
};
|
||||
renderGroups(state);
|
||||
document.querySelectorAll('.cmp-btn').forEach(function(b) { b.disabled = false; });
|
||||
stepDone('stepCompare');
|
||||
},
|
||||
onError: function(d) {
|
||||
state._activeCompare.timer = null;
|
||||
state._activeCompare.es = null;
|
||||
group.compare = null;
|
||||
cmpBody.innerHTML += '<div style="color:var(--destructive);">✗ ' + escHtml(d.message) + '</div>';
|
||||
btn.innerHTML = '✗'; btn.disabled = false;
|
||||
document.querySelectorAll('.cmp-btn').forEach(function(b) { b.disabled = false; });
|
||||
},
|
||||
onConnectionError: function() {
|
||||
state._activeCompare.timer = null;
|
||||
state._activeCompare.es = null;
|
||||
group.compare = null;
|
||||
btn.innerHTML = '✗ соединение'; btn.disabled = false;
|
||||
document.querySelectorAll('.cmp-btn').forEach(function(b) { b.disabled = false; });
|
||||
}
|
||||
}
|
||||
);
|
||||
state._activeCompare.es = result.es;
|
||||
state._activeCompare.timer = result.timer;
|
||||
};
|
||||
|
||||
// uploadFile → files.js (Фаза 1)
|
||||
|
||||
// ── LLM: Общее сравнение (Event Sourcing) ────────────────────────
|
||||
document.getElementById('llmBtn').addEventListener('click', function() {
|
||||
if (!state.contractId) return;
|
||||
var btn = this;
|
||||
btn.disabled = true;
|
||||
btn.innerHTML = '<span class="spinner"></span> Сравнение...';
|
||||
|
||||
var compareCard = document.getElementById('compareCard');
|
||||
var compareBody = document.getElementById('compareBody');
|
||||
var compareStatus = document.getElementById('compareStatus');
|
||||
compareCard.style.display = 'block';
|
||||
compareBody.innerHTML = '';
|
||||
compareStatus.textContent = '⏳ 0.0с';
|
||||
|
||||
var order = state.files.map(function(f) { return f.supp_id; }).filter(Boolean).join(',');
|
||||
var url = 'https://check.kube5s.ru/process-v2?contract_id=' + state.contractId +
|
||||
(order ? '&order=' + encodeURIComponent(order) : '');
|
||||
|
||||
// Фаза 3: унифицированный SSE через startCompareSSE (compare.js)
|
||||
startCompareSSE(url, compareBody, compareStatus, {
|
||||
onDone: function(d) {
|
||||
btn.innerHTML = '<i data-lucide="check" style="width:16px;height:16px;"></i> ✓ Готово';
|
||||
stepDone('stepCompare');
|
||||
if (d.total_unresolved > 0) {
|
||||
compareBody.innerHTML += '<div style="margin-top:8px;color:#eab308;">⚠ ' + d.total_unresolved + ' неразрешённых строк — <a href=\"/resolve.cfm?contract_id=' + state.contractId + '\">разобрать</a></div>';
|
||||
}
|
||||
document.getElementById('chatCard').style.display = 'block';
|
||||
lucide.createIcons();
|
||||
},
|
||||
onError: function(d) {
|
||||
compareBody.innerHTML += '<div style="color:var(--destructive);margin-top:8px;">✗ ' + escHtml(d.message) + '</div>';
|
||||
btn.innerHTML = '<i data-lucide="scale" style="width:16px;height:16px;"></i> Общее сравнение';
|
||||
btn.disabled = false;
|
||||
},
|
||||
onConnectionError: function() {
|
||||
if (compareBody.innerHTML === '') {
|
||||
compareBody.innerHTML = '<div style="color:var(--destructive);">✗ Ошибка соединения</div>';
|
||||
}
|
||||
btn.innerHTML = '<i data-lucide="scale" style="width:16px;height:16px;"></i> Общее сравнение';
|
||||
btn.disabled = false;
|
||||
lucide.createIcons();
|
||||
}
|
||||
});
|
||||
});
|
||||
|
||||
// refreshSupps → files.js (Фаза 1)
|
||||
|
||||
// ── Чат ──────────────────────────────────────────────────────
|
||||
document.getElementById('chatSend').addEventListener('click', function() {
|
||||
var input = document.getElementById('chatInput');
|
||||
var q = input.value.trim();
|
||||
if (!q || !state.contractId) return;
|
||||
var msgs = document.getElementById('chatMessages');
|
||||
msgs.innerHTML += '<div style="color:var(--brand-primary);margin-top:4px;"><strong>Вы:</strong> ' + q + '</div>';
|
||||
input.value = '';
|
||||
input.disabled = true;
|
||||
document.getElementById('chatSend').disabled = true;
|
||||
msgs.innerHTML += '<div style="color:var(--muted);margin-top:2px;">⏳ Думаю...</div>';
|
||||
|
||||
var fd = new FormData();
|
||||
fd.append('question', q);
|
||||
fetch('/chat.cfm?contract_id=' + state.contractId, { method: 'POST', body: fd })
|
||||
.then(function(r) { return r.json(); })
|
||||
.then(function(d) {
|
||||
msgs.lastChild.remove();
|
||||
msgs.innerHTML += '<div style="margin-top:2px;"><strong>Ответ:</strong> ' + (d.OK ? d.ANSWER : (d.ERROR || '—')) + '</div>';
|
||||
input.disabled = false;
|
||||
document.getElementById('chatSend').disabled = false;
|
||||
input.focus();
|
||||
}).catch(function() {
|
||||
msgs.lastChild.remove();
|
||||
msgs.innerHTML += '<div style="color:var(--destructive);margin-top:2px;">Ошибка сети</div>';
|
||||
input.disabled = false;
|
||||
document.getElementById('chatSend').disabled = false;
|
||||
});
|
||||
});
|
||||
document.getElementById('chatInput').addEventListener('keydown', function(e) {
|
||||
if (e.key === 'Enter') document.getElementById('chatSend').click();
|
||||
});
|
||||
|
||||
function closeModal(e) {
|
||||
if (e && e.target !== document.getElementById('modalOverlay')) return;
|
||||
document.querySelector('.modal').classList.remove('wide');
|
||||
document.getElementById('modalOverlay').classList.remove('open');
|
||||
}
|
||||
|
||||
async function showText(i) {
|
||||
var f = state.files[i];
|
||||
var docId = f.doc_id;
|
||||
document.getElementById('modalTitle').textContent = f.name;
|
||||
document.getElementById('modalBody').innerHTML = '<span style="color:var(--muted);">Загрузка...</span>';
|
||||
var modal = document.querySelector('.modal');
|
||||
modal.classList.add('wide');
|
||||
document.getElementById('modalOverlay').classList.add('open');
|
||||
|
||||
var leftHtml = '<span style="color:var(--muted);">Загрузка...</span>';
|
||||
var rightHtml = '';
|
||||
|
||||
if (docId) {
|
||||
try {
|
||||
var qResp = await fetch(VM_API + '/api/documents/' + docId);
|
||||
var qData = await qResp.json();
|
||||
var elements = [];
|
||||
if (qData.ok && qData.elements_json) {
|
||||
var ej = qData.elements_json;
|
||||
if (typeof ej === 'object' && ej.Value) ej = ej.Value;
|
||||
if (typeof ej === 'string') elements = JSON.parse(ej);
|
||||
else elements = ej;
|
||||
}
|
||||
|
||||
// Общий textify для обеих панелей
|
||||
var textLines = [];
|
||||
elements.forEach(function(el) {
|
||||
var etype = el.type || el.TYPE || '?';
|
||||
if (etype === 'paragraph') {
|
||||
textLines.push(el.text || el.TEXT || '');
|
||||
} else if (etype === 'table') {
|
||||
var rows = el.rows || el.ROWS || [];
|
||||
if (rows.length > 0) {
|
||||
var ncols = (rows[0]||[]).length;
|
||||
textLines.push('--- Таблица ' + rows.length + '×' + ncols + ' ---');
|
||||
rows.forEach(function(row) {
|
||||
var cells = (row||[]).map(function(c){ return String(c||'').replace(/\n/g,' ').replace(/\|/g,'\\|'); });
|
||||
textLines.push('| ' + cells.join(' | ') + ' |');
|
||||
});
|
||||
textLines.push('');
|
||||
}
|
||||
}
|
||||
});
|
||||
var textify = textLines.join('\n').replace(/</g,'<').replace(/>/g,'>');
|
||||
|
||||
// Левая: сырой текст (textify)
|
||||
leftHtml = '<pre>' + textify + '</pre>';
|
||||
|
||||
// Правая: статистика + textify
|
||||
rightHtml += '<div class="kv"><span class="k">Размер</span><span class="v">' + formatSize(f.size) + '</span></div>';
|
||||
rightHtml += '<div class="kv"><span class="k">Изменён</span><span class="v">' + formatDate(f.lastModified) + '</span></div>';
|
||||
if (f.parseInfo) {
|
||||
var d = f.parseInfo;
|
||||
rightHtml += '<div class="kv"><span class="k">Элементов</span><span class="v">' + (d.element_count||0) + '</span></div>';
|
||||
if (d.error) rightHtml += '<div style="margin-top:8px;color:var(--destructive);">' + d.error + '</div>';
|
||||
}
|
||||
rightHtml += '<div style="margin-top:10px;font-weight:600;font-size:12px;">Все элементы:</div>';
|
||||
rightHtml += '<pre>' + textify + '</pre>';
|
||||
if (f.supp_id) {
|
||||
rightHtml += '<div class="kv"><span class="k">Тип ДС</span><span class="v">' + (f.supp_type || '—') + '</span></div>';
|
||||
}
|
||||
|
||||
// ── Результаты классификации ──────────────────────────
|
||||
if (qData.classify_status === 'classified' || qData.classify_raw) {
|
||||
rightHtml += '<div style="margin-top:12px;font-weight:600;font-size:12px;border-top:1px solid var(--brand-gray);padding-top:8px;">🏷️ Классификация LLM</div>';
|
||||
if (qData.doc_type) rightHtml += '<div class="kv"><span class="k">Тип</span><span class="v">' + escHtml(qData.doc_type) + '</span></div>';
|
||||
if (qData.own_number) rightHtml += '<div class="kv"><span class="k">Номер</span><span class="v">' + escHtml(qData.own_number) + '</span></div>';
|
||||
if (qData.parent_number) rightHtml += '<div class="kv"><span class="k">Родительский</span><span class="v">' + escHtml(qData.parent_number) + '</span></div>';
|
||||
if (qData.doc_date) rightHtml += '<div class="kv"><span class="k">Дата</span><span class="v">' + escHtml(qData.doc_date) + '</span></div>';
|
||||
if (qData.counterparty) rightHtml += '<div class="kv"><span class="k">Контрагент</span><span class="v">' + escHtml(qData.counterparty) + '</span></div>';
|
||||
if (qData.classify_raw) {
|
||||
var rawId = 'raw_' + docId.replace(/-/g,'');
|
||||
rightHtml += '<details style="margin-top:8px;"><summary style="cursor:pointer;font-size:11px;color:var(--brand-primary);">Сырой ответ LLM</summary>';
|
||||
rightHtml += '<pre style="font-size:10px;max-height:200px;overflow:auto;background:var(--brand-grey-light);padding:6px;border-radius:4px;margin-top:4px;">' + escHtml(qData.classify_raw) + '</pre>';
|
||||
rightHtml += '</details>';
|
||||
}
|
||||
}
|
||||
} catch(e) {
|
||||
leftHtml = '<span style="color:var(--destructive);">Ошибка</span>';
|
||||
}
|
||||
} else {
|
||||
leftHtml = '<span style="color:var(--muted);">(ещё не загружен)</span>';
|
||||
}
|
||||
|
||||
var html = '<div class="text-panes">' +
|
||||
'<div class="text-pane"><div class="pane-title">Сырой текст</div>' + leftHtml + '</div>' +
|
||||
'<div class="text-pane"><div class="pane-title">Распарсено</div>' + rightHtml + '</div>' +
|
||||
'</div>';
|
||||
document.getElementById('modalBody').innerHTML = html;
|
||||
}
|
||||
|
||||
window.closeModal = closeModal;
|
||||
window.showText = showText;
|
||||
|
||||
// ── Промпты (версионные) ─────────────────────────────────────
|
||||
var promptRole = 'diff'; // текущая выбранная роль
|
||||
var promptEditor = document.getElementById('promptEditor');
|
||||
var promptStatus = document.getElementById('promptStatus');
|
||||
var promptHistory = document.getElementById('promptHistory');
|
||||
var promptModalOverlay = document.getElementById('promptModalOverlay');
|
||||
var promptModalTitle = document.getElementById('promptModalTitle');
|
||||
var promptName = document.getElementById('promptName');
|
||||
var promptNotes = document.getElementById('promptNotes');
|
||||
// Три роли промптов:
|
||||
// extract — извлечение строк из первого документа (базовый договор)
|
||||
// diff — сравнение допсоглашений (ADD/UPDATE/DELETE)
|
||||
// classify — классификация документа (тип, номер, контрагент, дата)
|
||||
var activePromptId = {extract: '', diff: '', classify: ''};
|
||||
|
||||
function openPromptModal(role) {
|
||||
promptRole = role;
|
||||
var labels = {extract: 'Извлечение', diff: 'Сравнение', classify: 'Классификация'};
|
||||
promptModalTitle.textContent = 'Промпт: ' + (labels[role] || role);
|
||||
document.getElementById('promptTabExtract').style.background = role === 'extract' ? 'var(--brand-primary)' : '';
|
||||
document.getElementById('promptTabExtract').style.color = role === 'extract' ? '#fff' : '';
|
||||
document.getElementById('promptTabDiff').style.background = role === 'diff' ? 'var(--brand-primary)' : '';
|
||||
document.getElementById('promptTabDiff').style.color = role === 'diff' ? '#fff' : '';
|
||||
document.getElementById('promptTabClassify').style.background = role === 'classify' ? 'var(--brand-primary)' : '';
|
||||
document.getElementById('promptTabClassify').style.color = role === 'classify' ? '#fff' : '';
|
||||
promptStatus.textContent = '';
|
||||
promptName.value = '';
|
||||
promptNotes.value = '';
|
||||
loadPrompt(role);
|
||||
promptModalOverlay.classList.add('open');
|
||||
}
|
||||
|
||||
function closePromptModal(e) {
|
||||
if (e && e.target !== promptModalOverlay) return;
|
||||
promptModalOverlay.classList.remove('open');
|
||||
}
|
||||
|
||||
function loadPrompt(role) {
|
||||
fetch(VM_API + '/api/prompts?role=' + role)
|
||||
.then(function(r) { return r.json(); })
|
||||
.then(function(d) {
|
||||
if (d.ok) {
|
||||
promptEditor.value = d.body || '';
|
||||
activePromptId[role] = d.id || '';
|
||||
loadHistory(role);
|
||||
}
|
||||
})
|
||||
.catch(function(e) { console.error('loadPrompt:', e); });
|
||||
}
|
||||
|
||||
function loadHistory(role) {
|
||||
fetch(VM_API + '/api/prompts/list?role=' + role)
|
||||
.then(function(r) { return r.json(); })
|
||||
.then(function(d) {
|
||||
if (!d.ok || !d.versions || !d.versions.length) {
|
||||
promptHistory.innerHTML = '<div style="color:var(--muted);">нет версий</div>';
|
||||
return;
|
||||
}
|
||||
promptHistory.innerHTML = d.versions.map(function(v) {
|
||||
var isActive = v.is_active ? '<span style="display:inline-block;width:8px;height:8px;border-radius:50%;background:var(--green);margin-right:4px;" title="активная"></span> ' : '';
|
||||
var style = v.is_active ? 'font-weight:600;' : '';
|
||||
return '<div style="display:flex;align-items:center;padding:4px 0;border-bottom:1px solid var(--brand-gray);font-size:11px;' + style + '">'
|
||||
+ '<span style="flex:1;">' + isActive + escHtml(v.name) + ' <span style="color:var(--muted);">' + fmtDate(v.created_at) + '</span>'
|
||||
+ (v.notes ? ' <span style="color:var(--muted);font-style:italic;">— ' + escHtml(v.notes) + '</span>' : '')
|
||||
+ '</span>'
|
||||
+ (!v.is_active ? '<button class="btn" onclick="activatePrompt(\'' + v.id + '\')" style="font-size:11px;height:22px;padding:0 8px;margin-left:4px;">активировать</button>' : '')
|
||||
+ (!v.is_active ? '<button class="btn" onclick="deletePrompt(\'' + v.id + '\')" style="font-size:11px;height:22px;padding:0 8px;margin-left:2px;color:var(--destructive);">удалить</button>' : '')
|
||||
+ '</div>';
|
||||
}).join('');
|
||||
})
|
||||
.catch(function(e) { console.error('loadHistory:', e); });
|
||||
}
|
||||
|
||||
function activatePrompt(id) {
|
||||
fetch(VM_API + '/api/prompts/activate', {
|
||||
method: 'POST',
|
||||
headers: {'Content-Type': 'application/json'},
|
||||
body: JSON.stringify({id: id})
|
||||
})
|
||||
.then(function(r) { return r.json(); })
|
||||
.then(function(d) {
|
||||
if (d.ok) { loadPrompt(promptRole); promptStatus.textContent = '✓ активирован'; }
|
||||
else { promptStatus.textContent = '✕ ' + (d.error || 'ошибка'); }
|
||||
});
|
||||
}
|
||||
|
||||
function deletePrompt(id) {
|
||||
if (!confirm('Удалить эту версию промпта?')) return;
|
||||
fetch(VM_API + '/api/prompts/delete', {
|
||||
method: 'POST',
|
||||
headers: {'Content-Type': 'application/json'},
|
||||
body: JSON.stringify({id: id})
|
||||
})
|
||||
.then(function(r) { return r.json(); })
|
||||
.then(function(d) {
|
||||
if (d.ok) { loadHistory(promptRole); promptStatus.textContent = '✓ удалено'; }
|
||||
else { promptStatus.textContent = '✕ ' + (d.error || 'ошибка'); }
|
||||
});
|
||||
}
|
||||
|
||||
document.getElementById('promptSave').addEventListener('click', function() {
|
||||
var body = promptEditor.value.trim();
|
||||
if (!body) { promptStatus.textContent = '✕ тело промпта пустое'; return; }
|
||||
var name = promptName.value.trim() || ('v' + new Date().toISOString().replace(/[:.]/g,'-').substring(0,16));
|
||||
fetch(VM_API + '/api/prompts/save', {
|
||||
method: 'POST',
|
||||
headers: {'Content-Type': 'application/json'},
|
||||
body: JSON.stringify({
|
||||
role: promptRole, name: name, body: body,
|
||||
notes: promptNotes.value.trim(), is_active: true
|
||||
})
|
||||
})
|
||||
.then(function(r) { return r.json(); })
|
||||
.then(function(d) {
|
||||
if (d.ok) {
|
||||
promptStatus.textContent = '✓ сохранено (новая версия)';
|
||||
promptName.value = ''; promptNotes.value = '';
|
||||
loadPrompt(promptRole);
|
||||
} else {
|
||||
promptStatus.textContent = '✕ ' + (d.error || 'ошибка');
|
||||
}
|
||||
});
|
||||
});
|
||||
|
||||
document.getElementById('promptTabExtract').addEventListener('click', function() { openPromptModal('extract'); });
|
||||
document.getElementById('promptTabDiff').addEventListener('click', function() { openPromptModal('diff'); });
|
||||
document.getElementById('promptTabClassify').addEventListener('click', function() { openPromptModal('classify'); });
|
||||
document.getElementById('promptBtnExtract').addEventListener('click', function() { openPromptModal('extract'); });
|
||||
document.getElementById('promptBtnDiff').addEventListener('click', function() { openPromptModal('diff'); });
|
||||
document.getElementById('promptBtnClassify').addEventListener('click', function() { openPromptModal('classify'); });
|
||||
lucide.createIcons();
|
||||
@@ -0,0 +1,108 @@
|
||||
/**
|
||||
* app_utils.js — Общие утилиты (форматирование, стрелки, модалки).
|
||||
* Вынесены из app.js для облегчения анализа и отладки.
|
||||
* Загружается ДО app.js.
|
||||
*/
|
||||
|
||||
/**
|
||||
* Форматирует размер файла в человекочитаемый вид.
|
||||
* Используется в renderTable() для колонки "Размер".
|
||||
*/
|
||||
function formatSize(bytes) {
|
||||
if (!bytes || bytes === 0) return '—';
|
||||
if (bytes < 1024) return bytes + ' B';
|
||||
if (bytes < 1048576) return (bytes / 1024).toFixed(1) + ' KB';
|
||||
return (bytes / 1048576).toFixed(1) + ' MB';
|
||||
}
|
||||
|
||||
/**
|
||||
* Форматирует timestamp в российскую дату + время.
|
||||
* Используется в renderTable() для колонки "Изменён".
|
||||
*/
|
||||
function formatDate(ts) {
|
||||
if (!ts) return '—';
|
||||
var d = new Date(ts);
|
||||
return d.toLocaleDateString('ru-RU') + ' ' + d.toLocaleTimeString('ru-RU', {hour:'2-digit',minute:'2-digit'});
|
||||
}
|
||||
|
||||
/**
|
||||
* Удаляет файл из очереди по индексу.
|
||||
* Вызывается по кнопке ✕ в таблице файлов.
|
||||
*
|
||||
* Фаза 0 (state + render): мутирует state.files, затем render(state).
|
||||
* Если очередь опустела — сбрасывает state.contractId.
|
||||
*/
|
||||
function removeFile(i) {
|
||||
state.files.splice(i, 1);
|
||||
if (state.files.length === 0) state.contractId = null;
|
||||
render(state);
|
||||
// Синхронизировать БД с таблицей
|
||||
if (typeof syncDB === 'function') syncDB();
|
||||
// Сбросить прогресс при изменении состава файлов
|
||||
if (typeof resetStepper === 'function') resetStepper('stepUpload');
|
||||
// Разблокировать кнопку классификации при изменении состава файлов
|
||||
if (typeof showClassifyBtn === 'function') showClassifyBtn();
|
||||
}
|
||||
window.removeFile = removeFile;
|
||||
|
||||
/**
|
||||
* Переместить файл на одну позицию ВВЕРХ (сохранено для возможного возврата ручной сортировки).
|
||||
* В текущей версии (v1.0.164+) не используется — порядок определяет авто-классификация.
|
||||
*
|
||||
* Фаза 0 (state + render): мутирует state.files, затем render(state).
|
||||
*/
|
||||
function moveUp(i) {
|
||||
if (i <= 0) return;
|
||||
var tmp = state.files[i]; state.files[i] = state.files[i-1]; state.files[i-1] = tmp;
|
||||
render(state);
|
||||
}
|
||||
|
||||
/**
|
||||
* Переместить файл на одну позицию ВНИЗ (сохранено для возможного возврата ручной сортировки).
|
||||
* В текущей версии (v1.0.164+) не используется — порядок определяет авто-классификация.
|
||||
*
|
||||
* Фаза 0 (state + render): мутирует state.files, затем render(state).
|
||||
*/
|
||||
function moveDown(i) {
|
||||
if (i >= state.files.length - 1) return;
|
||||
var tmp = state.files[i]; state.files[i] = state.files[i+1]; state.files[i+1] = tmp;
|
||||
render(state);
|
||||
}
|
||||
window.moveUp = moveUp;
|
||||
window.moveDown = moveDown;
|
||||
|
||||
/**
|
||||
* Открыть модальное окно "О сервисе".
|
||||
*/
|
||||
function openAbout() {
|
||||
document.getElementById('aboutModalOverlay').classList.add('open');
|
||||
}
|
||||
|
||||
/**
|
||||
* Закрыть модальное окно "О сервисе" (по клику на оверлей или кнопку).
|
||||
*/
|
||||
function closeAbout(e) {
|
||||
if (e && e.target !== document.getElementById('aboutModalOverlay')) return;
|
||||
document.getElementById('aboutModalOverlay').classList.remove('open');
|
||||
}
|
||||
window.openAbout = openAbout;
|
||||
window.closeAbout = closeAbout;
|
||||
|
||||
/**
|
||||
* Экранировать HTML (для безопасного рендеринга пользовательских данных).
|
||||
* Используется в истории промптов.
|
||||
*/
|
||||
function escHtml(s) {
|
||||
if (s == null) return '';
|
||||
var d = document.createElement('div');
|
||||
d.textContent = s;
|
||||
return d.innerHTML;
|
||||
}
|
||||
|
||||
/**
|
||||
* Форматировать дату для истории промптов (YYYY-MM-DD HH:MM).
|
||||
*/
|
||||
function fmtDate(d) {
|
||||
if (!d) return '';
|
||||
return d.replace('T', ' ').substring(0, 16);
|
||||
}
|
||||
@@ -0,0 +1,243 @@
|
||||
/**
|
||||
* compare.js — Модуль сравнения через SSE (Фаза 3, decoupling-final-plan.md).
|
||||
*
|
||||
* УНИФИЦИРУЕТ дублирование (~160 строк) между runCompareForGroup и llmBtn.
|
||||
*
|
||||
* ПАТТЕРН:
|
||||
* applyCompareEvent(sections, event) — чистая мутация: SSE-событие → state
|
||||
* startCompareSSE(url, container, statusEl, callbacks) — жизненный цикл SSE
|
||||
* renderCompareOpsTable(ops) — общий рендер таблицы операций
|
||||
*
|
||||
* ЗАВИСИМОСТИ:
|
||||
* state.js → state (для _activeCompare)
|
||||
*/
|
||||
|
||||
/**
|
||||
* applyCompareEvent(sections, event) — Чистая функция (Фаза 3).
|
||||
*
|
||||
* Применяет ОДНО SSE-событие к состоянию sections.
|
||||
* НЕ трогает DOM — только мутирует объект sections.
|
||||
*
|
||||
* Вход: sections — объект { [supplement_id]: sectionState }
|
||||
* event — { type, supplement_id, filename, ops_count, mode, ... }
|
||||
* Выход: нет (мутирует sections)
|
||||
*
|
||||
* Типы событий:
|
||||
* extract_start → создаёт запись в sections
|
||||
* llm_done → обновляет статус, ops_count, mode, time_s
|
||||
* applied → сохраняет ops и summary
|
||||
* extract_error/apply_error → сохраняет ошибку
|
||||
*/
|
||||
function applyCompareEvent(sections, event) {
|
||||
var d = event;
|
||||
var suppId = d.supplement_id;
|
||||
|
||||
if (d.type === 'extract_start') {
|
||||
// Создать новую секцию: извлечение началось
|
||||
sections[suppId] = {
|
||||
filename: d.filename,
|
||||
status: 'extracting',
|
||||
ops_count: 0,
|
||||
mode: '',
|
||||
time_s: 0,
|
||||
summary: null,
|
||||
ops: null,
|
||||
error: null
|
||||
};
|
||||
}
|
||||
else if (d.type === 'llm_done') {
|
||||
// LLM закончил — сохранить метаданные
|
||||
var sec = sections[suppId];
|
||||
if (sec) {
|
||||
sec.status = 'llm_done';
|
||||
sec.ops_count = d.ops_count || 0;
|
||||
sec.mode = d.mode || '';
|
||||
sec.time_s = d.time_s || 0;
|
||||
}
|
||||
}
|
||||
else if (d.type === 'applied') {
|
||||
// Результаты сравнения применены — сохранить ops и summary
|
||||
var sec = sections[suppId];
|
||||
if (sec) {
|
||||
sec.status = 'applied';
|
||||
sec.summary = d.summary || {};
|
||||
sec.ops = d.ops || [];
|
||||
}
|
||||
}
|
||||
else if (d.type === 'extract_error' || d.type === 'apply_error') {
|
||||
// Ошибка извлечения или применения
|
||||
var sec = sections[suppId];
|
||||
if (sec) {
|
||||
sec.status = 'error';
|
||||
sec.error = d.error || 'неизвестная ошибка';
|
||||
} else {
|
||||
// Ошибка для ещё не созданной секции
|
||||
sections[suppId] = {
|
||||
filename: d.filename || '?',
|
||||
status: 'error',
|
||||
error: d.error || 'неизвестная ошибка',
|
||||
ops_count: 0, mode: '', time_s: 0, summary: null, ops: null
|
||||
};
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* renderCompareSectionHeader(sec) — Чистая функция: заголовок секции (Фаза 3).
|
||||
*
|
||||
* Вход: sec — { filename, status, ops_count, mode, time_s, error }
|
||||
* Выход: HTML-строка для div.diff-section-header
|
||||
*/
|
||||
function renderCompareSectionHeader(sec) {
|
||||
if (sec.status === 'extracting') {
|
||||
return '⏳ ' + sec.filename;
|
||||
}
|
||||
if (sec.status === 'llm_done' || sec.status === 'applied') {
|
||||
return '✓ ' + sec.filename + ' — ' + sec.ops_count + ' оп., ' + sec.mode + ' (' + sec.time_s + 'с)';
|
||||
}
|
||||
if (sec.status === 'error') {
|
||||
return '✗ ' + sec.filename + ': ' + sec.error;
|
||||
}
|
||||
return sec.filename;
|
||||
}
|
||||
|
||||
/**
|
||||
* renderCompareOpsTable(ops) — Чистая функция: таблица операций (Фаза 3).
|
||||
*
|
||||
* Используется ОБОИМИ обработчиками (runCompareForGroup и llmBtn).
|
||||
* Раньше этот код был продублирован ~30 строк × 2.
|
||||
*
|
||||
* Вход: ops — [{ action, new_row: { name, price, qty, sum, date_start } }]
|
||||
* Выход: HTML-строка <table>
|
||||
*/
|
||||
function renderCompareOpsTable(ops) {
|
||||
var html = '<div class="table-wrap"><table style="font-size:11px;"><thead><tr><th>Действие</th><th>Услуга</th><th>Цена</th><th>Кол-во</th><th>Сумма</th><th>Дата</th></tr></thead><tbody>';
|
||||
ops.forEach(function(op) {
|
||||
var action = op.action;
|
||||
// Цвет строки зависит от действия: ADD=зелёный, DELETE=красный, UPDATE=жёлтый
|
||||
var cls = action === 'ADD' ? 'diff-added' : action === 'DELETE' ? 'diff-deleted' : action === 'UPDATE' ? 'diff-changed' : '';
|
||||
var nr = op.new_row || {};
|
||||
html += '<tr class="' + cls + '"><td>' + action + '</td><td>' + (nr.name||'') + '</td><td class="num-cell">' + (nr.price!=null?nr.price:'') + '</td><td class="num-cell">' + (nr.qty!=null?nr.qty:'') + '</td><td class="num-cell">' + (nr.sum!=null?nr.sum:'') + '</td><td>' + (nr.date_start||'') + '</td></tr>';
|
||||
});
|
||||
html += '</tbody></table></div>';
|
||||
return html;
|
||||
}
|
||||
|
||||
/**
|
||||
* renderCompareSectionBody(sec) — Чистая функция: тело секции (Фаза 3).
|
||||
*
|
||||
* Рендерит summary (статистику) + таблицу ops.
|
||||
*
|
||||
* Вход: sec — { summary: { added, updated, deleted, unresolved }, ops }
|
||||
* Выход: HTML-строка
|
||||
*/
|
||||
function renderCompareSectionBody(sec) {
|
||||
if (!sec || sec.status !== 'applied' || !sec.ops || !sec.ops.length) return '';
|
||||
var s = sec.summary || {};
|
||||
var html = '<div style="font-size:12px;margin-bottom:6px;">';
|
||||
html += '+' + (s.added||0) + ' ~' + (s.updated||0) + ' -' + (s.deleted||0);
|
||||
if (s.unresolved) html += ' ?' + s.unresolved;
|
||||
html += '</div>';
|
||||
html += renderCompareOpsTable(sec.ops);
|
||||
return html;
|
||||
}
|
||||
|
||||
/**
|
||||
* startCompareSSE(url, container, statusEl, callbacks) — Жизненный цикл SSE (Фаза 3).
|
||||
*
|
||||
* УНИФИЦИРОВАННЫЙ обработчик SSE для ОБОИХ режимов сравнения.
|
||||
* Раньше ~80 строк дублировалось в runCompareForGroup и llmBtn.
|
||||
*
|
||||
* Параметры:
|
||||
* url — URL для EventSource (/process-v2?contract_id=...)
|
||||
* container — DOM-элемент, куда добавлять секции (cmpBody или compareBody)
|
||||
* statusEl — DOM-элемент для отображения таймера/статуса
|
||||
* callbacks — { onDone(d, sections), onError(d), onConnectionError() }
|
||||
* Все колбэки опциональны.
|
||||
* Таймер и EventSource УЖЕ остановлены к моменту вызова колбэков.
|
||||
*
|
||||
* Возвращает: { es, timer, sections } — для сохранения в state._activeCompare
|
||||
*/
|
||||
function startCompareSSE(url, container, statusEl, callbacks) {
|
||||
callbacks = callbacks || {};
|
||||
|
||||
// Таймер: обновляет statusEl каждые 200мс
|
||||
var start = Date.now();
|
||||
var timer = setInterval(function() {
|
||||
statusEl.textContent = '⏳ ' + ((Date.now() - start) / 1000).toFixed(1) + 'с';
|
||||
}, 200);
|
||||
|
||||
var es = new EventSource(url);
|
||||
var sections = {}; // supplement_id → { filename, status, ops_count, mode, time_s, summary, ops, error, _el }
|
||||
|
||||
es.onmessage = function(e) {
|
||||
var d = JSON.parse(e.data);
|
||||
|
||||
// ── extract_start: создать DOM-секцию ──
|
||||
if (d.type === 'extract_start') {
|
||||
applyCompareEvent(sections, d);
|
||||
var sec = sections[d.supplement_id];
|
||||
var secEl = document.createElement('div');
|
||||
secEl.style.cssText = 'margin-top:8px;border:1px solid var(--brand-gray);border-radius:6px;overflow:hidden;';
|
||||
secEl.innerHTML =
|
||||
'<div class="diff-section-header" style="padding:8px 12px;background:var(--brand-grey-light);cursor:pointer;font-size:13px;font-weight:600;"' +
|
||||
' onclick="var b=this.nextElementSibling;b.style.display=b.style.display===\'none\'?\'block\':\'none\';">' +
|
||||
renderCompareSectionHeader(sec) + '</div>' +
|
||||
'<div class="diff-section-body" style="display:none;padding:8px 12px;"></div>';
|
||||
container.appendChild(secEl);
|
||||
sec._el = secEl; // ссылка на DOM для последующих обновлений
|
||||
}
|
||||
|
||||
// ── llm_done: обновить заголовок секции ──
|
||||
else if (d.type === 'llm_done') {
|
||||
applyCompareEvent(sections, d);
|
||||
var sec = sections[d.supplement_id];
|
||||
if (sec && sec._el) {
|
||||
sec._el.querySelector('.diff-section-header').innerHTML = renderCompareSectionHeader(sec);
|
||||
sec._el.querySelector('.diff-section-header').style.color = 'var(--green)';
|
||||
}
|
||||
}
|
||||
|
||||
// ── applied: заполнить тело секции таблицей ops ──
|
||||
else if (d.type === 'applied') {
|
||||
applyCompareEvent(sections, d);
|
||||
var sec = sections[d.supplement_id];
|
||||
if (sec && sec._el && sec.ops && sec.ops.length > 0) {
|
||||
var body = sec._el.querySelector('.diff-section-body');
|
||||
body.innerHTML = renderCompareSectionBody(sec);
|
||||
body.style.display = 'block';
|
||||
}
|
||||
}
|
||||
|
||||
// ── extract_error / apply_error: показать ошибку ──
|
||||
else if (d.type === 'extract_error' || d.type === 'apply_error') {
|
||||
applyCompareEvent(sections, d);
|
||||
container.innerHTML += '<div style="font-size:12px;color:var(--destructive);">✗ ' + escHtml(d.filename) + ': ' + escHtml(d.error) + '</div>';
|
||||
}
|
||||
|
||||
// ── done: завершение ──
|
||||
else if (d.type === 'done') {
|
||||
clearInterval(timer);
|
||||
es.close();
|
||||
statusEl.textContent = '✓ ' + d.total_time_s + 'с';
|
||||
statusEl.style.color = 'var(--green)';
|
||||
if (callbacks.onDone) callbacks.onDone(d, sections);
|
||||
}
|
||||
|
||||
// ── error: фатальная ошибка ──
|
||||
else if (d.type === 'error') {
|
||||
clearInterval(timer);
|
||||
es.close();
|
||||
if (callbacks.onError) callbacks.onError(d);
|
||||
}
|
||||
};
|
||||
|
||||
// ── Сетевая ошибка ──
|
||||
es.onerror = function() {
|
||||
clearInterval(timer);
|
||||
es.close();
|
||||
if (callbacks.onConnectionError) callbacks.onConnectionError();
|
||||
};
|
||||
|
||||
return { es: es, timer: timer, sections: sections };
|
||||
}
|
||||
@@ -0,0 +1,4 @@
|
||||
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 32 32">
|
||||
<rect width="32" height="32" rx="4" fill="#001C34"/>
|
||||
<text x="16" y="24" text-anchor="middle" font-size="22" font-weight="bold" fill="white" font-family="sans-serif">N</text>
|
||||
</svg>
|
||||
|
After Width: | Height: | Size: 246 B |
@@ -0,0 +1,546 @@
|
||||
/**
|
||||
* files.js — Модуль работы с файлами (Фаза 1, decoupling-final-plan.md).
|
||||
*
|
||||
* ВЫНЕСЕНО из app.js:
|
||||
* - statusToHTML(st) — чистая: структура → HTML
|
||||
* - renderFiles(state) — рендер таблицы файлов
|
||||
* - syncDB() — синхронизация БД с fileQueue
|
||||
* - toggleClassifyDetail(i) — раскрыть результат классификации
|
||||
* - uploadFile(file, cb) — XHR-загрузка одного файла (.doc/.docx/.pdf)
|
||||
* - refreshSupps() — обновить supplement_id для файлов
|
||||
*
|
||||
* ЗАВИСИМОСТИ (глобальные, загружаются раньше):
|
||||
* state.js → state (центральное состояние)
|
||||
* app_utils.js → escHtml, formatSize, formatDate
|
||||
* app.js → render(), stepDone, stepActive, resetStepper, showClassifyBtn
|
||||
*
|
||||
* ЗАГРУЖАЕТСЯ: после app_utils.js, перед app.js
|
||||
*/
|
||||
|
||||
/**
|
||||
* statusToHTML(status) — Чистая функция: структура → HTML (Фаза 1).
|
||||
*
|
||||
* Вход: { kind, pct?, text?, count?, elapsed? } — ни одного HTML-тега.
|
||||
* kind = 'uploading' | 'uploaded' | 'unzipping' | 'parsing' | 'parsed' | 'error' | ''
|
||||
* Выход: безопасная HTML-строка (статусы не содержат пользовательских данных).
|
||||
*
|
||||
* ПАТТЕРН (decoupling-final-plan.md): отделяем данные от представления.
|
||||
* state хранит чистые данные, statusToHTML — чистая функция рендеринга.
|
||||
*/
|
||||
function statusToHTML(st) {
|
||||
if (!st || !st.kind) return '';
|
||||
switch (st.kind) {
|
||||
case 'uploading': return '↑ ' + (st.pct || 0) + '%';
|
||||
case 'uploaded': return '<span class="status-ok">✓</span>';
|
||||
case 'unzipping': return '⏳ распаковка...';
|
||||
case 'parsing': return '⏳ парсинг...';
|
||||
case 'parsed': return '<span class="status-ok">✓ ' + (st.count || 0) + ' эл.' + (st.elapsed ? ' (' + st.elapsed + 'с)' : '') + '</span>';
|
||||
case 'error': return '<span class="status-err">✗ ' + escHtml(st.text || 'Неизвестная ошибка') + '</span>';
|
||||
case 'duplicate': return '<span style="color:var(--muted);">⤿ дубликат</span>';
|
||||
case 'warning': return '<span style="color:#eab308;">⚠ ' + escHtml(st.text || 'пустой') + '</span>';
|
||||
case 'no_format': return '<span class="status-err">✗ формат не поддерживается</span>';
|
||||
default: return '';
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* renderFiles(state) — Рендер таблицы файлов (бывший renderTable, Фаза 1).
|
||||
*
|
||||
* Читает state.files, генерирует HTML для #fileTable.
|
||||
* Использует statusToHTML() для рендеринга статусов (чистые данные → HTML).
|
||||
* Вызывает lucide.createIcons() для иконок.
|
||||
*
|
||||
* Вход: state (весь объект состояния, но читает только state.files).
|
||||
* Выход: мутирует DOM (fileTable.innerHTML).
|
||||
*/
|
||||
function renderFiles(state) {
|
||||
if (state.files.length === 0) {
|
||||
fileTable.innerHTML = '<tr class="empty-row"><td colspan="7">Нет файлов — выберите .docx / .pdf</td></tr>';
|
||||
lucide.createIcons();
|
||||
return;
|
||||
}
|
||||
|
||||
// Сгруппировать файлы по zip_source
|
||||
var groups = []; // [{zip: "name.zip"|null, files: [f, ...]}]
|
||||
var seen = {};
|
||||
for (var i = 0; i < state.files.length; i++) {
|
||||
var f = state.files[i];
|
||||
var zip = f.zip_source || null;
|
||||
var key = zip || '__naked__';
|
||||
if (!seen[key]) {
|
||||
seen[key] = { zip: zip, files: [] };
|
||||
groups.push(seen[key]);
|
||||
}
|
||||
// Сохраняем оригинальный индекс для id строк
|
||||
f._idx = i;
|
||||
seen[key].files.push(f);
|
||||
}
|
||||
|
||||
// Рендер: заголовок ZIP → файлы с отступом
|
||||
var rows = [];
|
||||
for (var gi = 0; gi < groups.length; gi++) {
|
||||
var g = groups[gi];
|
||||
|
||||
if (g.zip) {
|
||||
// Заголовок-секция ZIP
|
||||
rows.push(
|
||||
'<tr class="zip-header" style="background:var(--brand-grey-light);">' +
|
||||
'<td colspan="7" style="padding:6px 12px;font-size:12px;font-weight:600;">' +
|
||||
'📦 ' + escHtml(g.zip) + ' — ' + g.files.length + ' файл.' +
|
||||
(g.files.length === 1 ? '' : 'ов') +
|
||||
'</td></tr>'
|
||||
);
|
||||
}
|
||||
|
||||
// Файлы внутри группы (с отступом если из ZIP)
|
||||
for (var fi = 0; fi < g.files.length; fi++) {
|
||||
var f = g.files[fi];
|
||||
var i = f._idx;
|
||||
var indent = g.zip ? 'padding-left:24px;' : '';
|
||||
|
||||
rows.push(
|
||||
'<tr id="row_' + i + '">' +
|
||||
'<td class="name-cell" style="cursor:pointer;' + indent + '" onclick="toggleClassifyDetail(' + i + ')">' +
|
||||
(f.doc_id ? '<span id="expand_' + i + '" style="font-size:10px;margin-right:4px;">▸</span>' : '') +
|
||||
escHtml(f.name) + '</td>' +
|
||||
'<td style="font-size:12px;color:var(--muted);">' + formatDate(f.lastModified) + '</td>' +
|
||||
'<td class="num-cell" style="font-size:12px;color:var(--muted);">' + formatSize(f.size) + '</td>' +
|
||||
'<td class="status-cell">' + statusToHTML(f.status) + '</td>' +
|
||||
'<td><button class="info-btn' + (f.doc_id ? ' visible' : '') + '" onclick="showText(' + i + ')" title="Текст / Распарсено"><i data-lucide="file-text" style="width:16px;height:16px;"></i></button></td>' +
|
||||
'<td><button class="remove-btn" onclick="removeFile(' + i + ')" title="Удалить"><i data-lucide="trash-2" style="width:16px;height:16px;"></i></button></td>' +
|
||||
'</tr>' +
|
||||
'<tr id="detail_' + i + '" style="display:none;"><td colspan="7" style="padding:4px 12px;font-size:11px;background:var(--brand-grey-light);"><span style="color:var(--muted);">Загрузка...</span></td></tr>'
|
||||
);
|
||||
}
|
||||
}
|
||||
|
||||
fileTable.innerHTML = rows.join('');
|
||||
lucide.createIcons();
|
||||
}
|
||||
|
||||
/**
|
||||
* syncDB() — Синхронизация БД с текущим состоянием файлов.
|
||||
*
|
||||
* Отправляет на бэкенд список doc_id, которые должны остаться в БД.
|
||||
* Всё, чего нет в state.files, будет удалено из БД (cascade).
|
||||
* Вызывается после каждого изменения состава файлов (removeFile, upload).
|
||||
*/
|
||||
async function syncDB() {
|
||||
var keepIds = state.files.map(function(f) { return f.doc_id; }).filter(Boolean);
|
||||
try {
|
||||
await fetch(VM_API + '/api/sync', {
|
||||
method: 'POST',
|
||||
headers: {'Content-Type': 'application/json'},
|
||||
body: JSON.stringify({keep_ids: keepIds})
|
||||
});
|
||||
} catch(e) { /* сервер недоступен — не критично */ }
|
||||
}
|
||||
|
||||
/**
|
||||
* toggleClassifyDetail(i) — Раскрыть/скрыть результат классификации под строкой файла.
|
||||
*
|
||||
* Вызывается по клику на имя файла в таблице.
|
||||
* Загружает данные с бэкенда (/api/documents/:id) и показывает:
|
||||
* - Тип, номер, родительский номер, дату, контрагента
|
||||
* - Текст отправленный в LLM (📤)
|
||||
* - Сырой ответ LLM (📥)
|
||||
* - Распарсенные элементы JSON (📄)
|
||||
*/
|
||||
window.toggleClassifyDetail = async function(i) {
|
||||
var detailRow = document.getElementById('detail_' + i);
|
||||
var expandIcon = document.getElementById('expand_' + i);
|
||||
if (!detailRow) return;
|
||||
|
||||
if (detailRow.style.display !== 'none') {
|
||||
detailRow.style.display = 'none';
|
||||
if (expandIcon) expandIcon.textContent = '▸';
|
||||
return;
|
||||
}
|
||||
|
||||
var f = state.files[i];
|
||||
if (!f || !f.doc_id) return;
|
||||
|
||||
detailRow.style.display = '';
|
||||
if (expandIcon) expandIcon.textContent = '▾';
|
||||
|
||||
try {
|
||||
var resp = await fetch(VM_API + '/api/documents/' + f.doc_id);
|
||||
var qData = await resp.json();
|
||||
if (!qData.ok) { detailRow.cells[0].innerHTML = '<span style="color:var(--destructive);">Ошибка загрузки</span>'; return; }
|
||||
|
||||
var html = '';
|
||||
if (qData.classify_status === 'classified') {
|
||||
html += '<div style="font-weight:600;margin-bottom:4px;">🏷️ Результат классификации</div>';
|
||||
html += '<div style="display:flex;gap:16px;flex-wrap:wrap;">';
|
||||
if (qData.doc_type) html += '<span><b>Тип:</b> ' + escHtml(qData.doc_type) + '</span>';
|
||||
if (qData.own_number) html += '<span><b>Номер:</b> ' + escHtml(qData.own_number) + '</span>';
|
||||
if (qData.parent_number) html += '<span><b>Родительский:</b> ' + escHtml(qData.parent_number) + '</span>';
|
||||
if (qData.doc_date) html += '<span><b>Дата:</b> ' + escHtml(qData.doc_date) + '</span>';
|
||||
if (qData.counterparty) html += '<span><b>Контрагент:</b> ' + escHtml(qData.counterparty) + '</span>';
|
||||
html += '</div>';
|
||||
if (qData.classify_input) {
|
||||
html += '<details style="margin-top:4px;"><summary style="cursor:pointer;color:var(--brand-primary);">📤 Текст отправленный в LLM</summary>';
|
||||
html += '<pre style="font-size:10px;max-height:150px;overflow:auto;background:#fff;padding:4px;border-radius:3px;margin-top:2px;">' + escHtml(qData.classify_input) + '</pre>';
|
||||
html += '</details>';
|
||||
}
|
||||
if (qData.classify_raw) {
|
||||
html += '<details style="margin-top:4px;"><summary style="cursor:pointer;color:var(--brand-primary);">📥 Сырой ответ LLM</summary>';
|
||||
html += '<pre style="font-size:10px;max-height:150px;overflow:auto;background:#fff;padding:4px;border-radius:3px;margin-top:2px;">' + escHtml(qData.classify_raw) + '</pre>';
|
||||
html += '</details>';
|
||||
}
|
||||
if (qData.elements_json) {
|
||||
var ej = qData.elements_json;
|
||||
if (typeof ej === 'object' && ej.Value) ej = ej.Value;
|
||||
var ejStr = typeof ej === 'string' ? ej : JSON.stringify(ej, null, 2);
|
||||
html += '<details style="margin-top:4px;"><summary style="cursor:pointer;color:var(--brand-primary);">📄 Распарсенные элементы (JSON)</summary>';
|
||||
html += '<pre style="font-size:10px;max-height:200px;overflow:auto;background:#fff;padding:4px;border-radius:3px;margin-top:2px;">' + escHtml(ejStr.substring(0, 5000)) + (ejStr.length > 5000 ? '\n... (обрезано)' : '') + '</pre>';
|
||||
html += '</details>';
|
||||
}
|
||||
} else if (qData.classify_status === 'failed') {
|
||||
html += '<span style="color:var(--destructive);">✗ Ошибка классификации: ' + escHtml(qData.error_message || '?') + '</span>';
|
||||
} else {
|
||||
html += '<span style="color:var(--muted);">Ещё не классифицирован</span>';
|
||||
}
|
||||
detailRow.cells[0].innerHTML = html;
|
||||
} catch(e) {
|
||||
detailRow.cells[0].innerHTML = '<span style="color:var(--destructive);">Ошибка: ' + escHtml(e.message) + '</span>';
|
||||
}
|
||||
};
|
||||
|
||||
/**
|
||||
* uploadFile(file, onProgress) — XHR-загрузка одного файла на бэкенд.
|
||||
*
|
||||
* Особенности:
|
||||
* - .doc (не .docx!) конвертируется через CONVERT_URL перед загрузкой
|
||||
* - onProgress(pct) — callback с процентом загрузки (0-100)
|
||||
* - Возвращает Promise<ответ API> с полями doc_id, contract_id, parsed
|
||||
* - Таймаут 180с (большие PDF)
|
||||
*/
|
||||
function uploadFile(file, onProgress, zipSource) {
|
||||
return new Promise(function(resolve, reject) {
|
||||
// .doc → конвертация в docx (старый формат Word)
|
||||
var isDoc = file.name.toLowerCase().endsWith('.doc') && !file.name.toLowerCase().endsWith('.docx');
|
||||
var uploadFile = file;
|
||||
var uploadName = file.name;
|
||||
|
||||
function doUpload() {
|
||||
var xhr = new XMLHttpRequest();
|
||||
var fd = new FormData();
|
||||
fd.append('files', uploadFile, uploadName);
|
||||
if (state.contractId) fd.append('contract_id', state.contractId);
|
||||
fd.append('batch_id', state.batchId);
|
||||
if (zipSource) fd.append('zip_source', zipSource);
|
||||
xhr.open('POST', UPLOAD_URL);
|
||||
xhr.upload.onprogress = function(e) {
|
||||
if (e.lengthComputable && onProgress) onProgress(Math.round(e.loaded / e.total * 100));
|
||||
};
|
||||
xhr.onload = function() {
|
||||
try {
|
||||
var r = JSON.parse(xhr.responseText);
|
||||
if (r.ok) resolve(r);
|
||||
else reject(new Error(r.error || 'Неизвестная ошибка'));
|
||||
} catch(e) { reject(new Error('Некорректный ответ')); }
|
||||
};
|
||||
xhr.onerror = function() { reject(new Error('Сеть')); };
|
||||
xhr.ontimeout = function() { reject(new Error('Таймаут')); };
|
||||
xhr.timeout = 180000;
|
||||
xhr.send(fd);
|
||||
}
|
||||
|
||||
if (isDoc) {
|
||||
var xhr = new XMLHttpRequest();
|
||||
xhr.open('POST', CONVERT_URL);
|
||||
xhr.responseType = 'blob';
|
||||
xhr.onload = function() {
|
||||
if (xhr.status === 200 && xhr.response.size > 100) {
|
||||
uploadFile = xhr.response;
|
||||
uploadName = file.name.replace(/\.doc$/i, '.docx');
|
||||
doUpload();
|
||||
} else {
|
||||
reject(new Error('Конвертация .doc'));
|
||||
}
|
||||
};
|
||||
xhr.onerror = function() { reject(new Error('Конвертер')); };
|
||||
xhr.send(file);
|
||||
} else {
|
||||
doUpload();
|
||||
}
|
||||
});
|
||||
}
|
||||
|
||||
/**
|
||||
* refreshSupps() — Обновить supplement_id/type для файлов в state.files.
|
||||
*
|
||||
* Запрашивает с бэкенда список supplement-записей для текущего contractId,
|
||||
* сопоставляет их с файлами по doc_id → document_id и проставляет supp_id, supp_type.
|
||||
* Вызывается после каждого upload и после apply-groups.
|
||||
*/
|
||||
async function refreshSupps() {
|
||||
if (!state.contractId) { console.log('refreshSupps: no state.contractId'); return; }
|
||||
try {
|
||||
var resp = await fetch(VM_API + '/api/supplements?contract_id=' + state.contractId);
|
||||
var data = await resp.json();
|
||||
console.log('refreshSupps: data=', data);
|
||||
if (data.ok && data.supplements) {
|
||||
data.supplements.forEach(function(supp) {
|
||||
console.log('refreshSupps: supp=', supp);
|
||||
for (var i = 0; i < state.files.length; i++) {
|
||||
if (state.files[i].doc_id === supp.document_id) {
|
||||
state.files[i].supp_id = supp.id;
|
||||
state.files[i].supp_type = supp.type;
|
||||
}
|
||||
}
|
||||
});
|
||||
render(state);
|
||||
}
|
||||
} catch(e) { console.log('refreshSupps error:', e); }
|
||||
}
|
||||
|
||||
/**
|
||||
* reconcileSelection(files, newFiles) — Чистая функция (Фаза 1).
|
||||
*
|
||||
* Согласование состава: оставляет в массиве files только те,
|
||||
* имена которых есть в newFiles. Остальные удаляются.
|
||||
*
|
||||
* Вход: files — текущий state.files (массив)
|
||||
* newFiles — FileList от <input> (массив File-объектов)
|
||||
* Выход: новый массив (НЕ мутирует входной)
|
||||
*
|
||||
* Вызывается из onFilesSelected() ПЕРЕД обработкой каждого файла.
|
||||
*/
|
||||
function reconcileSelection(files, newFiles) {
|
||||
var newNames = new Set(newFiles.map(function(f) { return f.name; }));
|
||||
return files.filter(function(f) {
|
||||
return newNames.has(f.name);
|
||||
});
|
||||
}
|
||||
|
||||
/**
|
||||
* applyParseResult(entry, parsed, elapsed) — Чистая функция (Фаза 1).
|
||||
*
|
||||
* Применяет результат парсинга к файлу. Унифицирует две ветки (ZIP и обычную),
|
||||
* которые раньше дублировали этот код.
|
||||
*
|
||||
* Вход: entry — элемент state.files (мутируется)
|
||||
* parsed — { status, element_count, error } от бэкенда
|
||||
* elapsed — время парсинга в секундах (только для обычных файлов)
|
||||
* Выход: нет (мутирует entry на месте)
|
||||
*/
|
||||
function applyParseResult(entry, parsed, elapsed) {
|
||||
if (parsed && parsed.status === 'parsed') {
|
||||
entry.parsed = true;
|
||||
entry.parseInfo = parsed;
|
||||
entry.status = { kind: 'parsed', count: parsed.element_count };
|
||||
if (elapsed) entry.status.elapsed = elapsed;
|
||||
} else if (parsed && parsed.status === 'error') {
|
||||
entry.parseInfo = parsed;
|
||||
entry.status = { kind: 'error', text: parsed.error || 'ошибка парсинга' };
|
||||
} else {
|
||||
entry.status = { kind: 'error', text: 'Неизвестная ошибка' };
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* addZipFile(file) — Async-action: обработка ZIP-файла (Фаза 1, упрощена).
|
||||
*
|
||||
* 1. Отправляет ZIP на бэкенд (только распаковка, без БД/парсинга)
|
||||
* 2. Для каждого файла из архива: base64 → Blob → File → addRegularFile()
|
||||
*
|
||||
* addRegularFile делает ВСЁ: upload, parse, дубликаты, статусы, render.
|
||||
* Никакого дублирования логики — единый путь для обычных и ZIP-файлов.
|
||||
*/
|
||||
async function addZipFile(file) {
|
||||
var zipEntry = { name: file.name, lastModified: file.lastModified, size: file.size, status: { kind: 'unzipping' } };
|
||||
state.files.push(zipEntry);
|
||||
render(state);
|
||||
|
||||
try {
|
||||
// Шаг 1: распаковать ZIP на бэкенде
|
||||
var zipResp = await new Promise(function(resolve, reject) {
|
||||
var xhr = new XMLHttpRequest();
|
||||
xhr.open('POST', UNZIP_URL);
|
||||
xhr.responseType = 'json';
|
||||
xhr.onload = function() { resolve(xhr.response); };
|
||||
xhr.onerror = function() { reject(new Error('Сеть')); };
|
||||
xhr.ontimeout = function() { reject(new Error('Таймаут')); };
|
||||
xhr.timeout = 60000;
|
||||
var fd = new FormData();
|
||||
fd.append('files', file);
|
||||
xhr.send(fd);
|
||||
});
|
||||
if (!zipResp.ok || !zipResp.files) throw new Error('unzip failed');
|
||||
|
||||
// Подтверждение: показать первые 10 файлов + итог
|
||||
var preview = zipResp.files.slice(0, 10).map(function(f) { return ' • ' + f.filename + ' (' + (f.size/1024).toFixed(1) + ' KB)'; }).join('\n');
|
||||
if (total > 10) preview += '\n ... и ещё ' + (total - 10) + ' файлов';
|
||||
if (!confirm('Архив «' + file.name + '» — ' + total + ' файлов:\n\n' + preview + '\n\nЗагрузить эти файлы?')) {
|
||||
// Отмена — убрать строку ZIP
|
||||
var zipPos2 = state.files.indexOf(zipEntry);
|
||||
if (zipPos2 >= 0) state.files.splice(zipPos2, 1);
|
||||
render(state);
|
||||
return;
|
||||
}
|
||||
|
||||
// Шаг 2: обработать каждый файл из архива
|
||||
// Временная строка ZIP остаётся в таблице — обновляем её статус
|
||||
var total = zipResp.files.length;
|
||||
for (var zi = 0; zi < total; zi++) {
|
||||
var zf = zipResp.files[zi];
|
||||
zipEntry.status = { kind: 'unzipping' }; // обновляем статус
|
||||
render(state);
|
||||
|
||||
if (zf.error) continue;
|
||||
|
||||
// base64 → File → addRegularFile (единый путь)
|
||||
var byteStr = atob(zf.data_b64);
|
||||
var bytes = new Uint8Array(byteStr.length);
|
||||
for (var b = 0; b < byteStr.length; b++) bytes[b] = byteStr.charCodeAt(b);
|
||||
var mime = {docx:'application/vnd.openxmlformats-officedocument.wordprocessingml.document',doc:'application/msword',pdf:'application/pdf'}[zf.ext] || 'application/octet-stream';
|
||||
var extractedFile = new File([bytes], zf.filename, { type: mime, lastModified: Date.now() });
|
||||
|
||||
await addRegularFile(extractedFile, file.name);
|
||||
}
|
||||
|
||||
// Шаг 3: убрать временную строку ZIP (только после успешной обработки всех файлов)
|
||||
var zipPos = state.files.indexOf(zipEntry);
|
||||
if (zipPos >= 0) state.files.splice(zipPos, 1);
|
||||
render(state);
|
||||
|
||||
} catch(ze) {
|
||||
// Ошибка — показать на строке ZIP (zipEntry всё ещё в state.files)
|
||||
zipEntry.status = { kind: 'error', text: 'ZIP: ' + ze.message };
|
||||
render(state);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* addRegularFile(file) — Async-action: обработка обычного файла (Фаза 1).
|
||||
*
|
||||
* 1. Добавляет/заменяет файл в state.files
|
||||
* 2. Загружает через XHR (uploadFile) с индикатором прогресса
|
||||
* 3. После загрузки: проставляет doc_id, contractId
|
||||
* 4. applyParseResult — применяет результат парсинга
|
||||
*
|
||||
* Мутирует state.files, вызывает render(state) после каждого изменения.
|
||||
*/
|
||||
async function addRegularFile(file, zipSource) {
|
||||
// Создать запись с начальным статусом
|
||||
var entry = { name: file.name, lastModified: file.lastModified, size: file.size, file: file, status: { kind: 'uploading', pct: 0 }, zip_source: zipSource || null };
|
||||
|
||||
// ДЕДУПЛИКАЦИЯ: ключ = (zip_source, name), чтобы одноимённые файлы из разных ZIP не затирались
|
||||
var dupKey = (zipSource || '') + '/' + file.name;
|
||||
var existingIdx = -1;
|
||||
for (var j = 0; j < state.files.length; j++) {
|
||||
var ejKey = (state.files[j].zip_source || '') + '/' + state.files[j].name;
|
||||
if (ejKey === dupKey) { existingIdx = j; break; }
|
||||
}
|
||||
var rowIdx;
|
||||
if (existingIdx >= 0) {
|
||||
// Файл с таким именем уже есть — спросить пользователя
|
||||
if (!confirm('Файл «' + file.name + '» уже есть в списке.\n\nOK — перезаписать\nОтмена — пропустить')) {
|
||||
return; // пользователь выбрал «пропустить»
|
||||
}
|
||||
state.files[existingIdx] = entry;
|
||||
rowIdx = existingIdx;
|
||||
} else {
|
||||
state.files.push(entry);
|
||||
rowIdx = state.files.length - 1;
|
||||
}
|
||||
render(state);
|
||||
|
||||
try {
|
||||
// XHR-загрузка с прогрессом
|
||||
var resp = await uploadFile(file, function(pct) {
|
||||
state.files[rowIdx].status = { kind: 'uploading', pct: pct };
|
||||
render(state);
|
||||
}, zipSource);
|
||||
// Бэкенд возвращает doc_id и contract_id (нижний регистр — Python keys)
|
||||
if (resp && resp.contract_id) state.contractId = resp.contract_id;
|
||||
state.files[rowIdx].doc_id = resp.doc_id;
|
||||
|
||||
// Дубликат?
|
||||
if (resp && resp.duplicate_of) {
|
||||
state.files[rowIdx].status = { kind: 'duplicate' };
|
||||
render(state);
|
||||
return;
|
||||
}
|
||||
// Warning от парсинга?
|
||||
if (resp && resp.warning) {
|
||||
state.files[rowIdx].status = { kind: 'warning', text: resp.warning };
|
||||
render(state);
|
||||
} else {
|
||||
state.files[rowIdx].status = { kind: 'uploaded' };
|
||||
}
|
||||
state.files[rowIdx].uploaded = true;
|
||||
|
||||
// Авто-парсинг: бэкенд парсит всё (PDF + DOCX + DOC)
|
||||
var t0 = Date.now();
|
||||
var pr = resp.parsed;
|
||||
var elapsed = pr && pr.status === 'parsed' ? ((Date.now() - t0) / 1000).toFixed(1) : null;
|
||||
applyParseResult(state.files[rowIdx], pr, elapsed);
|
||||
} catch(err) {
|
||||
state.files[rowIdx].status = { kind: 'error', text: err.message };
|
||||
}
|
||||
render(state);
|
||||
}
|
||||
|
||||
/**
|
||||
* finalizeUpload() — Завершение цикла загрузки (Фаза 1).
|
||||
*
|
||||
* Вызывается ПОСЛЕ обработки всех файлов в onFilesSelected().
|
||||
* 1. Обновляет supplement_id/type через refreshSupps()
|
||||
* 2. Отмечает шаг «Загрузка» как готовый
|
||||
* 3. Активирует шаг «Классификация»
|
||||
* 4. Синхронизирует БД
|
||||
* 5. Показывает кнопки (LLM, классификация)
|
||||
*/
|
||||
async function finalizeUpload() {
|
||||
await refreshSupps();
|
||||
stepDone('stepUpload');
|
||||
stepActive('stepClassify');
|
||||
syncDB();
|
||||
|
||||
fileInput.value = '';
|
||||
fileInput.disabled = false;
|
||||
|
||||
var llmBtn = document.getElementById('llmBtn');
|
||||
llmBtn.style.display = 'flex';
|
||||
llmBtn.disabled = false;
|
||||
showClassifyBtn();
|
||||
lucide.createIcons();
|
||||
}
|
||||
|
||||
/**
|
||||
* onFilesSelected(newFiles) — Оркестратор загрузки (Фаза 1).
|
||||
*
|
||||
* ПАТТЕРН:
|
||||
* 1. Для каждого файла: addZipFile (ZIP) или addRegularFile (обычный)
|
||||
* 2. finalizeUpload — завершить цикл
|
||||
*
|
||||
* НЕ удаляет существующие файлы — только добавляет новые.
|
||||
* Дубликаты обрабатываются через confirm() в addRegularFile.
|
||||
* Удаление — только вручную (кнопка ✕).
|
||||
*
|
||||
* Вызывается из fileInput.addEventListener('change', ...).
|
||||
*/
|
||||
async function onFilesSelected(newFiles) {
|
||||
if (newFiles.length === 0) return;
|
||||
|
||||
fileInput.disabled = true;
|
||||
|
||||
// Сбросить прогресс пайплайна при добавлении новых файлов
|
||||
resetStepper('stepUpload');
|
||||
|
||||
// Обработать каждый файл
|
||||
for (var i = 0; i < newFiles.length; i++) {
|
||||
var f = newFiles[i];
|
||||
if (f.name.toLowerCase().endsWith('.zip')) {
|
||||
await addZipFile(f);
|
||||
} else {
|
||||
await addRegularFile(f);
|
||||
}
|
||||
}
|
||||
|
||||
// Завершить цикл
|
||||
await finalizeUpload();
|
||||
}
|
||||
@@ -0,0 +1,223 @@
|
||||
/**
|
||||
* groups.js — Модуль групп и карточек договоров (Фаза 2, decoupling-final-plan.md).
|
||||
*
|
||||
* ВЫНЕСЕНО из app.js:
|
||||
* - loadGroupsAction() — fetch групп, сохранить в state.groups, renderGroups
|
||||
* - renderGroups(state) — пересобрать ВСЕ карточки групп в diffBody
|
||||
* - renderGroupCard(g, gi) — чистая HTML-функция: карточка необработанной группы
|
||||
* - renderGroupCardDone(g, gi)— чистая HTML-функция: карточка обработанной группы
|
||||
*
|
||||
* ПАТТЕРН (decoupling-final-plan.md):
|
||||
* renderGroups пересобирает ВСЕ карточки целиком из state.groups.
|
||||
* Готовность группы: group.compare.status === 'done' (вместо markGroupDone).
|
||||
* Никакого window._groupsData — всё в state.groups.
|
||||
*
|
||||
* ЗАВИСИМОСТИ:
|
||||
* state.js → state (центральное состояние)
|
||||
* app_utils.js → escHtml
|
||||
*/
|
||||
|
||||
/**
|
||||
* loadGroupsAction() — Загрузить группы с бэкенда (Фаза 2).
|
||||
*
|
||||
* 1. fetch /api/groups?batch=...
|
||||
* 2. Сохранить в state.groups (бывший window._groupsData)
|
||||
* 3. Вызвать renderGroups(state) — пересобрать карточки
|
||||
*
|
||||
* Вызывается из runClassify() после успешной классификации.
|
||||
*/
|
||||
async function loadGroupsAction() {
|
||||
var resp = await fetch(VM_API + '/api/groups?batch=' + state.batchId);
|
||||
var data = await resp.json();
|
||||
if (!data.ok || !data.groups) return;
|
||||
|
||||
// Сохраняем в центральное состояние (вместо window._groupsData)
|
||||
state.groups = data.groups;
|
||||
|
||||
// Пересобрать ВСЕ карточки
|
||||
renderGroups(state);
|
||||
|
||||
stepDone('stepGroups');
|
||||
}
|
||||
|
||||
/**
|
||||
* renderGroups(state) — Пересобрать ВСЕ карточки групп (Фаза 2).
|
||||
*
|
||||
* ПЕРЕСОБИРАЕТ весь diffBody.innerHTML заново из state.groups.
|
||||
* Никакого инкрементального обновления — всегда полная перестройка.
|
||||
*
|
||||
* Для каждой группы:
|
||||
* - Необработанная (group.compare.status !== 'done') → renderGroupCard()
|
||||
* - Обработанная (group.compare.status === 'done') → renderGroupCardDone()
|
||||
* - Нераспознанная (contract_number === '__unresolved__') → отдельный рендер
|
||||
*/
|
||||
function renderGroups(state) {
|
||||
var groups = state.groups;
|
||||
if (!groups) return;
|
||||
|
||||
var diffBody = document.getElementById('diffBody');
|
||||
var diffCard = document.getElementById('diffCard');
|
||||
diffCard.style.display = 'block';
|
||||
|
||||
var realGroups = groups.filter(function(g) { return g.contract_number !== '__unresolved__'; });
|
||||
var unresolvedGroup = groups.find(function(g) { return g.contract_number === '__unresolved__'; });
|
||||
|
||||
// Заголовок: количество групп + нераспознанные
|
||||
var html = '<div style="font-weight:600;margin-bottom:8px;">📋 Найдено групп: ' + realGroups.length +
|
||||
(unresolvedGroup ? ' | ⚠ ' + unresolvedGroup.documents.length + ' файлов не распознано' : '') +
|
||||
'</div>';
|
||||
|
||||
// Нераспознанная группа — всегда первая
|
||||
if (unresolvedGroup) {
|
||||
html += renderUnresolvedCard(unresolvedGroup);
|
||||
}
|
||||
|
||||
// Карточки обычных групп
|
||||
groups.forEach(function(g, gi) {
|
||||
if (g.contract_number === '__unresolved__') return;
|
||||
if (g.compare && g.compare.status === 'done') {
|
||||
html += renderGroupCardDone(g, gi);
|
||||
} else {
|
||||
html += renderGroupCard(g, gi);
|
||||
}
|
||||
});
|
||||
|
||||
diffBody.innerHTML = html;
|
||||
|
||||
// Один обработчик на все кнопки сравнения (event delegation не используется —
|
||||
// кнопки пересоздаются при каждом renderGroups)
|
||||
diffBody.querySelectorAll('.cmp-btn').forEach(function(btn) {
|
||||
btn.addEventListener('click', function() {
|
||||
var gi = parseInt(this.getAttribute('data-gi'));
|
||||
runCompareForGroup(gi, this);
|
||||
});
|
||||
});
|
||||
|
||||
// Обработчики сворачивания для готовых карточек
|
||||
diffBody.querySelectorAll('.cmp-header').forEach(function(header) {
|
||||
var gi = parseInt(header.getAttribute('data-gi'));
|
||||
if (isNaN(gi)) return;
|
||||
header.addEventListener('click', function() {
|
||||
var body = document.getElementById('cmpBody_' + gi);
|
||||
var arrow = document.getElementById('cmpArrow_' + gi);
|
||||
if (body) {
|
||||
if (body.style.display === 'none') {
|
||||
body.style.display = 'block';
|
||||
if (arrow) arrow.textContent = '▾';
|
||||
} else {
|
||||
body.style.display = 'none';
|
||||
if (arrow) arrow.textContent = '▸';
|
||||
}
|
||||
}
|
||||
});
|
||||
});
|
||||
|
||||
lucide.createIcons();
|
||||
}
|
||||
|
||||
/**
|
||||
* renderUnresolvedCard(group) — Чистая HTML-функция: карточка нераспознанных файлов.
|
||||
*
|
||||
* Вход: group — { contract_number: '__unresolved__', documents: [...] }
|
||||
* Выход: HTML-строка
|
||||
*/
|
||||
function renderUnresolvedCard(group) {
|
||||
var docsHtml = group.documents.map(function(d) {
|
||||
// Определить причину, почему файл не попал ни в одну группу
|
||||
var reason = '';
|
||||
if (d.parent_number) {
|
||||
reason = ' — нет базового договора №' + escHtml(d.parent_number);
|
||||
} else if (d.classify_status === 'failed') {
|
||||
reason = ' — ошибка классификации: ' + escHtml(d.error_message || '?');
|
||||
} else if (!d.doc_type || d.doc_type === 'other') {
|
||||
reason = ' — тип не определён';
|
||||
} else {
|
||||
reason = ' — нет matching-договора';
|
||||
}
|
||||
return '<div style="padding:2px 0;">' +
|
||||
'<span style="color:var(--muted);">[' + escHtml(d.doc_type || '?') + ']</span> ' +
|
||||
escHtml(d.filename) +
|
||||
(d.doc_date ? ' <span style="color:var(--muted);">' + escHtml(d.doc_date) + '</span>' : '') +
|
||||
'<span style="color:var(--destructive);font-size:11px;">' + reason + '</span>' +
|
||||
'</div>';
|
||||
}).join('');
|
||||
|
||||
return '<div style="border:1px solid var(--destructive);border-radius:6px;padding:10px;margin-bottom:8px;">' +
|
||||
'<div style="font-weight:600;margin-bottom:6px;">❓ Не распознано (' + group.documents.length + ' файлов)</div>' +
|
||||
'<div style="font-size:12px;">' + docsHtml + '</div>' +
|
||||
'<div style="font-size:11px;color:var(--muted);margin-top:4px;">Загрузите недостающие базовые договоры для этих номеров.</div>' +
|
||||
'</div>';
|
||||
}
|
||||
|
||||
/**
|
||||
* renderGroupCard(group, gi) — Чистая HTML-функция: необработанная группа (Фаза 2).
|
||||
*
|
||||
* Показывает: номер договора, контрагента, список документов, кнопку «Сравнить».
|
||||
* Если группа в процессе сравнения (group.compare.status === 'running') — кнопка disabled.
|
||||
*
|
||||
* Вход: group — элемент state.groups
|
||||
* gi — индекс группы (для data-gi атрибута кнопки)
|
||||
* Выход: HTML-строка
|
||||
*/
|
||||
function renderGroupCard(group, gi) {
|
||||
var isRunning = group.compare && group.compare.status === 'running';
|
||||
|
||||
var html = '<div style="border:1px solid var(--brand-gray);border-radius:6px;padding:10px;margin-bottom:8px;">' +
|
||||
'<div class="cmp-header" style="font-weight:600;margin-bottom:6px;">' +
|
||||
'📄 Договор №' + escHtml(group.contract_number || '?') + ' — ' + escHtml(group.counterparty || 'контрагент не определён') +
|
||||
'</div>' +
|
||||
'<div style="font-size:12px;">' +
|
||||
group.documents.map(function(d) {
|
||||
var typeLabel = {contract: 'договор', supplement: 'допсоглашение', specification: 'спецификация'}[d.doc_type] || d.doc_type;
|
||||
return '<div style="padding:2px 0;">' +
|
||||
'<span style="color:var(--muted);">' + escHtml(typeLabel || '?') + '</span> ' +
|
||||
escHtml(d.filename) +
|
||||
(d.zip_source ? ' <span style="color:var(--brand-gray);font-size:10px;">[' + escHtml(d.zip_source) + ']</span>' : '') +
|
||||
(d.doc_date ? ' <span style="color:var(--muted);">' + escHtml(d.doc_date) + '</span>' : '') +
|
||||
'</div>';
|
||||
}).join('') + '</div>' +
|
||||
'<button class="btn btn-primary cmp-btn" style="margin-top:6px;font-size:12px;height:28px;" data-gi="' + gi + '"' +
|
||||
(isRunning ? ' disabled' : '') + '>▶ Сравнить эту группу</button>' +
|
||||
'</div>';
|
||||
|
||||
return html;
|
||||
}
|
||||
|
||||
/**
|
||||
* renderGroupCardDone(group, gi) — Чистая HTML-функция: обработанная группа (Фаза 2).
|
||||
*
|
||||
* Показывает: ✓ Готово (время), список документов (кликабельные — раскрывают секции),
|
||||
* тело сравнения (cmpBody) — сворачивается по клику на заголовок.
|
||||
*
|
||||
* Вход: group — элемент state.groups (group.compare.status === 'done')
|
||||
* gi — индекс группы
|
||||
* Выход: HTML-строка
|
||||
*
|
||||
* ЗАМЕНЯЕТ удалённую markGroupDone().
|
||||
* Готовность определяется по group.compare.status, а не по наличию кнопки.
|
||||
*/
|
||||
function renderGroupCardDone(group, gi) {
|
||||
var time = group.compare.totalTime || '?с';
|
||||
var bodyHTML = group.compare.bodyHTML || '';
|
||||
|
||||
var html = '<div style="border:1px solid var(--brand-gray);border-radius:6px;padding:10px;margin-bottom:8px;">' +
|
||||
'<div class="cmp-header" style="font-weight:600;margin-bottom:6px;cursor:pointer;" data-gi="' + gi + '">' +
|
||||
'<span class="cmp-arrow" id="cmpArrow_' + gi + '" style="font-size:10px;margin-right:4px;">▾</span>' +
|
||||
'📄 Договор №' + escHtml(group.contract_number || '?') + ' — ' + escHtml(group.counterparty || 'контрагент не определён') +
|
||||
' <span style="font-weight:400;color:var(--green);font-size:11px;">✓ Готово (' + time + ')</span>' +
|
||||
'</div>' +
|
||||
'<div style="font-size:12px;">' +
|
||||
group.documents.map(function(d, di) {
|
||||
var typeLabel = {contract: 'договор', supplement: 'допсоглашение', specification: 'спецификация'}[d.doc_type] || d.doc_type;
|
||||
return '<div style="padding:2px 0;cursor:pointer;" onclick="var b=document.querySelectorAll(\'#cmpBody_' + gi + ' .diff-section-body\');if(b[' + di + '])b[' + di + '].style.display=b[' + di + '].style.display===\'none\'?\'block\':\'none\';">' +
|
||||
'<span style="color:var(--muted);">' + escHtml(typeLabel || '?') + '</span> ' +
|
||||
escHtml(d.filename) +
|
||||
(d.zip_source ? ' <span style="color:var(--brand-gray);font-size:10px;">[' + escHtml(d.zip_source) + ']</span>' : '') +
|
||||
(d.doc_date ? ' <span style="color:var(--muted);">' + escHtml(d.doc_date) + '</span>' : '') +
|
||||
'</div>';
|
||||
}).join('') + '</div>' +
|
||||
'<div class="cmp-body" id="cmpBody_' + gi + '" style="margin-top:8px;">' + bodyHTML + '</div>' +
|
||||
'</div>';
|
||||
|
||||
return html;
|
||||
}
|
||||
Executable
+25
@@ -0,0 +1,25 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
|
||||
<!-- Creator: CorelDRAW -->
|
||||
<svg xmlns="http://www.w3.org/2000/svg" xml:space="preserve" width="82.3711mm" height="18.2443mm" version="1.1" style="shape-rendering:geometricPrecision; text-rendering:geometricPrecision; image-rendering:optimizeQuality; fill-rule:evenodd; clip-rule:evenodd"
|
||||
viewBox="0 0 8221.93 1821.07"
|
||||
xmlns:xlink="http://www.w3.org/1999/xlink"
|
||||
xmlns:xodm="http://www.corel.com/coreldraw/odm/2003">
|
||||
<defs>
|
||||
<style type="text/css">
|
||||
<![CDATA[
|
||||
.fil0 {fill:#001C34}
|
||||
]]>
|
||||
</style>
|
||||
</defs>
|
||||
<g id="Слой_x0020_1">
|
||||
<metadata id="CorelCorpID_0Corel-Layer"/>
|
||||
<g id="_2283355517888">
|
||||
<path class="fil0" d="M477.49 479.69l-413.51 0 -63.98 276.48 178.44 0 1.17 1028.71 0 26.75 0.03 0 276.39 0 0 -871.72c0,-101.28 82.43,-183.69 183.75,-183.69l589.25 3.44c101.34,0 183.76,82.46 183.76,183.74l0 871.72 276.44 0 0 -871.72c0,-253.77 -206.46,-460.15 -460.05,-460.15l-589.52 -3.53 -162.17 0.45 0 -0.48z"/>
|
||||
<path class="fil0" d="M6664.65 1813.37l1181.04 0c212.14,0 376.24,-175.01 376.24,-387.08 0,-212.13 -172.55,-384.68 -384.69,-384.68l-653.66 0c-60.22,0 -109.16,-48.94 -109.16,-109.18l0 -66.18c0,-60.19 48.94,-109.14 109.16,-109.14l695.76 0 63.74 -275.49 -759.5 0c-212.13,0 -384.66,172.53 -384.66,384.63l0 66.18c0,212.13 172.53,384.67 384.66,384.67l653.66 0c60.2,0 109.2,49 109.2,109.19 0,60.13 -49,116.1 -109.2,116.1l-1118.9 0 -53.68 270.98z"/>
|
||||
<path class="fil0" d="M6200.79 483.5l-723.21 0c-215.88,0 -391.47,175.6 -391.47,391.51l0 485.5c0,248.38 202.05,450.4 450.4,450.4l989.38 0 62.13 -268.51 -1051.51 0c-96.41,0 -174.95,-85.37 -174.95,-181.88l-1.5 -39.46 923.62 0 308.51 -1.84 0 -237.95 0 -206.26c0,-215.91 -175.59,-391.51 -391.41,-391.51zm115.96 560.28l-955.19 0 0 -168.77c0,-63.96 52.07,-116.05 116.02,-116.05l723.21 0c63.91,0 115.96,52.08 115.96,116.05l0 168.77z"/>
|
||||
<path class="fil0" d="M4683.49 1194.24l0 168.28c0,100.92 -81.7,178.37 -182.67,178.37l-589.87 1.23c-93.18,0 -170.28,-69.96 -181.63,-160.09l0 -458.13c11.36,-90.1 88.46,-160.07 181.63,-160.07l589.44 3.5c100.97,0 183.1,82.18 183.1,183.1l0 30.42 0 213.4zm-1230.2 -345.53l-0.89 -795.03 276.91 -53.68 0 526.07c55.74,-24.16 117.03,-37.74 181.5,-37.74l589.71 3.5c252.69,0 458.42,205.72 458.42,458.59l0 30.42 0 213.4 0 168.28c0,252.86 -205.73,458.54 -458.42,458.54l-589.71 -3.5c-252.7,0 -458.41,-205.67 -458.41,-458.56l0 -171.61 0 -240.48 0.89 -98.2z"/>
|
||||
<path class="fil0" d="M3041.25 1150.84l0 204.28c0,100.93 -82.15,183.05 -183.11,183.05l-582.11 -3.46c-100.96,0 -183.11,-82.16 -183.11,-183.08l0 -67.42 1.48 0.24 0 -862.65 -276.91 53.68 0.12 103.41 -0.12 0.04 0 772.69c0,252.87 205.72,458.54 458.39,458.54l582.4 3.5c252.67,0 458.4,-205.68 458.4,-458.55l0 -70.79 0.71 0.12 0 -862.65 -276.91 53.68 0.76 675.35z"/>
|
||||
</g>
|
||||
</g>
|
||||
</svg>
|
||||
|
After Width: | Height: | Size: 2.8 KiB |
@@ -0,0 +1,73 @@
|
||||
/**
|
||||
* state.js — Центральное состояние приложения.
|
||||
*
|
||||
* ПАТТЕРН (из decoupling-final-plan.md, Фаза 0):
|
||||
* action → мутация state → render(state)
|
||||
*
|
||||
* ПРАВИЛА:
|
||||
* 1. ВСЕ состояния приложения — только здесь, в объекте state.
|
||||
* 2. DOM — проекция state, никто не читает данные из DOM.
|
||||
* Если что-то нужно узнать — смотри в state, а не в element.innerHTML.
|
||||
* 3. Мутировал любое поле state → обязан вызвать render(state).
|
||||
* Никаких прямых манипуляций DOM в обход render().
|
||||
* 4. В любой момент console.log(state) показывает ВСЁ состояние приложения.
|
||||
*
|
||||
* СТРУКТУРА (Фаза 0 — минимальная, будет расширяться в Фазах 1-4):
|
||||
*
|
||||
* state.files — бывший fileQueue, массив загруженных файлов.
|
||||
* Каждый элемент: { name, size, lastModified, file, doc_id,
|
||||
* uploaded, parsed, parseInfo, supp_id, supp_type, status, zip_source }
|
||||
*
|
||||
* state.contractId — бывший contractId, ID контракта в БД.
|
||||
* Приходит с бэкенда после первого успешного upload.
|
||||
* null пока не загружен ни один файл.
|
||||
*
|
||||
* state.batchId — бывший batchId, уникальный ID сессии (UUID).
|
||||
* Используется для привязки всех файлов сессии при классификации.
|
||||
* Генерируется один раз при загрузке страницы.
|
||||
*
|
||||
* state.groups — бывший window._groupsData.
|
||||
* Массив групп после классификации. Каждая группа:
|
||||
* { contract_number, counterparty, documents[], unresolved? }
|
||||
* null если классификация ещё не запускалась.
|
||||
*
|
||||
* state._activeCompare — бывшие _activeCompareES и _activeCompareTimer.
|
||||
* Управляет ОДНИМ активным SSE-сравнением.
|
||||
* Правило: только одно сравнение одновременно — все кнопки блокируются.
|
||||
* { es: EventSource|null, timer: intervalId|null }
|
||||
*
|
||||
* state.ui — UI-состояние, не связанное с данными.
|
||||
* ui.steps: { upload, classify, groups, compare }
|
||||
* Каждый шаг: '○' (не начат) | '⏳' (в процессе) | '✓' (завершён)
|
||||
* В Фазе 4 будет renderStepper(state).
|
||||
*/
|
||||
var state = {
|
||||
// ── Файлы (бывший fileQueue) ──────────────────────────────
|
||||
files: [],
|
||||
|
||||
// ── Контракт (бывший contractId) ──────────────────────────
|
||||
contractId: null,
|
||||
|
||||
// ── Сессия (бывший batchId) ───────────────────────────────
|
||||
// crypto.randomUUID() — браузерный API, поддержка 92%+ (Chrome 92+, FF 95+, Safari 15.4+)
|
||||
batchId: crypto.randomUUID(),
|
||||
|
||||
// ── Группы (бывший window._groupsData) ────────────────────
|
||||
groups: null,
|
||||
|
||||
// ── Активное сравнение ────────────────────────────────────
|
||||
_activeCompare: {
|
||||
es: null, // EventSource (SSE-соединение с /process-v2)
|
||||
timer: null // setInterval ID для индикатора времени
|
||||
},
|
||||
|
||||
// ── UI-состояние ──────────────────────────────────────────
|
||||
ui: {
|
||||
steps: {
|
||||
upload: '○',
|
||||
classify: '○',
|
||||
groups: '○',
|
||||
compare: '○'
|
||||
}
|
||||
}
|
||||
};
|
||||
@@ -0,0 +1,518 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="utf-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Архитектура — Сверка договоров</title>
|
||||
<style>
|
||||
:root {
|
||||
--bg: #0d1117; --fg: #c9d1d9; --muted: #8b949e;
|
||||
--accent: #58a6ff; --green: #3fb950; --orange: #d2991d;
|
||||
--yellow: #e3b341; --red: #f85149; --border: #30363d;
|
||||
--code-bg: #161b22; --card-bg: #161b22;
|
||||
}
|
||||
* { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body { font: 15px/1.65 -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; background: var(--bg); color: var(--fg); max-width: 860px; margin: 0 auto; padding: 32px 20px 80px; }
|
||||
h1 { font-size: 26px; margin-bottom: 8px; }
|
||||
h2 { font-size: 19px; margin-top: 36px; margin-bottom: 10px; padding-bottom: 6px; border-bottom: 1px solid var(--border); color: var(--accent); }
|
||||
h3 { font-size: 16px; margin-top: 24px; margin-bottom: 6px; color: var(--green); }
|
||||
p { margin: 8px 0; }
|
||||
blockquote { border-left: 3px solid var(--orange); margin: 12px 0; padding: 8px 16px; background: var(--card-bg); border-radius: 0 6px 6px 0; font-style: italic; color: var(--yellow); }
|
||||
blockquote strong { color: var(--orange); }
|
||||
ul, ol { padding-left: 24px; margin: 8px 0; }
|
||||
li { margin: 4px 0; }
|
||||
code { background: var(--code-bg); padding: 1px 5px; border-radius: 4px; font-size: 13px; border: 1px solid var(--border); }
|
||||
pre { background: var(--code-bg); padding: 12px 16px; border-radius: 6px; overflow-x: auto; font-size: 13px; border: 1px solid var(--border); margin: 12px 0; }
|
||||
.tag { display: inline-block; padding: 2px 8px; border-radius: 10px; font-size: 12px; font-weight: 600; margin-right: 6px; }
|
||||
.tag-ok { background: #1a3a2a; color: var(--green); }
|
||||
.tag-llm { background: #1a2a3a; color: var(--accent); }
|
||||
.tag-warn { background: #3a2a1a; color: var(--orange); }
|
||||
.tag-future { background: #2a1a3a; color: #bc8cff; }
|
||||
.nav { margin-bottom: 24px; }
|
||||
.nav a { color: var(--accent); text-decoration: none; }
|
||||
.nav a:hover { text-decoration: underline; }
|
||||
hr { border: none; border-top: 1px solid var(--border); margin: 32px 0; }
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<div class="nav"><a href="/">← Вернуться к загрузке</a></div>
|
||||
|
||||
<h1>🏗️ Архитектура — сверка договоров</h1>
|
||||
|
||||
<svg viewBox="0 0 860 280" style="width:100%;max-width:860px;margin:16px 0;" xmlns="http://www.w3.org/2000/svg">
|
||||
<defs>
|
||||
<marker id="arrow" markerWidth="8" markerHeight="6" refX="8" refY="3" orient="auto"><path d="M0,0 L8,3 L0,6 Z" fill="#58a6ff"/></marker>
|
||||
<linearGradient id="g1" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a3a2a"/><stop offset="100%" stop-color="#0d2818"/></linearGradient>
|
||||
<linearGradient id="g2" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a2a3a"/><stop offset="100%" stop-color="#0d1a28"/></linearGradient>
|
||||
<linearGradient id="g3" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#2a1a3a"/><stop offset="100%" stop-color="#1a0d28"/></linearGradient>
|
||||
<linearGradient id="g4" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#3a2a1a"/><stop offset="100%" stop-color="#281a0d"/></linearGradient>
|
||||
<filter id="shadow"><feDropShadow dx="0" dy="1" stdDeviation="2" flood-opacity="0.3"/></filter>
|
||||
</defs>
|
||||
|
||||
<!-- Row 1: Pipeline -->
|
||||
<!-- 1. Upload -->
|
||||
<rect x="10" y="30" width="120" height="80" rx="8" fill="url(#g1)" stroke="#3fb950" stroke-width="1.5" filter="url(#shadow)"/>
|
||||
<text x="70" y="60" text-anchor="middle" fill="#3fb950" font-size="13" font-weight="bold">📤 Загрузка</text>
|
||||
<text x="70" y="80" text-anchor="middle" fill="#8b949e" font-size="10">.docx .pdf .doc .zip</text>
|
||||
<text x="70" y="96" text-anchor="middle" fill="#8b949e" font-size="9">Whitelist форматов</text>
|
||||
|
||||
<line x1="132" y1="70" x2="160" y2="70" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#arrow)"/>
|
||||
|
||||
<!-- 2. Parse -->
|
||||
<rect x="165" y="30" width="120" height="80" rx="8" fill="url(#g2)" stroke="#58a6ff" stroke-width="1.5" filter="url(#shadow)"/>
|
||||
<text x="225" y="60" text-anchor="middle" fill="#58a6ff" font-size="13" font-weight="bold">🔍 Парсинг</text>
|
||||
<text x="225" y="80" text-anchor="middle" fill="#8b949e" font-size="10">pdfplumber</text>
|
||||
<text x="225" y="96" text-anchor="middle" fill="#8b949e" font-size="10">python-docx</text>
|
||||
|
||||
<line x1="287" y1="70" x2="315" y2="70" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#arrow)"/>
|
||||
|
||||
<!-- 3. Classify -->
|
||||
<rect x="320" y="30" width="130" height="80" rx="8" fill="url(#g3)" stroke="#bc8cff" stroke-width="1.5" filter="url(#shadow)"/>
|
||||
<text x="385" y="55" text-anchor="middle" fill="#bc8cff" font-size="13" font-weight="bold">🏷️ Классификация</text>
|
||||
<text x="385" y="73" text-anchor="middle" fill="#8b949e" font-size="9">3-этапный фильтр</text>
|
||||
<text x="385" y="88" text-anchor="middle" fill="#8b949e" font-size="9">имя → заголовки → LLM</text>
|
||||
<text x="385" y="103" text-anchor="middle" fill="#f85149" font-size="8">мусор отсеивается</text>
|
||||
|
||||
<line x1="452" y1="70" x2="480" y2="70" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#arrow)"/>
|
||||
|
||||
<!-- 4. Group -->
|
||||
<rect x="485" y="30" width="120" height="80" rx="8" fill="url(#g4)" stroke="#d2991d" stroke-width="1.5" filter="url(#shadow)"/>
|
||||
<text x="545" y="60" text-anchor="middle" fill="#d2991d" font-size="13" font-weight="bold">📋 Группировка</text>
|
||||
<text x="545" y="80" text-anchor="middle" fill="#8b949e" font-size="10">по номерам</text>
|
||||
<text x="545" y="96" text-anchor="middle" fill="#8b949e" font-size="10">договоров</text>
|
||||
|
||||
<line x1="607" y1="70" x2="635" y2="70" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#arrow)"/>
|
||||
|
||||
<!-- 5. Compare -->
|
||||
<rect x="640" y="30" width="130" height="80" rx="8" fill="url(#g2)" stroke="#58a6ff" stroke-width="1.5" filter="url(#shadow)"/>
|
||||
<text x="705" y="55" text-anchor="middle" fill="#58a6ff" font-size="13" font-weight="bold">🤖 LLM-сравнение</text>
|
||||
<text x="705" y="73" text-anchor="middle" fill="#8b949e" font-size="9">extract + diff</text>
|
||||
<text x="705" y="88" text-anchor="middle" fill="#8b949e" font-size="9">gpt-oss-120b</text>
|
||||
<text x="705" y="103" text-anchor="middle" fill="#f85149" font-size="8">ADD UPDATE DELETE</text>
|
||||
|
||||
<!-- Row 2: Protection layer -->
|
||||
<rect x="10" y="140" width="860" height="55" rx="8" fill="#1a0a0a" stroke="#30363d" stroke-width="1" stroke-dasharray="4,3"/>
|
||||
<text x="440" y="162" text-anchor="middle" fill="#f85149" font-size="12" font-weight="bold">🛡️ Защита на каждом этапе</text>
|
||||
<text x="440" y="182" text-anchor="middle" fill="#8b949e" font-size="10">ZIP-бомба (500 файлов, 500MB, ratio 100×) | Path traversal | Whitelist форматов | content_hash дедупликация | UNRESOLVED для битых данных | авто-нормализация чисел/дат | арифметическая проверка</text>
|
||||
|
||||
<line x1="440" y1="128" x2="440" y2="138" stroke="#f85149" stroke-width="1" stroke-dasharray="2,2"/>
|
||||
|
||||
<!-- Row 3: Event Sourcing output -->
|
||||
<rect x="10" y="220" width="860" height="40" rx="8" fill="#161b22" stroke="#3fb950" stroke-width="1.5" filter="url(#shadow)"/>
|
||||
<text x="440" y="245" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">📊 Результат: spec_events (аудит) → spec_current (текущая спецификация) | Промпты с версионированием и редактором | Промежуточные результаты по каждому файлу</text>
|
||||
</svg>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>1. Загрузка файлов</h2>
|
||||
<p>Пользователь выбирает <code>.docx</code> / <code>.pdf</code> / <code>.doc</code> / <code>.zip</code>.</p>
|
||||
|
||||
<ul>
|
||||
<li><strong>PDF:</strong> <code>pdfplumber</code> извлекает текст и таблицы с сохранением структуры колонок</li>
|
||||
<li><strong>DOCX:</strong> <code>python-docx</code> читает XML — извлекает параграфы и таблицы построчно</li>
|
||||
<li><strong>DOC:</strong> обрабатывается как DOCX (python-docx читает большинство .doc)</li>
|
||||
<li><strong>ZIP:</strong> архив распаковывается с лимитом 500 файлов и проверкой на сжатие (защита от ZIP-бомбы). Каждый файл внутри проходит тот же путь загрузки</li>
|
||||
<li>Файлы не поддерживаемых форматов — отклоняются с пометкой <code>unknown_format</code></li>
|
||||
</ul>
|
||||
|
||||
<p><strong>Результат:</strong> <code>elements_json</code> — массив элементов двух типов:</p>
|
||||
<ul>
|
||||
<li><code>{type: "paragraph", text: "...", style: "..."}</code></li>
|
||||
<li><code>{type: "table", rows: [["колонка1", "колонка2"], ...]}</code></li>
|
||||
</ul>
|
||||
|
||||
<p>Документ сохраняется в БД, считается <code>content_hash</code> (SHA-256) — если в этом же батче уже есть файл с таким содержимым, он помечается как <code>duplicate</code> и не дублируется.</p>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «100+ файлов за раз. Файлы: .docx/.pdf, возможно ZIP.<br>
|
||||
Загрузка из локали (файловая шара / облачный диск), НЕ S3 (конфиденциальность).»
|
||||
</blockquote>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>2. Классификация документов</h2>
|
||||
<p>Каждый загруженный файл проходит <strong>трёхэтапный фильтр</strong>.</p>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Оставлять только: договоры, доп. соглашения, спецификации.<br>
|
||||
Игнорировать: акты сверки, счета/счета-фактуры/УПД, акты услуг, платёжки.»
|
||||
</blockquote>
|
||||
|
||||
<h3>Этап 1 — имя файла <span class="tag tag-ok">0 токенов</span></h3>
|
||||
<p>Проверка имени файла на мусорные ключевые слова: «счёт», «акт», «платёж», «УПД», «сверка», «invoice» и др. Совпадение → <code>garbage</code>, дальше не идёт.</p>
|
||||
|
||||
<h3>Этап 2 — заголовки в тексте <span class="tag tag-ok">0 токенов</span></h3>
|
||||
<p>Проверка первых 2000 символов текста на заголовки: «СЧЕТ-ФАКТУРА», «АКТ СВЕРКИ», «АКТ ОКАЗАННЫХ УСЛУГ» и т.п. Совпадение → <code>garbage</code>.</p>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Названия документов неинформативные. Есть лишние документы.<br>
|
||||
По всем контрагентам.»
|
||||
</blockquote>
|
||||
|
||||
<h3>Этап 3 — LLM <span class="tag tag-llm">LLM</span></h3>
|
||||
<p>Оставшиеся документы отправляются в LLM. Модель получает выжимку текста (первые 1500 символов + строки с маркерами «договор», «соглашение», «спецификация») и возвращает JSON:</p>
|
||||
|
||||
<ul>
|
||||
<li><code>doc_type</code> — <code>contract</code> / <code>supplement</code> / <code>specification</code> / <code>other</code></li>
|
||||
<li><code>own_number</code> — номер этого документа</li>
|
||||
<li><code>parent_number</code> — номер родительского договора (для допников и спецификаций)</li>
|
||||
<li><code>doc_date</code> — дата документа YYYY-MM-DD</li>
|
||||
<li><code>counterparty</code> — название контрагента</li>
|
||||
</ul>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «НУБЕС = Исполнитель во всех целевых договорах.»<br>
|
||||
→ counterparty = <strong>другая сторона</strong> (Заказчик).
|
||||
</blockquote>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>3. Группировка по договорам</h2>
|
||||
<p><strong>Детерминированная (без LLM).</strong> Документы группируются по номерам договоров.</p>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Система сама должна разбираться, кто к кому.<br>
|
||||
зачем нам базовый договор? Вся информация есть в допниках и спеках.»<br>
|
||||
«Я не должен распознавать ничего. Система должна сделать всё.»
|
||||
</blockquote>
|
||||
|
||||
<ul>
|
||||
<li>Номера нормализуются: uppercase, удаляются все символы кроме букв и цифр.<br>
|
||||
«МЭС-123/2024» → «МЭС1232024»</li>
|
||||
<li>Допники и спецификации с одинаковым <code>parent_number</code> попадают в <strong>одну виртуальную группу</strong> — даже если сам договор не загружен</li>
|
||||
<li>Неопознанные файлы → отдельная группа «Не распознано» с указанием причины</li>
|
||||
</ul>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>4. Сравнение — извлечение + дифф</h2>
|
||||
<p>Для каждой группы запускается последовательная обработка.</p>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Важно. В произвольной, не повторяющейся.» (порядок допников)<br>
|
||||
«Главное — точность разбора, не UI. Сначала базовая функция → потом юзабельность.»
|
||||
</blockquote>
|
||||
|
||||
<h3>4a. Сортировка</h3>
|
||||
<p>Документы внутри группы сортируются по <code>doc_date</code> (из классификации), затем по времени загрузки.</p>
|
||||
|
||||
<h3>4b. Базовый договор (первый в группе) <span class="tag tag-llm">LLM</span></h3>
|
||||
<ul>
|
||||
<li>Текст спецификации услуг → LLM с промптом <code>extract</code></li>
|
||||
<li>LLM получает текст и инструкцию «найди таблицу услуг, извлеки каждую строку как ADD»</li>
|
||||
<li>Ответ: массив операций ADD — каждая услуга с полями: название, цена, количество, сумма, дата начала</li>
|
||||
</ul>
|
||||
|
||||
<h3>4c. Дополнительные соглашения <span class="tag tag-llm">LLM</span></h3>
|
||||
<ul>
|
||||
<li>Текущая спецификация + текст допника → LLM с промптом <code>diff</code></li>
|
||||
<li>LLM определяет изменения:
|
||||
<ul>
|
||||
<li><code>ADD</code> — новая услуга</li>
|
||||
<li><code>UPDATE</code> — изменение цены/количества/суммы</li>
|
||||
<li><code>DELETE</code> — услуга исключена</li>
|
||||
</ul>
|
||||
</li>
|
||||
</ul>
|
||||
|
||||
<h3>4d. Режим «изложить в новой редакции»</h3>
|
||||
<p>Если допник говорит «изложить в новой редакции» — LLM возвращает полный новый список (<code>full_replace</code>). Все старые строки заменяются новыми.</p>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>5. Защита от дурака и злонамеренности <span class="tag tag-warn">защита</span></h2>
|
||||
|
||||
<table style="width:100%;border-collapse:collapse;margin:12px 0;border:1px solid var(--border)">
|
||||
<tr style="background:var(--code-bg)">
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Угроза</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Защита</th>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">ZIP-бомба (архив 1 KB → 10 GB)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Лимит 500 файлов, 500 MB, ratio сжатия ≤ 100×</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Path traversal в ZIP (<code>../../etc/passwd</code>)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Проверка имени файла ДО <code>os.path.basename</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Битые кодировки имён в ZIP</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">cp437 → utf8 перекодировка</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Файлы не-Word/PDF (exe, картинки, etc.)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Whitelist: только <code>pdf/docx/doc/zip</code> — остальные <code>unknown_format</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Дубликаты файлов (тот же контент, другое имя)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)"><code>sha256(original_bytes)</code> → пропуск с пометкой <code>duplicate</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Дубликаты услуг (одна услуга в разных допниках)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">UPSERT по <code>name_hash</code> (имя + дата начала) — разные периоды = разные строки</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">ADD без названия услуги</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">→ <code>UNRESOLVED</code>, не применяется</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">UPDATE/DELETE без идентификатора цели</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Пустой <code>target_hash</code> → <code>UNRESOLVED</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Неизвестный тип операции от LLM</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">→ <code>UNRESOLVED</code></td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Кривые числа (<code>1 000,50</code>)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Авто-нормализация: пробелы → удалить, запятая → точка</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Кривые даты (<code>01.03.2026</code>)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Авто-нормализация: DD.MM.YYYY → YYYY-MM-DD</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Арифметические ошибки</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Проверка <code>price × qty = sum</code> — расхождение → флаг</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Мусорные документы (счета, акты, платёжки)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Трёхэтапный фильтр: имя файла → заголовки (2000 симв.) → LLM</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Тихие ошибки (<code>try/except: pass</code>)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Везде <code>logging.warning</code> с контекстом</td>
|
||||
</tr>
|
||||
</table>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «кривых документов можно ожидать.<br>
|
||||
Если не может разобраться — пусть зовет на помощь юзера.»
|
||||
</blockquote>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>6. Event Sourcing — аудит <span class="tag tag-ok">аудит</span></h2>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Наверно я захочу иметь возможность посмотреть любые промежуточные результаты.<br>
|
||||
Было бы хорошо пояснить или показать процесс, что в каком порядке происходит.»
|
||||
</blockquote>
|
||||
|
||||
<ul>
|
||||
<li><strong>spec_events:</strong> полный лог всех операций. Каждое событие содержит:
|
||||
<ul>
|
||||
<li>тип (<code>ADD/UPDATE/DELETE/UNRESOLVED</code>)</li>
|
||||
<li>источник — какой документ</li>
|
||||
<li>версия промпта</li>
|
||||
<li>полный сырой ответ LLM</li>
|
||||
<li>временную метку</li>
|
||||
</ul>
|
||||
</li>
|
||||
<li><strong>spec_current:</strong> материализованное представление = сумма всех событий</li>
|
||||
<li><strong>Промежуточные результаты:</strong> для каждого файла доступны:
|
||||
<ul>
|
||||
<li>текст, отправленный в LLM</li>
|
||||
<li>сырой ответ LLM</li>
|
||||
<li>распарсенный JSON операций</li>
|
||||
<li>какие операции были применены</li>
|
||||
</ul>
|
||||
</li>
|
||||
</ul>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>7. Промпты <span class="tag tag-llm">LLM</span></h2>
|
||||
<p>Три роли промптов, хранятся в БД с версионированием:</p>
|
||||
|
||||
<table style="width:100%;border-collapse:collapse;margin:12px 0;border:1px solid var(--border)">
|
||||
<tr style="background:var(--code-bg)">
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Роль</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Назначение</th>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)"><code>extract</code></td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Извлечение строк спецификации из договора</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)"><code>diff</code></td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Сравнение допников с текущей спецификацией</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)"><code>classify</code></td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Определение типа/номера/даты/контрагента документа</td>
|
||||
</tr>
|
||||
</table>
|
||||
|
||||
<p><strong>Встроенный редактор промптов</strong> с полным CRUD и историей версий:</p>
|
||||
<ul>
|
||||
<li>Создание, редактирование, удаление промптов — через веб-интерфейс</li>
|
||||
<li>Активация версии — один клик, и она сразу используется LLM</li>
|
||||
<li>История версий — все предыдущие редакции сохраняются, можно откатиться</li>
|
||||
<li>Без правки кода и без редеплоя — юрист может сам экспериментировать с промптами</li>
|
||||
</ul>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>8. Хранение документов <span class="tag tag-ok">конфиденциальность</span></h2>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Загрузка из локали, НЕ S3 (конфиденциальность).»
|
||||
</blockquote>
|
||||
|
||||
<p><strong>Исходные бинарные файлы (.docx/.pdf/.doc/zip) удаляются с сервера сразу после парсинга.</strong> На диске не остаются.</p>
|
||||
<p><strong>В БД сохраняются</strong> — это и есть рабочие данные системы:</p>
|
||||
<ul>
|
||||
<li>Метаданные: имя файла, дата, хеш содержимого</li>
|
||||
<li>Результат парсинга: <code>elements_json</code> (текст и таблицы)</li>
|
||||
<li>Результат классификации: тип, номер, дата, контрагент</li>
|
||||
<li>События спецификации: ADD/UPDATE/DELETE</li>
|
||||
</ul>
|
||||
|
||||
<p style="color:var(--orange);"><strong>⚠️ Пока не реализовано:</strong> удаление промежуточных данных после сессии. Варианты: кнопка «Очистить» в интерфейсе, либо Redis с TTL. Надо решать.</p>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>9. Инженерные практики <span class="tag tag-ok">качество кода</span></h2>
|
||||
|
||||
<h3>Decoupling — разделение ответственности</h3>
|
||||
<p>Пайплайн разбит на независимые слои с чёткими интерфейсами:</p>
|
||||
|
||||
<table style="width:100%;border-collapse:collapse;margin:12px 0;border:1px solid var(--border)">
|
||||
<tr style="background:var(--code-bg)">
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Слой</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Что делает</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Можно заменить отдельно</th>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Контракты данных</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">5 frozen dataclass'ов: <code>ParseResult</code>, <code>ClassifyResult</code>, <code>GroupingResult</code>, <code>BatchGroupingResult</code>, <code>CompareOp</code></td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Формат данных не привязан к хранилищу</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">LLM-клиент</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Протокол <code>LLMClient.complete(prompt) → str</code></td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">HttpxLLMClient ↔ FakeLLMClient ↔ другая модель</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Репозиторий</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Протокол <code>Repository</code> (17 методов)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">PgRepository ↔ MemRepository (тесты)</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Загрузка</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)"><code>parse_multipart()</code> — чистая функция</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Парсер не зависит от HTTP-фреймворка</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Классификация</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)"><code>classify_batch(batch_id, llm_client, repo)</code> — Dependency Injection</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Любой LLM + любое хранилище</td>
|
||||
</tr>
|
||||
</table>
|
||||
|
||||
<h3>Dependency Injection</h3>
|
||||
<p>Все внешние зависимости (LLM, БД) пробрасываются через параметры, а не через глобальные <code>import</code>:</p>
|
||||
<ul>
|
||||
<li><code>call_llm(prompt, llm_client=None)</code> — DI с обратной совместимостью</li>
|
||||
<li><code>classify_batch(batch_id, llm_client=None, repo=None)</code> — можно подставить любой backend</li>
|
||||
<li>В продакшене: HttpxLLMClient + PgRepository</li>
|
||||
<li>В тестах: FakeLLMClient (record/replay) + MemRepository (в памяти)</li>
|
||||
</ul>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>10. Тестирование <span class="tag tag-ok">26/26 PASS</span></h2>
|
||||
|
||||
<table style="width:100%;border-collapse:collapse;margin:12px 0;border:1px solid var(--border)">
|
||||
<tr style="background:var(--code-bg)">
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Модуль</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Тестов</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Что проверяют</th>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Контракты + загрузка</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">13</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Создание dataclass'ов, garbage-фильтр, multipart-парсинг, path-traversal</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">LLM + Репозиторий</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">9</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">FakeLLMClient, MemRepository CRUD, все 17 методов</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Классификация</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">4</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Garbage по имени файла, garbage по заголовкам, classify с FakeLLM, no pending</td>
|
||||
</tr>
|
||||
</table>
|
||||
|
||||
<p>Все тесты проходят без доступа к БД и LLM — через <code>FakeLLMClient</code> (record/replay) и <code>MemRepository</code>. Запуск: <code>pytest deploy/tests/ -v</code>.</p>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>11. Стек технологий</h2>
|
||||
|
||||
<table style="width:100%;border-collapse:collapse;margin:12px 0;border:1px solid var(--border)">
|
||||
<tr style="background:var(--code-bg)">
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Компонент</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Где</th>
|
||||
<th style="padding:8px;text-align:left;border:1px solid var(--border)">Технология</th>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Веб-интерфейс</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Managed Python (Nubes)</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Python 3.12, Jinja2, ванильный JS</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Механизм обработки</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Выделенная VM</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Python 3.12, httpx, pdfplumber, python-docx</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">База данных</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">VM PostgreSQL 15</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">JSONB, UUID, advisory locks</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">LLM</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">api.aillm.ru</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">gpt-oss-120b (бесплатно, OpenAI API)</td>
|
||||
</tr>
|
||||
<tr>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Деплой</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Managed Python + VM</td>
|
||||
<td style="padding:8px;border:1px solid var(--border)">Dockerfile, Nginx + Let's Encrypt</td>
|
||||
</tr>
|
||||
</table>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>12. Конечная цель <span class="tag tag-future">будущее</span></h2>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Конечная цель: построчное сравнение CRM ↔ фискальная система.<br>
|
||||
Особый фокус: даты начала услуг.<br>
|
||||
PAYG (суффикс -m) — особый случай. Сверку с CRM тоже можно делегировать AI.»
|
||||
</blockquote>
|
||||
|
||||
<p>Текущий пайплайн завершается на этапе <strong>извлечения спецификации из договоров и отслеживания изменений по допникам</strong>. Модуль сравнения с CRM — спроектирован как <code>CanonicalRow</code> адаптер, ожидает формата данных от заказчика.</p>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>13. Что дальше <span class="tag tag-future">требует участия Заказчика</span></h2>
|
||||
|
||||
<blockquote>
|
||||
📋 <strong>Заказчик:</strong> «Это всё пока опыты и набивание шишек.<br>
|
||||
Не надеюсь с первого захода на идеальный результат.»
|
||||
</blockquote>
|
||||
|
||||
<ol>
|
||||
<li><strong>Золотой набор:</strong> 30–50 реальных документов с ручной разметкой — измерить точность LLM</li>
|
||||
<li><strong>Формат CRM:</strong> в каком виде данные из системы учёта клиентов — для модуля сверки</li>
|
||||
<li><strong>Приоритет:</strong> точность vs скорость обработки — влияет на выбор модели LLM (локальная vs облачная)</li>
|
||||
</ol>
|
||||
|
||||
</body>
|
||||
</html>
|
||||
@@ -0,0 +1,300 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="utf-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Архитектура — блок-схемы</title>
|
||||
<style>
|
||||
:root {
|
||||
--bg: #0d1117; --fg: #c9d1d9; --muted: #8b949e;
|
||||
--accent: #58a6ff; --green: #3fb950; --border: #30363d;
|
||||
}
|
||||
* { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body { font: 15px/1.5 -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; background: var(--bg); color: var(--fg); max-width: 960px; margin: 0 auto; padding: 32px 20px 80px; }
|
||||
h1 { font-size: 26px; margin-bottom: 8px; }
|
||||
h2 { font-size: 18px; margin-top: 48px; margin-bottom: 16px; color: var(--accent); }
|
||||
.nav { margin-bottom: 24px; }
|
||||
.nav a { color: var(--accent); text-decoration: none; }
|
||||
.nav a:hover { text-decoration: underline; }
|
||||
svg { display: block; max-width: 100%; height: auto; }
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<div class="nav"><a href="/docs/architect">← Архитектура (текст)</a></div>
|
||||
|
||||
<h1>🏗️ Архитектура — блок-схемы</h1>
|
||||
|
||||
<h2>1. Система — компоненты и связи</h2>
|
||||
|
||||
<svg viewBox="0 0 920 340" xmlns="http://www.w3.org/2000/svg">
|
||||
<defs>
|
||||
<marker id="a1" markerWidth="7" markerHeight="5" refX="7" refY="2.5" orient="auto"><path d="M0,0 L7,2.5 L0,5 Z" fill="#58a6ff"/></marker>
|
||||
<marker id="a2" markerWidth="7" markerHeight="5" refX="7" refY="2.5" orient="auto"><path d="M0,0 L7,2.5 L0,5 Z" fill="#3fb950"/></marker>
|
||||
<filter id="sh"><feDropShadow dx="0" dy="2" stdDeviation="3" flood-opacity="0.25"/></filter>
|
||||
<linearGradient id="gradFlask" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a2a3a"/><stop offset="100%" stop-color="#0d1a28"/></linearGradient>
|
||||
<linearGradient id="gradVM" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a2a1a"/><stop offset="100%" stop-color="#0d1a0d"/></linearGradient>
|
||||
<linearGradient id="gradDB" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#2a1a2a"/><stop offset="100%" stop-color="#1a0d1a"/></linearGradient>
|
||||
<linearGradient id="gradLLM" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#3a2a1a"/><stop offset="100%" stop-color="#281a0d"/></linearGradient>
|
||||
<linearGradient id="gradUser" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#2a1a1a"/><stop offset="100%" stop-color="#1a0d0d"/></linearGradient>
|
||||
</defs>
|
||||
|
||||
<!-- User -->
|
||||
<rect x="30" y="100" width="140" height="90" rx="10" fill="url(#gradUser)" stroke="#f85149" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="100" y="135" text-anchor="middle" fill="#f85149" font-size="15" font-weight="bold">👤 Пользователь</text>
|
||||
<text x="100" y="155" text-anchor="middle" fill="#8b949e" font-size="11">Браузер</text>
|
||||
<text x="100" y="172" text-anchor="middle" fill="#8b949e" font-size="11">Загрузка файлов</text>
|
||||
|
||||
<!-- Arrow User → Flask -->
|
||||
<line x1="172" y1="130" x2="230" y2="80" stroke="#f85149" stroke-width="1.5" marker-end="url(#a1)"/>
|
||||
<text x="205" y="95" fill="#8b949e" font-size="9">HTTPS</text>
|
||||
|
||||
<line x1="172" y1="150" x2="230" y2="150" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#a1)"/>
|
||||
<text x="205" y="143" fill="#8b949e" font-size="9">SSE</text>
|
||||
|
||||
<!-- Flask -->
|
||||
<rect x="235" y="50" width="160" height="120" rx="10" fill="url(#gradFlask)" stroke="#58a6ff" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="315" y="80" text-anchor="middle" fill="#58a6ff" font-size="14" font-weight="bold">⚡ Flask-фронтенд</text>
|
||||
<text x="315" y="100" text-anchor="middle" fill="#8b949e" font-size="10">Managed Python (Nubes)</text>
|
||||
<text x="315" y="118" text-anchor="middle" fill="#8b949e" font-size="10">Jinja2-шаблоны</text>
|
||||
<text x="315" y="136" text-anchor="middle" fill="#8b949e" font-size="10">Промпт-редактор</text>
|
||||
<text x="315" y="154" text-anchor="middle" fill="#8b949e" font-size="10">Чат с LLM</text>
|
||||
|
||||
<!-- Arrow Flask → VM -->
|
||||
<line x1="397" y1="110" x2="455" y2="110" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#a1)"/>
|
||||
<text x="430" y="103" fill="#8b949e" font-size="9">REST API</text>
|
||||
|
||||
<!-- VM box -->
|
||||
<rect x="460" y="15" width="230" height="210" rx="10" fill="none" stroke="#30363d" stroke-width="1" stroke-dasharray="6,4"/>
|
||||
<text x="575" y="35" text-anchor="middle" fill="#8b949e" font-size="11">Выделенная VM</text>
|
||||
|
||||
<!-- Parsing -->
|
||||
<rect x="480" y="50" width="190" height="50" rx="8" fill="url(#gradVM)" stroke="#3fb950" stroke-width="1" filter="url(#sh)"/>
|
||||
<text x="575" y="72" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">📄 Парсинг документов</text>
|
||||
<text x="575" y="90" text-anchor="middle" fill="#8b949e" font-size="10">pdfplumber · python-docx</text>
|
||||
|
||||
<!-- Classification -->
|
||||
<rect x="480" y="110" width="190" height="50" rx="8" fill="url(#gradVM)" stroke="#bc8cff" stroke-width="1" filter="url(#sh)"/>
|
||||
<text x="575" y="132" text-anchor="middle" fill="#bc8cff" font-size="12" font-weight="bold">🏷️ Классификация</text>
|
||||
<text x="575" y="150" text-anchor="middle" fill="#8b949e" font-size="10">3-этапный фильтр мусора</text>
|
||||
|
||||
<!-- Comparison -->
|
||||
<rect x="480" y="170" width="190" height="45" rx="8" fill="url(#gradVM)" stroke="#d2991d" stroke-width="1" filter="url(#sh)"/>
|
||||
<text x="575" y="190" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">🤖 LLM-сравнение</text>
|
||||
<text x="575" y="207" text-anchor="middle" fill="#8b949e" font-size="10">extract + diff · группировка</text>
|
||||
|
||||
<!-- Internal arrows -->
|
||||
<line x1="575" y1="100" x2="575" y2="108" stroke="#58a6ff" stroke-width="1" marker-end="url(#a1)"/>
|
||||
<line x1="575" y1="160" x2="575" y2="168" stroke="#58a6ff" stroke-width="1" marker-end="url(#a1)"/>
|
||||
|
||||
<!-- Arrow VM → LLM -->
|
||||
<line x1="692" y1="140" x2="750" y2="90" stroke="#d2991d" stroke-width="1.5" marker-end="url(#a1)"/>
|
||||
<text x="725" y="108" fill="#8b949e" font-size="9">HTTP/2</text>
|
||||
|
||||
<!-- LLM -->
|
||||
<rect x="755" y="60" width="140" height="80" rx="10" fill="url(#gradLLM)" stroke="#d2991d" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="825" y="90" text-anchor="middle" fill="#d2991d" font-size="13" font-weight="bold">🧠 LLM</text>
|
||||
<text x="825" y="110" text-anchor="middle" fill="#8b949e" font-size="10">api.aillm.ru</text>
|
||||
<text x="825" y="128" text-anchor="middle" fill="#8b949e" font-size="10">gpt-oss-120b</text>
|
||||
|
||||
<!-- Arrow VM ↔ DB -->
|
||||
<line x1="575" y1="228" x2="575" y2="260" stroke="#bc8cff" stroke-width="1.5" marker-end="url(#a1)"/>
|
||||
|
||||
<!-- DB -->
|
||||
<rect x="470" y="265" width="210" height="55" rx="10" fill="url(#gradDB)" stroke="#bc8cff" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="575" y="290" text-anchor="middle" fill="#bc8cff" font-size="13" font-weight="bold">🗄️ PostgreSQL 15</text>
|
||||
<text x="575" y="310" text-anchor="middle" fill="#8b949e" font-size="10">JSONB · Event Sourcing · spec_events</text>
|
||||
</svg>
|
||||
|
||||
<h2>2. Пайплайн обработки одного файла</h2>
|
||||
|
||||
<svg viewBox="0 0 920 280" xmlns="http://www.w3.org/2000/svg">
|
||||
<defs>
|
||||
<marker id="b1" markerWidth="6" markerHeight="4" refX="6" refY="2" orient="auto"><path d="M0,0 L6,2 L0,4 Z" fill="#58a6ff"/></marker>
|
||||
<marker id="b2" markerWidth="6" markerHeight="4" refX="6" refY="2" orient="auto"><path d="M0,0 L6,2 L0,4 Z" fill="#f85149"/></marker>
|
||||
<filter id="sh2"><feDropShadow dx="0" dy="1" stdDeviation="2" flood-opacity="0.2"/></filter>
|
||||
</defs>
|
||||
|
||||
<!-- Stage 1 -->
|
||||
<rect x="10" y="30" width="135" height="90" rx="8" fill="#1a2a1a" stroke="#3fb950" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="77" y="55" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">📤 Загрузка</text>
|
||||
<text x="77" y="73" text-anchor="middle" fill="#8b949e" font-size="9">Multipart-парсинг</text>
|
||||
<text x="77" y="88" text-anchor="middle" fill="#8b949e" font-size="9">SHA-256 хеш</text>
|
||||
<text x="77" y="103" text-anchor="middle" fill="#8b949e" font-size="9">Формат: pdf/docx/zip</text>
|
||||
|
||||
<line x1="147" y1="75" x2="172" y2="75" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#b1)"/>
|
||||
|
||||
<!-- Stage 2 -->
|
||||
<rect x="177" y="30" width="135" height="90" rx="8" fill="#1a2a3a" stroke="#58a6ff" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="244" y="55" text-anchor="middle" fill="#58a6ff" font-size="12" font-weight="bold">🔍 Парсинг</text>
|
||||
<text x="244" y="73" text-anchor="middle" fill="#8b949e" font-size="9">Извлечение текста</text>
|
||||
<text x="244" y="88" text-anchor="middle" fill="#8b949e" font-size="9">Извлечение таблиц</text>
|
||||
<text x="244" y="103" text-anchor="middle" fill="#8b949e" font-size="9">→ elements_json</text>
|
||||
|
||||
<line x1="314" y1="75" x2="339" y2="75" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#b1)"/>
|
||||
|
||||
<!-- Stage 3a -->
|
||||
<rect x="344" y="30" width="145" height="90" rx="8" fill="#2a1a3a" stroke="#bc8cff" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="416" y="52" text-anchor="middle" fill="#bc8cff" font-size="12" font-weight="bold">🏷️ Фильтр #1-#2</text>
|
||||
<text x="416" y="68" text-anchor="middle" fill="#8b949e" font-size="9">Имя файла → мусор?</text>
|
||||
<text x="416" y="83" text-anchor="middle" fill="#8b949e" font-size="9">Заголовки → мусор?</text>
|
||||
<text x="416" y="98" text-anchor="middle" fill="#8b949e" font-size="9">0 токенов LLM</text>
|
||||
<text x="416" y="113" text-anchor="middle" fill="#f85149" font-size="8">мусор → стоп</text>
|
||||
|
||||
<line x1="491" y1="75" x2="516" y2="75" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#b1)"/>
|
||||
|
||||
<!-- Stage 3b -->
|
||||
<rect x="521" y="30" width="145" height="90" rx="8" fill="#2a2a1a" stroke="#d2991d" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="593" y="52" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">🤖 Фильтр #3 — LLM</text>
|
||||
<text x="593" y="68" text-anchor="middle" fill="#8b949e" font-size="9">Тип: договор/допник/</text>
|
||||
<text x="593" y="83" text-anchor="middle" fill="#8b949e" font-size="9">спецификация/мусор</text>
|
||||
<text x="593" y="98" text-anchor="middle" fill="#8b949e" font-size="9">Номер, дата, контрагент</text>
|
||||
<text x="593" y="113" text-anchor="middle" fill="#f85149" font-size="8">мусор → стоп</text>
|
||||
|
||||
<line x1="668" y1="75" x2="693" y2="75" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#b1)"/>
|
||||
|
||||
<!-- Stage 4 -->
|
||||
<rect x="698" y="30" width="100" height="90" rx="8" fill="#3a2a1a" stroke="#d2991d" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="748" y="60" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">📋 Группи-</text>
|
||||
<text x="748" y="78" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">ровка</text>
|
||||
<text x="748" y="96" text-anchor="middle" fill="#8b949e" font-size="9">По номерам</text>
|
||||
<text x="748" y="111" text-anchor="middle" fill="#8b949e" font-size="9">договоров</text>
|
||||
|
||||
<line x1="800" y1="75" x2="825" y2="75" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#b1)"/>
|
||||
|
||||
<!-- Stage 5 -->
|
||||
<rect x="830" y="30" width="80" height="90" rx="8" fill="#1a3a2a" stroke="#3fb950" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="870" y="60" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">Срав-</text>
|
||||
<text x="870" y="78" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">нение</text>
|
||||
<text x="870" y="100" text-anchor="middle" fill="#8b949e" font-size="9">ADD</text>
|
||||
<text x="870" y="114" text-anchor="middle" fill="#8b949e" font-size="9">UPDATE</text>
|
||||
|
||||
<!-- Protection Bar -->
|
||||
<rect x="10" y="145" width="900" height="40" rx="6" fill="#1a0a0a" stroke="#f85149" stroke-width="1" stroke-dasharray="3,2"/>
|
||||
<text x="460" y="170" text-anchor="middle" fill="#f85149" font-size="11" font-weight="bold">🛡️ Защита: ZIP-бомба (500/500/100×) · Path traversal · Whitelist форматов · content_hash · UNRESOLVED · нормализация чисел/дат · price×qty=sum</text>
|
||||
|
||||
<!-- Output Bar -->
|
||||
<rect x="10" y="210" width="900" height="50" rx="6" fill="#161b22" stroke="#3fb950" stroke-width="1.5" filter="url(#sh2)"/>
|
||||
<text x="460" y="233" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">📊 База: documents (метаданные + elements_json) · classify_results · spec_events (аудит) · spec_current (спецификация) · prompts (версионирование)</text>
|
||||
<text x="460" y="250" text-anchor="middle" fill="#8b949e" font-size="9">Бинарные файлы удаляются после парсинга. Промежуточные данные — требуется автоочистка.</text>
|
||||
</svg>
|
||||
|
||||
<h2>3. Event Sourcing — как работает сравнение</h2>
|
||||
|
||||
<svg viewBox="0 0 920 380" xmlns="http://www.w3.org/2000/svg">
|
||||
<defs>
|
||||
<marker id="c1" markerWidth="6" markerHeight="4" refX="6" refY="2" orient="auto"><path d="M0,0 L6,2 L0,4 Z" fill="#58a6ff"/></marker>
|
||||
<filter id="sh3"><feDropShadow dx="0" dy="1" stdDeviation="2" flood-opacity="0.2"/></filter>
|
||||
</defs>
|
||||
|
||||
<!-- Documents row -->
|
||||
<text x="460" y="24" text-anchor="middle" fill="#8b949e" font-size="12">Документы группы (отсортированы по doc_date)</text>
|
||||
|
||||
<rect x="10" y="38" width="100" height="55" rx="6" fill="#1a2a3a" stroke="#58a6ff" stroke-width="1" filter="url(#sh3)"/>
|
||||
<text x="60" y="60" text-anchor="middle" fill="#58a6ff" font-size="10" font-weight="bold">📄 Договор</text>
|
||||
<text x="60" y="78" text-anchor="middle" fill="#8b949e" font-size="9">базовый</text>
|
||||
|
||||
<rect x="130" y="38" width="80" height="55" rx="6" fill="#1a2a3a" stroke="#58a6ff" stroke-width="1" filter="url(#sh3)"/>
|
||||
<text x="170" y="60" text-anchor="middle" fill="#58a6ff" font-size="10" font-weight="bold">📄 Допник</text>
|
||||
<text x="170" y="78" text-anchor="middle" fill="#8b949e" font-size="9">#1</text>
|
||||
|
||||
<rect x="230" y="38" width="80" height="55" rx="6" fill="#1a2a3a" stroke="#58a6ff" stroke-width="1" filter="url(#sh3)"/>
|
||||
<text x="270" y="60" text-anchor="middle" fill="#58a6ff" font-size="10" font-weight="bold">📄 Допник</text>
|
||||
<text x="270" y="78" text-anchor="middle" fill="#8b949e" font-size="9">#2</text>
|
||||
|
||||
<text x="350" y="70" fill="#8b949e" font-size="20">...</text>
|
||||
|
||||
<!-- Arrow to Extract -->
|
||||
<line x1="60" y1="95" x2="60" y2="130" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#c1)"/>
|
||||
|
||||
<!-- Extract box -->
|
||||
<rect x="10" y="135" width="200" height="70" rx="8" fill="#1a2a3a" stroke="#d2991d" stroke-width="1.5" filter="url(#sh3)"/>
|
||||
<text x="110" y="158" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">🤖 LLM: промпт extract</text>
|
||||
<text x="110" y="176" text-anchor="middle" fill="#8b949e" font-size="10">Извлечение всех услуг</text>
|
||||
<text x="110" y="194" text-anchor="middle" fill="#8b949e" font-size="10">→ массив ADD-операций</text>
|
||||
|
||||
<line x1="212" y1="170" x2="242" y2="170" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#c1)"/>
|
||||
|
||||
<!-- Events box -->
|
||||
<rect x="247" y="130" width="200" height="80" rx="8" fill="#2a1a2a" stroke="#bc8cff" stroke-width="1.5" filter="url(#sh3)"/>
|
||||
<text x="347" y="153" text-anchor="middle" fill="#bc8cff" font-size="12" font-weight="bold">🗄️ spec_events</text>
|
||||
<text x="347" y="171" text-anchor="middle" fill="#8b949e" font-size="10">ADD услуга X</text>
|
||||
<text x="347" y="187" text-anchor="middle" fill="#8b949e" font-size="10">ADD услуга Y</text>
|
||||
<text x="347" y="203" text-anchor="middle" fill="#8b949e" font-size="10">(неизменяемый лог)</text>
|
||||
|
||||
<line x1="347" y1="212" x2="347" y2="242" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#c1)"/>
|
||||
|
||||
<!-- Current spec -->
|
||||
<rect x="247" y="247" width="200" height="70" rx="8" fill="#1a2a1a" stroke="#3fb950" stroke-width="1.5" filter="url(#sh3)"/>
|
||||
<text x="347" y="272" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">📊 spec_current</text>
|
||||
<text x="347" y="292" text-anchor="middle" fill="#8b949e" font-size="10">Услуга X | 100₽ | 10 шт</text>
|
||||
<text x="347" y="308" text-anchor="middle" fill="#8b949e" font-size="10">Услуга Y | 200₽ | 5 шт</text>
|
||||
|
||||
<!-- Arrow back to LLM for diff -->
|
||||
<line x1="449" y1="282" x2="500" y2="282" stroke="#3fb950" stroke-width="1.5" marker-end="url(#c1)"/>
|
||||
|
||||
<!-- Diff box -->
|
||||
<rect x="505" y="135" width="200" height="70" rx="8" fill="#3a2a1a" stroke="#d2991d" stroke-width="1.5" filter="url(#sh3)"/>
|
||||
<text x="605" y="158" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">🤖 LLM: промпт diff</text>
|
||||
<text x="605" y="176" text-anchor="middle" fill="#8b949e" font-size="10">(допник #1) vs spec_current</text>
|
||||
<text x="605" y="194" text-anchor="middle" fill="#8b949e" font-size="10">→ ADD / UPDATE / DELETE</text>
|
||||
|
||||
<line x1="707" y1="170" x2="737" y2="170" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#c1)"/>
|
||||
|
||||
<!-- Events 2 -->
|
||||
<rect x="742" y="130" width="168" height="80" rx="8" fill="#2a1a2a" stroke="#bc8cff" stroke-width="1.5" filter="url(#sh3)"/>
|
||||
<text x="826" y="153" text-anchor="middle" fill="#bc8cff" font-size="12" font-weight="bold">🗄️ spec_events</text>
|
||||
<text x="826" y="171" text-anchor="middle" fill="#8b949e" font-size="10">UPDATE услуга X</text>
|
||||
<text x="826" y="187" text-anchor="middle" fill="#8b949e" font-size="10">DELETE услуга Y</text>
|
||||
<text x="826" y="203" text-anchor="middle" fill="#8b949e" font-size="10">ADD услуга Z</text>
|
||||
|
||||
<line x1="826" y1="212" x2="826" y2="242" stroke="#58a6ff" stroke-width="1.5" marker-end="url(#c1)"/>
|
||||
|
||||
<!-- Updated spec -->
|
||||
<rect x="726" y="247" width="184" height="70" rx="8" fill="#1a2a1a" stroke="#3fb950" stroke-width="1.5" filter="url(#sh3)"/>
|
||||
<text x="818" y="272" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">📊 spec_current (обн.)</text>
|
||||
<text x="818" y="292" text-anchor="middle" fill="#8b949e" font-size="10">Услуга X | 150₽ | 10 шт</text>
|
||||
<text x="818" y="308" text-anchor="middle" fill="#8b949e" font-size="10">Услуга Z | 300₽ | 2 шт</text>
|
||||
|
||||
<!-- Arrows between events -->
|
||||
<line x1="473" y1="170" x2="505" y2="150" stroke="#d2991d" stroke-width="1" stroke-dasharray="3,2"/>
|
||||
<text x="492" y="148" fill="#8b949e" font-size="8">цикл по допникам</text>
|
||||
|
||||
<!-- Legend -->
|
||||
<rect x="10" y="340" width="900" height="30" rx="4" fill="#161b22" stroke="#30363d" stroke-width="0.5"/>
|
||||
<text x="460" y="360" text-anchor="middle" fill="#8b949e" font-size="10">Каждый допник сравнивается с актуальной spec_current → операции накапливаются в spec_events → spec_current пересчитывается</text>
|
||||
</svg>
|
||||
|
||||
<h2>4. Защита — эшелоны</h2>
|
||||
|
||||
<svg viewBox="0 0 920 220" xmlns="http://www.w3.org/2000/svg">
|
||||
<defs>
|
||||
<marker id="d1" markerWidth="5" markerHeight="3" refX="5" refY="1.5" orient="auto"><path d="M0,0 L5,1.5 L0,3 Z" fill="#f85149"/></marker>
|
||||
<filter id="sh4"><feDropShadow dx="0" dy="1" stdDeviation="2" flood-opacity="0.2"/></filter>
|
||||
</defs>
|
||||
|
||||
<!-- Layer 1: Upload -->
|
||||
<rect x="10" y="10" width="900" height="40" rx="6" fill="#1a0a0a" stroke="#f85149" stroke-width="1" filter="url(#sh4)"/>
|
||||
<text x="460" y="35" text-anchor="middle" fill="#f85149" font-size="12" font-weight="bold">🔴 Уровень 1 — Загрузка: ZIP-бомба (500 файлов / 500MB / ratio 100×) · Path traversal · Whitelist .pdf .docx .doc .zip</text>
|
||||
|
||||
<line x1="460" y1="50" x2="460" y2="58" stroke="#f85149" stroke-width="1" marker-end="url(#d1)"/>
|
||||
|
||||
<!-- Layer 2: Parse -->
|
||||
<rect x="30" y="62" width="860" height="40" rx="6" fill="#2a1a0a" stroke="#d2991d" stroke-width="1" filter="url(#sh4)"/>
|
||||
<text x="460" y="87" text-anchor="middle" fill="#d2991d" font-size="12" font-weight="bold">🟠 Уровень 2 — Парсинг: cp437→utf8 для битых имён · content_hash (SHA-256) · дедупликация · try/except → logging.warning</text>
|
||||
|
||||
<line x1="460" y1="102" x2="460" y2="110" stroke="#f85149" stroke-width="1" marker-end="url(#d1)"/>
|
||||
|
||||
<!-- Layer 3: Classify -->
|
||||
<rect x="50" y="114" width="820" height="40" rx="6" fill="#2a2a0a" stroke="#e3b341" stroke-width="1" filter="url(#sh4)"/>
|
||||
<text x="460" y="139" text-anchor="middle" fill="#e3b341" font-size="12" font-weight="bold">🟡 Уровень 3 — Классификация: фильтр по имени файла · фильтр по заголовкам (2000 симв.) · LLM-фильтр · мусор → garbage</text>
|
||||
|
||||
<line x1="460" y1="154" x2="460" y2="162" stroke="#f85149" stroke-width="1" marker-end="url(#d1)"/>
|
||||
|
||||
<!-- Layer 4: Compare -->
|
||||
<rect x="70" y="166" width="780" height="40" rx="6" fill="#1a2a0a" stroke="#3fb950" stroke-width="1" filter="url(#sh4)"/>
|
||||
<text x="460" y="191" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">🟢 Уровень 4 — Сравнение: ADD без имени → UNRESOLVED · UPDATE/DELETE без цели → UNRESOLVED · нормализация 1 000,50→1000.50 · дат · price×qty=sum</text>
|
||||
</svg>
|
||||
|
||||
</body>
|
||||
</html>
|
||||
@@ -0,0 +1,166 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="utf-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Gitea Actions — настройка CI/CD</title>
|
||||
<style>
|
||||
:root {
|
||||
--bg: #0d1117; --fg: #c9d1d9; --muted: #8b949e;
|
||||
--accent: #58a6ff; --green: #3fb950; --orange: #d2991d;
|
||||
--border: #30363d; --code-bg: #161b22; --card-bg: #161b22;
|
||||
}
|
||||
* { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body { font: 15px/1.65 -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; background: var(--bg); color: var(--fg); max-width: 860px; margin: 0 auto; padding: 32px 20px 80px; }
|
||||
h1 { font-size: 26px; margin-bottom: 8px; }
|
||||
h2 { font-size: 19px; margin-top: 36px; margin-bottom: 10px; padding-bottom: 6px; border-bottom: 1px solid var(--border); color: var(--accent); }
|
||||
h3 { font-size: 16px; margin-top: 24px; margin-bottom: 6px; color: var(--green); }
|
||||
p { margin: 8px 0; }
|
||||
ul, ol { padding-left: 24px; margin: 8px 0; }
|
||||
li { margin: 4px 0; }
|
||||
code { background: var(--code-bg); padding: 1px 5px; border-radius: 4px; font-size: 13px; border: 1px solid var(--border); }
|
||||
pre { background: var(--code-bg); padding: 12px 16px; border-radius: 6px; overflow-x: auto; font-size: 13px; border: 1px solid var(--border); margin: 12px 0; }
|
||||
.nav { margin-bottom: 24px; }
|
||||
.nav a { color: var(--accent); text-decoration: none; }
|
||||
.nav a:hover { text-decoration: underline; }
|
||||
.step { background: var(--card-bg); border: 1px solid var(--border); border-radius: 8px; padding: 16px 20px; margin: 16px 0; }
|
||||
.step h3 { margin-top: 0; }
|
||||
hr { border: none; border-top: 1px solid var(--border); margin: 32px 0; }
|
||||
table { width: 100%; border-collapse: collapse; margin: 12px 0; border: 1px solid var(--border); }
|
||||
th, td { padding: 8px; text-align: left; border: 1px solid var(--border); }
|
||||
th { background: var(--code-bg); }
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<div class="nav"><a href="/docs/architect">Архитектура</a></div>
|
||||
|
||||
<h1>🔄 Gitea Actions — настройка CI/CD</h1>
|
||||
|
||||
<blockquote style="border-left-color: #f85149; background: #1a0a0a; color: #f85149;">
|
||||
<strong>⚠️ Не решает проблему ручного редеплоя managed-сервисов Nubes.</strong><br>
|
||||
Если сервис деплоится только через Nubes UI — Gitea Actions может максимум валидировать код и синхронизировать VM-часть. Кнопку «Redeploy» всё равно жать руками.
|
||||
</blockquote>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>Как это работает</h2>
|
||||
|
||||
<p>Gitea Actions — встроенный CI/CD (аналог GitHub Actions), доступен с Gitea 1.19+. При <code>git push</code> запускается workflow, который выполняет заданные шаги на <strong>раннере</strong> — отдельной машине, которая слушает задачи.</p>
|
||||
|
||||
<table>
|
||||
<tr><th>Компонент</th><th>Где</th><th>Что делает</th></tr>
|
||||
<tr><td>Workflow-файл</td><td><code>.gitea/workflows/*.yaml</code></td><td>Описывает шаги (steps) при пуше</td></tr>
|
||||
<tr><td>Act Runner</td><td>Любая машина с доступом к Gitea</td><td>Выполняет джобы (systemd-сервис)</td></tr>
|
||||
<tr><td>Gitea</td><td>Ваш инстанс</td><td>Отправляет задачи раннеру при пуше</td></tr>
|
||||
</table>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>Пример workflow</h2>
|
||||
|
||||
<pre>name: Validate
|
||||
on:
|
||||
push:
|
||||
branches: [master]
|
||||
|
||||
jobs:
|
||||
check:
|
||||
runs-on: linux_amd64
|
||||
steps:
|
||||
- name: Syntax check
|
||||
run: python3 -m py_compile *.py</pre>
|
||||
|
||||
<p>Что можно автоматизировать:</p>
|
||||
<ul>
|
||||
<li>Синтаксическую проверку</li>
|
||||
<li>Запуск тестов (<code>pytest</code>)</li>
|
||||
<li>Синхронизацию кода на свою VM (<code>rsync</code> / <code>scp</code>)</li>
|
||||
<li>Уведомления (Telegram, email)</li>
|
||||
</ul>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>Как это настраивалось</h2>
|
||||
|
||||
<div class="step">
|
||||
<h3>1. Установка act_runner на VM</h3>
|
||||
<pre># Скачать бинарник
|
||||
curl -sL -o /usr/local/bin/act_runner \
|
||||
https://dl.gitea.com/act_runner/0.2.11/act_runner-0.2.11-linux-amd64
|
||||
chmod +x /usr/local/bin/act_runner</pre>
|
||||
</div>
|
||||
|
||||
<div class="step">
|
||||
<h3>2. Получение токена</h3>
|
||||
<p>В Gitea: <code>Репозиторий → Settings → Actions → Runners → Create new runner</code></p>
|
||||
<p>Выдаётся токен вида <code>D0gvfu2iHfUj...</code> — он используется для регистрации.</p>
|
||||
</div>
|
||||
|
||||
<div class="step">
|
||||
<h3>3. Регистрация раннера</h3>
|
||||
<pre>act_runner register \
|
||||
--no-interactive \
|
||||
--instance https://<ваш-gitea> \
|
||||
--token <TOKEN> \
|
||||
--name <имя-раннера> \
|
||||
--labels linux_amd64:host</pre>
|
||||
<p><code>linux_amd64:host</code> — означает host-режим (без Docker). Джобы выполняются прямо на машине.</p>
|
||||
</div>
|
||||
|
||||
<div class="step">
|
||||
<h3>4. Генерация конфига</h3>
|
||||
<pre>act_runner generate-config > /etc/act_runner/config.yaml
|
||||
# Важно: поправить labels → ["linux_amd64:host"]</pre>
|
||||
</div>
|
||||
|
||||
<div class="step">
|
||||
<h3>5. Systemd-сервис</h3>
|
||||
<pre>[Unit]
|
||||
Description=Gitea Actions Runner
|
||||
After=network.target
|
||||
|
||||
[Service]
|
||||
ExecStart=/usr/local/bin/act_runner daemon --config /etc/act_runner/config.yaml
|
||||
WorkingDirectory=/etc/act_runner
|
||||
Restart=always
|
||||
RestartSec=10
|
||||
User=runner
|
||||
Environment=HOME=/home/runner
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target</pre>
|
||||
<pre>sudo systemctl daemon-reload
|
||||
sudo systemctl enable act_runner --now
|
||||
sudo systemctl status act_runner</pre>
|
||||
</div>
|
||||
|
||||
<div class="step">
|
||||
<h3>6. Workflow-файл</h3>
|
||||
<p>Создать <code>.gitea/workflows/deploy.yaml</code> в репозитории. При пуше — workflow запустится автоматически.</p>
|
||||
<p><strong>Важно:</strong> <code>runs-on</code> должен совпадать с лейблом раннера (без <code>:host</code>). То есть <code>runs-on: linux_amd64</code>.</p>
|
||||
</div>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>Проверка статуса</h2>
|
||||
|
||||
<pre># Логи раннера на VM
|
||||
sudo journalctl -u act_runner -f
|
||||
|
||||
# Статус сервиса
|
||||
sudo systemctl status act_runner</pre>
|
||||
|
||||
<p>Результаты выполнения workflow видны в Gitea на вкладке <strong>Actions</strong> репозитория.</p>
|
||||
|
||||
<hr>
|
||||
|
||||
<h2>Полезные ссылки</h2>
|
||||
<ul>
|
||||
<li><a href="https://docs.gitea.com/usage/actions/overview/" target="_blank">Gitea Actions — Overview</a></li>
|
||||
<li><a href="https://docs.gitea.com/usage/actions/act-runner" target="_blank">Act Runner — документация</a></li>
|
||||
<li><a href="https://docs.gitea.com/usage/actions/quickstart/" target="_blank">Quick Start</a></li>
|
||||
</ul>
|
||||
|
||||
</body>
|
||||
</html>
|
||||
@@ -0,0 +1,315 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="utf-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>DrHider — обфускация документов</title>
|
||||
<link rel="icon" href="data:image/svg+xml,%3Csvg xmlns='http://www.w3.org/2000/svg' viewBox='0 0 32 32'%3E%3Crect width='32' height='32' rx='4' fill='%23001C34'/%3E%3Ctext x='16' y='24' text-anchor='middle' font-size='22' font-weight='bold' fill='white' font-family='sans-serif'%3EN%3C/text%3E%3C/svg%3E" type="image/svg+xml">
|
||||
<style>
|
||||
:root {
|
||||
--brand: #2563eb; --brand-dark: #1d4ed8;
|
||||
--bg: #f8fafc; --card: #fff; --fg: #1e293b; --muted: #64748b;
|
||||
--border: #e2e8f0; --red: #ef4444; --green: #22c55e;
|
||||
--grey-light: #f3f4f6; --radius: 8px;
|
||||
}
|
||||
* { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body { font: 14px/1.6 -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; background: var(--bg); color: var(--fg); }
|
||||
.header { background: var(--card); border-bottom: 1px solid var(--border); padding: 12px 24px; display: flex; align-items: center; gap: 12px; position: sticky; top: 0; z-index: 100; }
|
||||
.header img { height: 24px; }
|
||||
.header .sep { color: var(--muted); }
|
||||
.header a { color: var(--brand); text-decoration: none; font-size: 13px; }
|
||||
.header a:hover { color: var(--brand-dark); }
|
||||
main { max-width: 700px; margin: 0 auto; padding: 40px 20px 60px; }
|
||||
h1 { font-size: 22px; font-weight: 600; margin-bottom: 4px; }
|
||||
.sub { color: var(--muted); font-size: 14px; margin-bottom: 24px; }
|
||||
|
||||
.card { background: var(--card); border: 1px solid var(--border); border-radius: 12px; box-shadow: 0 1px 3px rgba(0,0,0,.04); }
|
||||
.card-header { background: var(--grey-light); padding: 12px 16px; border-radius: 12px 12px 0 0; font-size: 14px; font-weight: 600; border-bottom: 1px solid var(--border); }
|
||||
.card-body { padding: 16px; }
|
||||
|
||||
#dropZone {
|
||||
border: 2px dashed var(--border); border-radius: 12px; padding: 36px 20px;
|
||||
text-align: center; cursor: pointer; transition: all .2s;
|
||||
background: var(--grey-light); margin-bottom: 16px;
|
||||
}
|
||||
#dropZone:hover, #dropZone.active { border-color: var(--brand); background: #eff6ff; }
|
||||
#dropZone p { color: var(--muted); margin: 4px 0; font-size: 14px; }
|
||||
#dropZone .icon { font-size: 32px; margin-bottom: 8px; }
|
||||
|
||||
#fileList { display: none; }
|
||||
#fileList.show { display: block; }
|
||||
.file-row { display: flex; align-items: center; gap: 10px; padding: 8px 12px; background: var(--grey-light); border-radius: 6px; margin-bottom: 4px; font-size: 13px; }
|
||||
.file-row .name { flex: 1; }
|
||||
.file-row .size { color: var(--muted); }
|
||||
.file-row .remove { cursor: pointer; color: var(--red); font-weight: bold; font-size: 16px; }
|
||||
|
||||
#status { display: none; margin-top: 12px; padding: 12px 16px; border-radius: 8px; font-size: 13px; }
|
||||
#status.show { display: block; }
|
||||
#status.progress { background: #eff6ff; border: 1px solid var(--brand); color: var(--brand); }
|
||||
#status.done { background: #f0fdf4; border: 1px solid var(--green); color: #16a34a; }
|
||||
#status.error { background: #fef2f2; border: 1px solid var(--red); color: var(--red); }
|
||||
|
||||
.btn { display: inline-flex; align-items: center; justify-content: center; height: 36px; padding: 0 16px; border-radius: 6px; font-size: 14px; font-weight: 500; cursor: pointer; border: 1px solid var(--border); background: var(--card); transition: all .15s; }
|
||||
.btn:hover { background: var(--grey-light); }
|
||||
.btn-primary { background: var(--brand); color: #fff; border-color: var(--brand); width: 100%; margin-top: 8px; }
|
||||
.btn-primary:hover { background: var(--brand-dark); }
|
||||
.btn-primary:disabled { opacity: .5; cursor: not-allowed; }
|
||||
|
||||
/* ── Модальное окно ──────────────────────────────── */
|
||||
.modal-overlay { display: none; position: fixed; inset: 0; background: rgba(0,0,0,.4); z-index: 1000; justify-content: center; align-items: flex-start; padding-top: 60px; }
|
||||
.modal-overlay.show { display: flex; }
|
||||
.modal { background: var(--card); border-radius: 12px; max-width: 600px; width: 90%; max-height: 80vh; overflow-y: auto; box-shadow: 0 8px 32px rgba(0,0,0,.15); }
|
||||
.modal-header { display: flex; align-items: center; justify-content: space-between; padding: 16px 20px; border-bottom: 1px solid var(--border); position: sticky; top: 0; background: var(--card); z-index: 1; }
|
||||
.modal-header h2 { font-size: 16px; }
|
||||
.modal-close { cursor: pointer; font-size: 20px; color: var(--muted); background: none; border: none; line-height: 1; }
|
||||
.modal-close:hover { color: var(--fg); }
|
||||
.modal-body { padding: 20px; font-size: 13px; line-height: 1.7; color: var(--fg); }
|
||||
.modal-body h3 { font-size: 14px; margin: 16px 0 6px; }
|
||||
.modal-body h3:first-child { margin-top: 0; }
|
||||
.modal-body ul { margin: 4px 0 12px 20px; }
|
||||
.modal-body li { margin-bottom: 4px; }
|
||||
.modal-body .warn { background: #fef9e7; border-left: 3px solid #f59e0b; padding: 8px 12px; border-radius: 0 6px 6px 0; margin: 8px 0; font-size: 12px; }
|
||||
.modal-body code { background: var(--grey-light); padding: 1px 4px; border-radius: 3px; font-size: 12px; }
|
||||
|
||||
/* ── Кнопка ? в шапке ───────────────────────────── */
|
||||
.header .help-btn { margin-left: auto; width: 28px; height: 28px; border-radius: 50%; border: 1px solid var(--border); background: var(--card); cursor: pointer; font-size: 15px; font-weight: 600; color: var(--muted); display: flex; align-items: center; justify-content: center; transition: all .15s; }
|
||||
.header .help-btn:hover { border-color: var(--brand); color: var(--brand); background: #eff6ff; }
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<header class="header">
|
||||
<svg width="82" height="18" viewBox="0 0 82 18" style="display:block"><rect width="82" height="18" rx="2" fill="#001C34"/><text x="41" y="14" text-anchor="middle" font-size="12" font-weight="bold" fill="white" font-family="sans-serif">NUBES</text></svg>
|
||||
<span class="sep">|</span>
|
||||
<a href="https://contractor.pythonk8s.services.ngcloud.ru/">Сверка договоров</a>
|
||||
<span class="sep">|</span>
|
||||
<strong>DrHider</strong>
|
||||
<span style="font-size:11px;color:var(--muted);">v1.15</span>
|
||||
<button class="help-btn" onclick="openModal()" title="О сервисе">?</button>
|
||||
</header>
|
||||
|
||||
<!-- Модальное окно -->
|
||||
<div class="modal-overlay" id="modalOverlay" onclick="if(event.target===this)closeModal()">
|
||||
<div class="modal">
|
||||
<div class="modal-header">
|
||||
<h2>🛡️ DrHider — справка</h2>
|
||||
<button class="modal-close" onclick="closeModal()">✕</button>
|
||||
</div>
|
||||
<div class="modal-body">
|
||||
<h3>📌 Что делает</h3>
|
||||
<p>Обезличивает документы перед загрузкой в сервис сверки договоров. Заменяет персональные данные, реквизиты компаний, телефоны, email и другие чувствительные данные на фиктивные, но реалистичные значения. <strong>Одна и та же сущность во всех файлах заменяется одинаково</strong> — можно сопоставлять документы между собой.</p>
|
||||
|
||||
<h3>⚙️ Как работает</h3>
|
||||
<ul>
|
||||
<li><strong>Два прохода:</strong> сначала сбор всех сущностей из всех файлов → построение единого словаря замен → применение замен.</li>
|
||||
<li><strong>Всё в памяти:</strong> файлы не записываются на диск и не сохраняются в базе. После обработки данные удаляются.</li>
|
||||
<li><strong>mapping.csv</strong> — внутри ZIP лежит таблица «тип → оригинал → замена» для аудита.</li>
|
||||
</ul>
|
||||
|
||||
<h3>✅ Что распознаётся и заменяется</h3>
|
||||
<ul>
|
||||
<li>📞 Телефоны (+7, 8-800, ...)</li>
|
||||
<li>📧 Email-адреса</li>
|
||||
<li>🏢 Компании: ООО, ЗАО, АО, ПАО, ИП, ТОО (включая юникод-кавычки «» и "")</li>
|
||||
<li>👤 ФИО (кириллица): Иванов А.П., Петрова Мария Сергеевна</li>
|
||||
<li>🔢 Реквизиты: ИНН (10/12), ОГРН, КПП, БИК</li>
|
||||
<li>💳 Банковские счета: р/с, кор/сч, корреспондентский счёт</li>
|
||||
<li>📄 Паспортные данные: серия + номер</li>
|
||||
</ul>
|
||||
|
||||
<h3>🧠 LLM-NER (нейросеть)</h3>
|
||||
<p>Для поиска имён, названий компаний и адресов, которые не попадают под регулярные выражения, используется языковая модель. Работает не мгновенно — для больших документов добавляет 5–30 секунд.</p>
|
||||
|
||||
<h3>✅ Форматы файлов</h3>
|
||||
<ul>
|
||||
<li><strong>.docx</strong> — полная замена с сохранением структуры документа. ⚠️ Форматирование (жирный, курсив) заменённых фрагментов может сброситься.</li>
|
||||
<li><strong>.pdf</strong> — текст и таблицы извлекаются в .docx, затем обфусцируется. Шрифты, цвета и PDF-вёрстка не сохраняются. При совпадении имён с существующим .docx добавляется суффикс <code>_из_pdf</code>.</li>
|
||||
<li><strong>.doc</strong> — бинарный формат, <strong>не обфусцируется</strong>. Файл возвращается как есть. Конвертируйте в .docx перед загрузкой.</li>
|
||||
<li><strong>.zip</strong> — автоматически распаковывается, все файлы внутри обрабатываются.</li>
|
||||
</ul>
|
||||
|
||||
<h3>⚠️ Ограничения и возможные ошибки</h3>
|
||||
<div class="warn">
|
||||
<strong>Ложные пропуски:</strong> сущность может быть не найдена, если она записана в нестандартном формате (например, телефон через точку: <code>+7.495.123.44.55</code>).
|
||||
</div>
|
||||
<div class="warn">
|
||||
<strong>Ложные срабатывания:</strong> короткие слова (например, фамилия «Иванов») могут быть заменены внутри более длинных слов («Ивановский» → ...ский). Минимизировано, но не исключено полностью.
|
||||
</div>
|
||||
<div class="warn">
|
||||
<strong>.doc не обрабатывается:</strong> старые Word-файлы возвращаются без изменений.
|
||||
</div>
|
||||
<div class="warn">
|
||||
<strong>PDF → DOCX:</strong> извлекаются только текст и таблицы. Шрифты, цвета и позиционирование теряются. Сканы (фотографии страниц) не распознаются.</div>
|
||||
</div>
|
||||
<div class="warn">
|
||||
<strong>Сканы/изображения:</strong> текст на картинках не распознаётся (нет OCR).
|
||||
</div>
|
||||
|
||||
<h3>🔒 Приватность</h3>
|
||||
<ul>
|
||||
<li>Файлы не покидают сервер Nubes.</li>
|
||||
<li>Ничего не записывается в базу данных.</li>
|
||||
<li>После отправки ZIP-архива все данные в памяти удаляются.</li>
|
||||
</ul>
|
||||
|
||||
<h3>📊 mapping.csv</h3>
|
||||
<p>В выходном ZIP всегда есть файл <code>mapping.csv</code> с колонками: <code>тип_данных, оригинал, замена</code>. Позволяет при необходимости восстановить исходные значения (храните этот файл отдельно и безопасно).</p>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<main>
|
||||
<h1>🛡️ DrHider — обфускация документов</h1>
|
||||
<p class="sub">Загрузите документы — получите ZIP с обезличенными копиями и таблицей соответствия. Без сохранения на сервере.</p>
|
||||
|
||||
<div class="card">
|
||||
<div class="card-header">📁 Загрузка файлов</div>
|
||||
<div class="card-body">
|
||||
<div id="dropZone">
|
||||
<div class="icon">📄</div>
|
||||
<p>Выберите файлы или перетащите сюда</p>
|
||||
<p style="font-size:12px;">.docx .pdf .doc .zip</p>
|
||||
<input type="file" id="fileInput" multiple accept=".docx,.pdf,.doc,.zip" style="display:none">
|
||||
</div>
|
||||
<div id="fileList"></div>
|
||||
<button class="btn btn-primary" id="btnGo" disabled>Обфусцировать</button>
|
||||
<div id="status"></div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="card" style="margin-top:16px;">
|
||||
<div class="card-header">ℹ️ Как это работает</div>
|
||||
<div class="card-body" style="font-size:13px;color:var(--muted);">
|
||||
<p><strong>⚡ Всё в памяти.</strong> Файлы не сохраняются на сервер. После обработки данные удаляются.</p>
|
||||
<p><strong>📋 mapping.csv</strong> — таблица «оригинал → замена» внутри ZIP.</p>
|
||||
<p><strong>🔒 Результат</strong> — обезличенные файлы можно загружать в основной сервис сверки.</p>
|
||||
</div>
|
||||
</div>
|
||||
</main>
|
||||
|
||||
<script>
|
||||
const DZ = document.getElementById('dropZone');
|
||||
const INPUT = document.getElementById('fileInput');
|
||||
const LIST = document.getElementById('fileList');
|
||||
const BTN = document.getElementById('btnGo');
|
||||
const STATUS = document.getElementById('status');
|
||||
let files = [];
|
||||
|
||||
DZ.onclick = () => INPUT.click();
|
||||
INPUT.onchange = () => { addFiles(INPUT.files); INPUT.value = ''; };
|
||||
DZ.ondragover = e => { e.preventDefault(); DZ.classList.add('active'); };
|
||||
DZ.ondragleave = () => DZ.classList.remove('active');
|
||||
DZ.ondrop = e => { e.preventDefault(); DZ.classList.remove('active'); addFiles(e.dataTransfer.files); };
|
||||
|
||||
function addFiles(fl) { for (let f of fl) { if (files.find(x => x.name===f.name && x.size===f.size)) continue; files.push(f); } render(); }
|
||||
function remove(i) { files.splice(i, 1); render(); }
|
||||
function render() {
|
||||
LIST.innerHTML = files.map((f,i) => {
|
||||
let display = esc(f.name);
|
||||
if (f.name.toLowerCase().endsWith('.pdf')) {
|
||||
display += ' → <span style="color:var(--brand-primary)">*.docx</span>';
|
||||
}
|
||||
return `<div class="file-row"><span class="name">${display}</span><span class="size">${fmt(f.size)}</span><span class="remove" onclick="remove(${i})">×</span></div>`;
|
||||
}).join('');
|
||||
LIST.className = files.length ? 'show' : '';
|
||||
BTN.disabled = !files.length;
|
||||
}
|
||||
|
||||
BTN.onclick = () => {
|
||||
if (!files.length) return;
|
||||
// Проверить коллизии PDF→DOCX
|
||||
const collisions = [];
|
||||
const names = files.map(f => f.name);
|
||||
files.forEach(f => {
|
||||
if (f.name.toLowerCase().endsWith('.pdf')) {
|
||||
const docxName = f.name.slice(0, -4) + '.docx';
|
||||
if (names.includes(docxName)) {
|
||||
collisions.push({pdf: f.name, docx: docxName});
|
||||
}
|
||||
}
|
||||
});
|
||||
if (collisions.length) {
|
||||
showCollisionModal(collisions);
|
||||
return;
|
||||
}
|
||||
doSubmit();
|
||||
};
|
||||
|
||||
function showCollisionModal(collisions) {
|
||||
const list = collisions.map(c => `<div style="margin-bottom:4px">📄 <b>${esc(c.pdf)}</b> → <b>${esc(c.docx)}</b> (уже есть)</div>`).join('');
|
||||
document.getElementById('collisionList').innerHTML = list;
|
||||
document.getElementById('collisionOverlay').classList.add('show');
|
||||
window._collisions = collisions;
|
||||
}
|
||||
|
||||
function closeCollision(skipAll) {
|
||||
document.getElementById('collisionOverlay').classList.remove('show');
|
||||
if (skipAll) {
|
||||
// Удалить PDF-файлы из списка
|
||||
const pdfNames = window._collisions.map(c => c.pdf);
|
||||
files = files.filter(f => !pdfNames.includes(f.name));
|
||||
render();
|
||||
}
|
||||
// В любом случае отправляем (бэкенд сам переименует)
|
||||
setTimeout(doSubmit, 100);
|
||||
}
|
||||
|
||||
function doSubmit() {
|
||||
BTN.disabled = true;
|
||||
setStatus('progress', '⏳ Отправка...');
|
||||
const xhr = new XMLHttpRequest();
|
||||
const fd = new FormData();
|
||||
files.forEach(f => fd.append('files', f, f.name));
|
||||
xhr.open('POST', 'https://contracts.kube5s.ru/api/drhider');
|
||||
xhr.responseType = 'blob';
|
||||
const startTime = Date.now();
|
||||
const timer = setInterval(() => {
|
||||
setStatus('progress', '⏳ Обработка... ' + Math.round((Date.now() - startTime) / 1000) + 'с');
|
||||
}, 1000);
|
||||
xhr.onload = () => {
|
||||
clearInterval(timer);
|
||||
if (xhr.status === 200) {
|
||||
const a = document.createElement('a');
|
||||
a.href = URL.createObjectURL(xhr.response);
|
||||
a.download = 'drhider_output.zip';
|
||||
a.click();
|
||||
setStatus('done', '✅ Готово!');
|
||||
} else {
|
||||
setStatus('error', '❌ Ошибка ' + xhr.status);
|
||||
}
|
||||
BTN.disabled = false;
|
||||
};
|
||||
xhr.onerror = () => { clearInterval(timer); setStatus('error', '❌ Сеть'); BTN.disabled = false; };
|
||||
xhr.ontimeout = () => { clearInterval(timer); setStatus('error', '❌ Таймаут'); BTN.disabled = false; };
|
||||
xhr.timeout = 600000;
|
||||
xhr.send(fd);
|
||||
};
|
||||
|
||||
function setStatus(c,m) { STATUS.className = 'show '+c; STATUS.textContent = m; }
|
||||
function esc(s) { return s.replace(/&/g,'&').replace(/</g,'<').replace(/>/g,'>'); }
|
||||
function fmt(n) { return n>1e6 ? (n/1e6).toFixed(1)+' MB' : n>1e3 ? (n/1e3).toFixed(0)+' KB' : n+' B'; }
|
||||
|
||||
// ── Модальное окно ─────────────────────────────────────────────
|
||||
function openModal() { document.getElementById('modalOverlay').classList.add('show'); }
|
||||
function closeModal() { document.getElementById('modalOverlay').classList.remove('show'); }
|
||||
// ── Коллизия PDF→DOCX ──────────────────────────────────────────
|
||||
document.addEventListener('keydown', e => { if (e.key === 'Escape') closeCollision(true); });
|
||||
</script>
|
||||
|
||||
<!-- Модальное окно: коллизия PDF→DOCX -->
|
||||
<div class="modal-overlay" id="collisionOverlay">
|
||||
<div class="modal" style="max-width:480px">
|
||||
<div class="modal-header">⚠️ Конфликт имён</div>
|
||||
<div class="modal-body">
|
||||
<p style="margin-bottom:10px">PDF-файлы конвертируются в DOCX. Имена совпадают:</p>
|
||||
<div id="collisionList" style="margin-bottom:12px"></div>
|
||||
<p style="font-size:12px;color:var(--muted)">«Перезаписать» — PDF-файл заменит DOCX.<br>«Пропустить» — PDF будут удалены из списка.</p>
|
||||
</div>
|
||||
<div style="display:flex;gap:8px;padding:12px 16px;border-top:1px solid var(--brand-gray)">
|
||||
<button class="btn" onclick="closeCollision(true)" style="flex:1">Пропустить PDF</button>
|
||||
<button class="btn btn-primary" onclick="closeCollision(false)" style="flex:1">Перезаписать</button>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
</body>
|
||||
</html>
|
||||
@@ -0,0 +1,226 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="UTF-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Сверка договоров — LLM</title>
|
||||
<link rel="icon" type="image/svg+xml" href="/static/favicon.svg">
|
||||
<script src="https://unpkg.com/lucide@latest"></script>
|
||||
<style>
|
||||
:root { --brand-primary: #2563eb; --brand-primary-dark: #1d4ed8; --brand-gray: #d1d5db; --brand-grey-light: #f3f4f6; --background: #ffffff; --foreground: #1a1a1a; --muted: #6b7280; --destructive: #ef4444; --green: #22c55e; }
|
||||
* { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body { font-family: system-ui, sans-serif; font-size: 14px; color: var(--foreground); background: var(--brand-grey-light); min-height: 100vh; }
|
||||
.topbar { background: var(--background); border-bottom: 1px solid var(--brand-gray); padding: 0 24px; height: 56px; display: flex; align-items: center; gap: 16px; position: sticky; top: 0; z-index: 50; }
|
||||
.topbar img { height: 28px; }
|
||||
.topbar .title { font-weight: 600; font-size: 16px; }
|
||||
.content { max-width: 900px; margin: 32px auto; padding: 0 16px; }
|
||||
.card { background: var(--background); border-radius: 12px; border: 1px solid var(--brand-gray); box-shadow: 0 1px 2px rgba(0,0,0,.05); overflow: hidden; margin-bottom: 16px; }
|
||||
.card-header { background: var(--brand-grey-light); padding: 12px 16px; font-weight: 600; font-size: 16px; display: flex; align-items: center; gap: 8px; }
|
||||
.card-body { padding: 16px; }
|
||||
.btn { height: 36px; border-radius: 6px; gap: 6px; padding: 0 14px; font-size: 14px; font-family: inherit; cursor: pointer; display: inline-flex; align-items: center; border: 1px solid var(--brand-gray); background: var(--background); }
|
||||
.btn-primary { background: var(--brand-primary); border-color: var(--brand-primary); color: #fff; }
|
||||
.btn-primary:hover { background: var(--brand-primary-dark); }
|
||||
.btn:disabled { opacity: .5; cursor: not-allowed; }
|
||||
.table-wrap { border-radius: 6px; border: 1px solid var(--brand-gray); overflow-y: auto; max-height: 50vh; margin-top: 12px; }
|
||||
table { width: 100%; border-collapse: collapse; font-size: 13px; }
|
||||
th { background: var(--brand-grey-light); text-transform: uppercase; padding: 6px 10px; border-right: 1px solid var(--brand-gray); text-align: left; font-weight: 600; font-size: 11px; color: var(--muted); }
|
||||
td { padding: 6px 10px; border-right: 1px solid var(--brand-gray); border-bottom: 1px solid var(--brand-gray); }
|
||||
tr:hover td { background: rgba(243,244,246,.5); }
|
||||
.name-cell { max-width: 340px; overflow: hidden; text-overflow: ellipsis; white-space: nowrap; }
|
||||
.num-cell { text-align: right; white-space: nowrap; }
|
||||
.status-ok { color: var(--green); }
|
||||
.status-err { color: var(--destructive); }
|
||||
.summary-row td { background: rgba(34,197,94,.05); font-weight: 600; }
|
||||
.empty-row td { color: var(--muted); text-align: center; padding: 24px; }
|
||||
.remove-btn { cursor: pointer; color: #f87171; background: none; border: none; padding: 2px 4px; font-size: 16px; line-height: 1; }
|
||||
.remove-btn:hover { color: #ef4444; }
|
||||
.info-btn { cursor: pointer; color: var(--muted); background: none; border: none; padding: 2px 4px; font-size: 14px; display: none; }
|
||||
.info-btn:hover { color: var(--brand-primary); }
|
||||
.info-btn.visible { display: inline; }
|
||||
.first-row td { background: rgba(37,99,235,.06); font-weight: 600; }
|
||||
.arrow-btn { cursor: pointer; color: var(--muted); background: none; border: none; padding: 2px; font-size: 12px; line-height: 1; }
|
||||
.arrow-btn:hover { color: var(--brand-primary); }
|
||||
.arrow-btn:disabled { opacity: .3; cursor: default; color: var(--muted); }
|
||||
.modal-overlay { display: none; position: fixed; top: 0; left: 0; width: 100%; height: 100%; background: rgba(0,0,0,.4); z-index: 100; justify-content: center; align-items: center; }
|
||||
.modal-overlay.open { display: flex; }
|
||||
.modal { background: var(--background); border-radius: 12px; border: 1px solid var(--brand-gray); box-shadow: 0 4px 24px rgba(0,0,0,.15); max-width: 520px; width: 90%; max-height: 80vh; display: flex; flex-direction: column; }
|
||||
.modal.wide { max-width: 900px; }
|
||||
.modal-header { padding: 14px 16px; border-bottom: 1px solid var(--brand-gray); display: flex; align-items: center; gap: 8px; font-weight: 600; flex-shrink: 0; }
|
||||
.modal-body { padding: 16px; overflow-y: auto; }
|
||||
.modal-body .kv { display: flex; margin-bottom: 6px; font-size: 13px; }
|
||||
.modal-body .kv .k { color: var(--muted); width: 110px; flex-shrink: 0; }
|
||||
.modal-body .kv .v { word-break: break-all; }
|
||||
.diff-added { background: rgba(34,197,94,.1); }
|
||||
.diff-deleted { background: rgba(239,68,68,.1); }
|
||||
.diff-changed { background: rgba(234,179,8,.1); }
|
||||
.diff-added td { color: var(--green); }
|
||||
.diff-deleted td { color: var(--destructive); text-decoration: line-through; }
|
||||
.diff-field-old { color: var(--destructive); text-decoration: line-through; font-size: 11px; }
|
||||
.diff-field-new { color: var(--green); font-weight: 600; }
|
||||
@keyframes spin { to { transform: rotate(360deg); } }
|
||||
.spinner { display: inline-block; width: 16px; height: 16px; border: 2px solid rgba(255,255,255,.3); border-top-color: #fff; border-radius: 50%; animation: spin .6s linear infinite; }
|
||||
.text-panes { display: flex; gap: 0; }
|
||||
.text-pane { flex: 1; min-width: 0; overflow-y: auto; max-height: 65vh; }
|
||||
.text-pane:first-child { border-right: 1px solid var(--brand-gray); padding-right: 12px; }
|
||||
.text-pane:last-child { padding-left: 12px; }
|
||||
.text-pane pre { background: var(--brand-grey-light); padding: 10px; border-radius: 6px; font-size: 11px; white-space: pre-wrap; word-break: break-word; overflow-x: auto; margin: 0; max-height: 60vh; overflow-y: auto; }
|
||||
.text-pane table { font-size: 11px; width: 100%; }
|
||||
.text-pane th { font-size: 10px; padding: 4px 6px; }
|
||||
.text-pane td { padding: 3px 6px; font-size: 11px; }
|
||||
.text-pane .pane-title { font-weight: 600; font-size: 12px; margin-bottom: 8px; color: var(--muted); text-transform: uppercase; }
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
<div class="topbar">
|
||||
<img src="/static/logo.svg" alt="Nubes">
|
||||
<span class="title">Сверка договоров — LLM AI-driven Event Sourcing <span style="font-weight:400;color:var(--muted);font-size:12px;">v1.0.196-flask</span></span>
|
||||
<div id="pipelineStepper" style="display:flex;gap:8px;font-size:11px;align-items:center;color:var(--muted);">
|
||||
<span id="stepUpload">○ Загрузка</span><span>→</span>
|
||||
<span id="stepClassify">○ Классификация</span><span>→</span>
|
||||
<span id="stepGroups">○ Группировка</span><span>→</span>
|
||||
<span id="stepCompare">○ Сравнение</span>
|
||||
</div>
|
||||
<span style="margin-left:auto;font-size:12px;color:var(--brand-primary);cursor:pointer;white-space:nowrap;" onclick="openAbout()">ℹ️ О сервисе</span>
|
||||
</div>
|
||||
|
||||
<div class="content">
|
||||
<div class="card">
|
||||
<div class="card-header">
|
||||
<i data-lucide="folder-open" style="width:18px;height:18px;"></i>
|
||||
Загрузка договоров/приложений/спецификаций
|
||||
</div>
|
||||
<div class="card-body">
|
||||
<input type="file" id="fileInput" accept=".docx,.doc,.pdf,.zip" multiple style="margin-bottom:6px;width:100%;">
|
||||
<div style="text-align:right;font-size:11px;color:var(--muted);margin-bottom:6px;">Порядок определяется автоматически при классификации</div>
|
||||
<div style="font-size:11px;color:var(--muted);margin-bottom:6px;">⚠ При совпадении имён — запрос на перезапись (OK / Отмена). Файлы из ZIP-архивов загружаются через тот же поток.</div>
|
||||
|
||||
<div class="table-wrap">
|
||||
<table>
|
||||
<thead>
|
||||
<tr><th>Имя</th><th style="width:130px;">Изменён</th><th style="width:90px;">Размер</th><th style="width:115px;">Парсинг</th><th style="width:30px;">Текст</th><th style="width:30px;">✕</th></tr>
|
||||
</thead>
|
||||
<tbody id="fileTable"></tbody>
|
||||
</table>
|
||||
</div>
|
||||
|
||||
<button class="btn btn-primary" id="llmBtn" style="width:100%;justify-content:center;margin-top:8px;display:none;background:var(--green);border-color:var(--green);">
|
||||
<i data-lucide="scale" style="width:16px;height:16px;"></i> Общее сравнение
|
||||
</button>
|
||||
|
||||
<details style="margin-top:8px;font-size:12px;">
|
||||
<summary style="cursor:pointer;color:var(--muted);">⚙ Промпты LLM</summary>
|
||||
<div style="display:flex;gap:8px;margin-top:6px;">
|
||||
<button class="btn" id="promptBtnExtract" style="font-size:11px;height:28px;flex:1;">📄 Извлечение</button>
|
||||
<button class="btn" id="promptBtnDiff" style="font-size:11px;height:28px;flex:1;">🔄 Сравнение</button>
|
||||
<button class="btn" id="promptBtnClassify" style="font-size:11px;height:28px;flex:1;">🏷️ Классификация</button>
|
||||
</div>
|
||||
<div style="display:flex;gap:8px;margin-top:3px;font-size:10px;color:var(--muted);">
|
||||
<span style="flex:1;">для базового договора</span>
|
||||
<span style="flex:1;">для допсоглашений</span>
|
||||
<span style="flex:1;">автоопределение</span>
|
||||
</div>
|
||||
</details>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="card" id="diffCard" style="display:none;">
|
||||
<div class="card-header">
|
||||
<i data-lucide="file-diff" style="width:18px;height:18px;"></i>
|
||||
Классификация и группы <span id="diffStatus" style="font-weight:400;font-size:12px;margin-left:8px;"></span>
|
||||
</div>
|
||||
<div class="card-body" id="diffBody"></div>
|
||||
</div>
|
||||
|
||||
<div class="card" id="compareCard" style="display:none;margin-top:16px;">
|
||||
<div class="card-header">
|
||||
<i data-lucide="scale" style="width:18px;height:18px;"></i>
|
||||
Результаты сравнения <span id="compareStatus" style="font-weight:400;font-size:12px;margin-left:8px;"></span>
|
||||
</div>
|
||||
<div class="card-body" id="compareBody"></div>
|
||||
</div>
|
||||
|
||||
<div class="card" id="chatCard" style="display:none;margin-top:16px;">
|
||||
<div class="card-header">
|
||||
<i data-lucide="message-circle" style="width:18px;height:18px;"></i>
|
||||
Задать вопрос по договору <span style="font-weight:400;font-size:11px;color:var(--muted);">— используются все загруженные документы</span>
|
||||
</div>
|
||||
<div class="card-body">
|
||||
<div id="chatMessages" style="margin-bottom:8px;font-size:13px;"></div>
|
||||
<div style="display:flex;gap:8px;">
|
||||
<input type="text" id="chatInput" placeholder="Какая общая сумма? Что изменилось? ..." style="flex:1;height:32px;border:1px solid var(--brand-gray);border-radius:6px;padding:0 8px;font-size:13px;">
|
||||
<button class="btn btn-primary" id="chatSend" style="height:32px;font-size:13px;">→</button>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="modal-overlay" id="modalOverlay" onclick="closeModal(event)">
|
||||
<div class="modal" onclick="event.stopPropagation()">
|
||||
<div class="modal-header">
|
||||
<i data-lucide="file-text" style="width:18px;height:18px;"></i>
|
||||
<span id="modalTitle">Информация о файле</span>
|
||||
<button class="remove-btn" onclick="closeModal()" style="margin-left:auto;font-size:18px;">×</button>
|
||||
</div>
|
||||
<div class="modal-body" id="modalBody"></div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="modal-overlay" id="promptModalOverlay" onclick="closePromptModal(event)">
|
||||
<div class="modal" style="max-width:680px;" onclick="event.stopPropagation()">
|
||||
<div class="modal-header">
|
||||
<i data-lucide="settings" style="width:18px;height:18px;"></i>
|
||||
<span id="promptModalTitle">Промпт: Сравнение</span>
|
||||
<button class="remove-btn" onclick="closePromptModal()" style="margin-left:auto;font-size:18px;">×</button>
|
||||
</div>
|
||||
<div class="modal-body" style="padding:16px;">
|
||||
<div style="display:flex;gap:6px;margin-bottom:4px;">
|
||||
<button class="btn" id="promptTabExtract" style="font-size:11px;height:26px;">📄 Извлечение</button>
|
||||
<button class="btn" id="promptTabDiff" style="font-size:11px;height:26px;background:var(--brand-primary);color:#fff;">🔄 Сравнение</button>
|
||||
<button class="btn" id="promptTabClassify" style="font-size:11px;height:26px;">🏷️ Классификация</button>
|
||||
</div>
|
||||
<div style="font-size:10px;color:var(--muted);margin-bottom:10px;">
|
||||
Извлечение — для базового договора | Сравнение — для допсоглашений | Классификация — автоопределение типа/даты/контрагента
|
||||
</div>
|
||||
<textarea id="promptEditor" style="width:100%;height:220px;font-family:monospace;font-size:11px;border:1px solid var(--brand-gray);border-radius:6px;padding:8px;box-sizing:border-box;"></textarea>
|
||||
<div style="display:flex;gap:8px;margin-top:8px;align-items:center;">
|
||||
<input id="promptName" placeholder="Имя версии" style="width:140px;font-size:11px;border:1px solid var(--brand-gray);border-radius:4px;padding:4px 6px;">
|
||||
<input id="promptNotes" placeholder="Что изменили" style="flex:1;font-size:11px;border:1px solid var(--brand-gray);border-radius:4px;padding:4px 6px;">
|
||||
<button class="btn" id="promptSave" style="font-size:11px;height:28px;background:var(--green);color:#fff;border-color:var(--green);">Сохранить</button>
|
||||
</div>
|
||||
<span id="promptStatus" style="font-size:11px;color:var(--muted);display:block;margin-top:4px;"></span>
|
||||
<div style="margin-top:12px;font-size:11px;color:var(--muted);font-weight:600;">История версий</div>
|
||||
<div id="promptHistory" style="max-height:180px;overflow-y:auto;margin-top:4px;"></div>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="modal-overlay" id="aboutModalOverlay" onclick="closeAbout(event)">
|
||||
<div class="modal" style="max-width:720px;" onclick="event.stopPropagation()">
|
||||
<div class="modal-header">
|
||||
<i data-lucide="info" style="width:18px;height:18px;"></i>
|
||||
<span>О сервисе — архитектура и принцип работы</span>
|
||||
<button class="remove-btn" onclick="closeAbout()" style="margin-left:auto;font-size:18px;">×</button>
|
||||
</div>
|
||||
<div class="modal-body" style="padding:16px;font-size:13px;line-height:1.6;max-height:65vh;overflow-y:auto;" id="aboutBody">
|
||||
<h3 style="margin-top:0;">Что это</h3>
|
||||
<p>Автоматический разбор и сравнение договоров с помощью ИИ (LLM). Загружаете договоры, допсоглашения и спецификации вперемешку — система сама разбирает что есть что, группирует по контрактам и находит все изменения между версиями.</p>
|
||||
<h3>Как пользоваться</h3>
|
||||
<p><b>1. Загрузка</b> — выберите файлы (.docx, .doc, .pdf, .zip). Можно загружать всё вперемешку. Порядок не важен — классификация разберётся.</p>
|
||||
<p><b>2. Классификация</b> — нажмите «Классифицировать». Система через LLM определит тип, номер, дату, контрагента.</p>
|
||||
<p><b>3. Группы</b> — документы автоматически группируются по договорам.</p>
|
||||
<p><b>4. Сравнение</b> — для каждой группы нажмите «▶ Сравнить». Результат: ADD/UPDATE/DELETE.</p>
|
||||
<p><b>5. Промпты</b> — три вида инструкций для ИИ с версионированием.</p>
|
||||
<h3>На выходе</h3>
|
||||
<p>Структурированная спецификация + полная история изменений с привязкой к документам-источникам.</p>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<script src="/static/state.js?v=1.0.179-flask"></script>
|
||||
<script src="/static/app_utils.js?v=1.0.179-flask"></script>
|
||||
<script src="/static/files.js?v=1.0.179-flask"></script>
|
||||
<script src="/static/groups.js?v=1.0.179-flask"></script>
|
||||
<script src="/static/compare.js?v=1.0.179-flask"></script>
|
||||
<script src="/static/app.js?v=1.0.179-flask"></script>
|
||||
</body>
|
||||
</html>
|
||||
@@ -0,0 +1,104 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ru">
|
||||
<head>
|
||||
<meta charset="utf-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Пайплайн сверки договоров</title>
|
||||
<style>
|
||||
:root { --bg: #0d1117; --fg: #c9d1d9; --muted: #8b949e; --accent: #58a6ff; }
|
||||
* { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
body { font: 15px/1.5 -apple-system, BlinkMacSystemFont, 'Segoe UI', sans-serif; background: var(--bg); color: var(--fg); max-width: 980px; margin: 0 auto; padding: 40px 20px 60px; }
|
||||
h1 { font-size: 24px; margin-bottom: 24px; text-align: center; }
|
||||
.nav { margin-bottom: 16px; text-align: center; }
|
||||
.nav a { color: var(--accent); text-decoration: none; font-size: 13px; }
|
||||
svg { display: block; max-width: 100%; height: auto; margin: 0 auto; }
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<div class="nav"><a href="/docs/architect">← Архитектура (подробно)</a> | <a href="/docs/architecture-diagram">Блок-схемы (все)</a></div>
|
||||
|
||||
<h1>Пайплайн сверки договоров</h1>
|
||||
|
||||
<svg viewBox="0 0 940 280" xmlns="http://www.w3.org/2000/svg">
|
||||
<defs>
|
||||
<marker id="ar" markerWidth="7" markerHeight="5" refX="7" refY="2.5" orient="auto"><path d="M0,0 L7,2.5 L0,5 Z" fill="#58a6ff"/></marker>
|
||||
<filter id="sh"><feDropShadow dx="0" dy="2" stdDeviation="3" flood-opacity="0.3"/></filter>
|
||||
<linearGradient id="gUpload" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#2a1a1a"/><stop offset="100%" stop-color="#1a0a0a"/></linearGradient>
|
||||
<linearGradient id="gParse" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a2a3a"/><stop offset="100%" stop-color="#0d1a28"/></linearGradient>
|
||||
<linearGradient id="gClassify" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#2a1a3a"/><stop offset="100%" stop-color="#1a0d28"/></linearGradient>
|
||||
<linearGradient id="gGroup" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#3a2a1a"/><stop offset="100%" stop-color="#281a0d"/></linearGradient>
|
||||
<linearGradient id="gLLM" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a3a2a"/><stop offset="100%" stop-color="#0d2818"/></linearGradient>
|
||||
<linearGradient id="gResult" x1="0" y1="0" x2="0" y2="1"><stop offset="0%" stop-color="#1a2a2a"/><stop offset="100%" stop-color="#0d1a1a"/></linearGradient>
|
||||
</defs>
|
||||
|
||||
<!-- ===== MAIN PIPELINE ===== -->
|
||||
|
||||
<!-- 1. Upload -->
|
||||
<rect x="10" y="30" width="135" height="110" rx="10" fill="url(#gUpload)" stroke="#f85149" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="77" y="58" text-anchor="middle" fill="#f85149" font-size="28">📤</text>
|
||||
<text x="77" y="82" text-anchor="middle" fill="#f85149" font-size="14" font-weight="bold">Загрузка</text>
|
||||
<text x="77" y="102" text-anchor="middle" fill="#8b949e" font-size="11">100+ файлов</text>
|
||||
<text x="77" y="120" text-anchor="middle" fill="#8b949e" font-size="11">.docx .pdf .zip</text>
|
||||
|
||||
<line x1="147" y1="85" x2="180" y2="85" stroke="#58a6ff" stroke-width="2" marker-end="url(#ar)"/>
|
||||
|
||||
<!-- 2. Parse -->
|
||||
<rect x="185" y="30" width="135" height="110" rx="10" fill="url(#gParse)" stroke="#58a6ff" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="252" y="58" text-anchor="middle" fill="#58a6ff" font-size="28">🔍</text>
|
||||
<text x="252" y="82" text-anchor="middle" fill="#58a6ff" font-size="14" font-weight="bold">Парсинг</text>
|
||||
<text x="252" y="102" text-anchor="middle" fill="#8b949e" font-size="11">Извлечение</text>
|
||||
<text x="252" y="120" text-anchor="middle" fill="#8b949e" font-size="11">текста и таблиц</text>
|
||||
|
||||
<line x1="322" y1="85" x2="355" y2="85" stroke="#58a6ff" stroke-width="2" marker-end="url(#ar)"/>
|
||||
|
||||
<!-- 3. Classify -->
|
||||
<rect x="360" y="30" width="145" height="110" rx="10" fill="url(#gClassify)" stroke="#bc8cff" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="432" y="58" text-anchor="middle" fill="#bc8cff" font-size="28">🏷️</text>
|
||||
<text x="432" y="82" text-anchor="middle" fill="#bc8cff" font-size="14" font-weight="bold">Классификация</text>
|
||||
<text x="432" y="102" text-anchor="middle" fill="#8b949e" font-size="11">3 фильтра</text>
|
||||
<text x="432" y="120" text-anchor="middle" fill="#8b949e" font-size="11">мусор — в сторону</text>
|
||||
|
||||
<line x1="507" y1="85" x2="540" y2="85" stroke="#58a6ff" stroke-width="2" marker-end="url(#ar)"/>
|
||||
|
||||
<!-- 4. Group -->
|
||||
<rect x="545" y="30" width="135" height="110" rx="10" fill="url(#gGroup)" stroke="#d2991d" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="612" y="58" text-anchor="middle" fill="#d2991d" font-size="28">📋</text>
|
||||
<text x="612" y="82" text-anchor="middle" fill="#d2991d" font-size="14" font-weight="bold">Группировка</text>
|
||||
<text x="612" y="102" text-anchor="middle" fill="#8b949e" font-size="11">По договорам</text>
|
||||
<text x="612" y="120" text-anchor="middle" fill="#8b949e" font-size="11">автоматически</text>
|
||||
|
||||
<line x1="682" y1="85" x2="715" y2="85" stroke="#58a6ff" stroke-width="2" marker-end="url(#ar)"/>
|
||||
|
||||
<!-- 5. LLM Compare -->
|
||||
<rect x="720" y="30" width="140" height="110" rx="10" fill="url(#gLLM)" stroke="#3fb950" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="790" y="54" text-anchor="middle" fill="#3fb950" font-size="28">🤖</text>
|
||||
<text x="790" y="78" text-anchor="middle" fill="#3fb950" font-size="13" font-weight="bold">Сравнение</text>
|
||||
<text x="790" y="96" text-anchor="middle" fill="#3fb950" font-size="13" font-weight="bold">(ИИ)</text>
|
||||
<text x="790" y="118" text-anchor="middle" fill="#8b949e" font-size="11">ADD UPDATE</text>
|
||||
<text x="790" y="134" text-anchor="middle" fill="#8b949e" font-size="11">DELETE</text>
|
||||
|
||||
<!-- ===== SUPPORT ROW ===== -->
|
||||
|
||||
<!-- Protection -->
|
||||
<rect x="10" y="165" width="460" height="45" rx="8" fill="#1a0a0a" stroke="#f85149" stroke-width="1" stroke-dasharray="5,3"/>
|
||||
<text x="240" y="183" text-anchor="middle" fill="#f85149" font-size="12" font-weight="bold">🛡️ Защита на каждом шаге</text>
|
||||
<text x="240" y="200" text-anchor="middle" fill="#8b949e" font-size="10">ZIP-бомба · дубликаты · битые числа/даты → автоисправление · непонятное → на проверку</text>
|
||||
|
||||
<line x1="240" y1="163" x2="240" y2="140" stroke="#f85149" stroke-width="1" stroke-dasharray="3,2"/>
|
||||
|
||||
<!-- Confidentiality -->
|
||||
<rect x="480" y="165" width="450" height="45" rx="8" fill="#1a2a0a" stroke="#3fb950" stroke-width="1" stroke-dasharray="5,3"/>
|
||||
<text x="705" y="183" text-anchor="middle" fill="#3fb950" font-size="12" font-weight="bold">🔒 Конфиденциальность</text>
|
||||
<text x="705" y="200" text-anchor="middle" fill="#8b949e" font-size="10">Файлы удаляются после обработки · без облачного хранения · данные только на время сессии</text>
|
||||
|
||||
<line x1="705" y1="163" x2="705" y2="140" stroke="#3fb950" stroke-width="1" stroke-dasharray="3,2"/>
|
||||
|
||||
<!-- ===== BOTTOM BAR: Result ===== -->
|
||||
|
||||
<rect x="10" y="235" width="920" height="40" rx="8" fill="#161b22" stroke="#58a6ff" stroke-width="1.5" filter="url(#sh)"/>
|
||||
<text x="470" y="260" text-anchor="middle" fill="#58a6ff" font-size="13" font-weight="bold">📊 Результат: итоговая спецификация + полная история изменений (что, когда и откуда добавилось / изменилось / удалилось)</text>
|
||||
</svg>
|
||||
|
||||
</body>
|
||||
</html>
|
||||
Reference in New Issue
Block a user