v1.0.168: detailed О сервисе — architecture, pipeline, Event Sourcing, security
This commit is contained in:
@@ -75,7 +75,7 @@
|
|||||||
<body>
|
<body>
|
||||||
<div class="topbar">
|
<div class="topbar">
|
||||||
<img src="/nubes-logo.svg" alt="Nubes">
|
<img src="/nubes-logo.svg" alt="Nubes">
|
||||||
<span class="title">Сверка договоров — LLM AI-driven Event Sourcing <span style="font-weight:400;color:var(--muted);font-size:12px;">v1.0.167 — Lucee</span></span>
|
<span class="title">Сверка договоров — LLM AI-driven Event Sourcing <span style="font-weight:400;color:var(--muted);font-size:12px;">v1.0.168 — Lucee</span></span>
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class="content">
|
<div class="content">
|
||||||
@@ -172,16 +172,60 @@
|
|||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class="modal-overlay" id="aboutModalOverlay" onclick="closeAbout(event)">
|
<div class="modal-overlay" id="aboutModalOverlay" onclick="closeAbout(event)">
|
||||||
<div class="modal" style="max-width:640px;" onclick="event.stopPropagation()">
|
<div class="modal" style="max-width:720px;" onclick="event.stopPropagation()">
|
||||||
<div class="modal-header">
|
<div class="modal-header">
|
||||||
<i data-lucide="info" style="width:18px;height:18px;"></i>
|
<i data-lucide="info" style="width:18px;height:18px;"></i>
|
||||||
<span>О сервисе</span>
|
<span>О сервисе — архитектура и принцип работы</span>
|
||||||
<button class="remove-btn" onclick="closeAbout()" style="margin-left:auto;font-size:18px;">×</button>
|
<button class="remove-btn" onclick="closeAbout()" style="margin-left:auto;font-size:18px;">×</button>
|
||||||
</div>
|
</div>
|
||||||
<div class="modal-body" style="padding:16px;font-size:13px;line-height:1.6;max-height:65vh;overflow-y:auto;" id="aboutBody">
|
<div class="modal-body" style="padding:16px;font-size:13px;line-height:1.6;max-height:65vh;overflow-y:auto;" id="aboutBody">
|
||||||
<p><b>Что делает:</b> автоматическое сравнение договоров и дополнительных документов облачного провайдера.</p>
|
|
||||||
<p><b>Пайплайн:</b> Загрузка → Парсинг → Порядок (↕) → LLM-сравнение → Результаты (Event Sourcing)</p>
|
<h3 style="margin-top:0;">Что делает</h3>
|
||||||
<p><b>Стек:</b> Lucee (домен) + Python 3 (VM, вся логика) + PostgreSQL 15 + gpt-oss-120b</p>
|
<p>Автоматический разбор и сравнение договоров облачного провайдера (colocation, ЦОД, аренда стоек, каналы связи, облачные ресурсы). Юрист загружает файлы — система сама определяет что есть что, группирует по контрактам и через LLM находит изменения между версиями.</p>
|
||||||
|
|
||||||
|
<h3>Архитектура</h3>
|
||||||
|
<p><b>Два сервера:</b></p>
|
||||||
|
<ul>
|
||||||
|
<li><b>Lucee CFML (k8s)</b> — только HTML-оболочка (index.cfm, 191 строка). Домен: contractor.luceek8s.dev.nubes.ru</li>
|
||||||
|
<li><b>Python 3.12 (VM, 5.172.178.213)</b> — вся бизнес-логика: загрузка, парсинг, LLM-классификация, сравнение, Event Sourcing. Домен: contracts.kube5s.ru</li>
|
||||||
|
</ul>
|
||||||
|
<p><b>База данных:</b> PostgreSQL 16 на VM (127.0.0.1:5432/baza). Конфиденциальные данные не покидают ВМ.</p>
|
||||||
|
<p><b>LLM:</b> gpt-oss-120b через api.aillm.ru (бесплатный доступ, HTTP/2).</p>
|
||||||
|
|
||||||
|
<h3>Пайплайн обработки</h3>
|
||||||
|
<ol>
|
||||||
|
<li><b>Загрузка</b> — .docx, .doc, .pdf. DOC→DOCX через LibreOffice на VM.</li>
|
||||||
|
<li><b>Парсинг</b> — python-docx (Word) и PyPDF2 (PDF). Результат: структурированный JSON (параграфы + таблицы).</li>
|
||||||
|
<li><b>LLM-классификация</b> — каждый файл анализируется LLM (gpt-oss-120b): определяется тип (договор/допсоглашение/спецификация), номер, дата, контрагент. Умная выжимка текста: ~3000 символов (header + маркерные строки) для экономии токенов.</li>
|
||||||
|
<li><b>Авто-группировка</b> — Python-код нормализует номера договоров и группирует документы по контрактам. Хронологический порядок по датам.</li>
|
||||||
|
<li><b>LLM-сравнение</b> — для каждой группы: первый документ → извлечение спецификации (extract). Каждый следующий → сравнение с накопленной спецификацией (diff). Операции: ADD (новая услуга), UPDATE (изменение), DELETE (исключена), UNRESOLVED (не удалось сопоставить).</li>
|
||||||
|
</ol>
|
||||||
|
|
||||||
|
<h3>Event Sourcing</h3>
|
||||||
|
<p>Изменения не перезаписывают спецификацию. Каждая операция — событие в таблице <code>spec_events</code>. Текущее состояние — <code>spec_current</code>. Это даёт:</p>
|
||||||
|
<ul>
|
||||||
|
<li><b>Аудит</b> — полная история изменений: кто, когда, на основании какого документа</li>
|
||||||
|
<li><b>Provenance</b> — для каждого события хранится: ID документа-источника, версия промпта LLM, полный сырой ответ LLM</li>
|
||||||
|
<li><b>Откат</b> — можно вернуться к любому предыдущему состоянию спецификации</li>
|
||||||
|
</ul>
|
||||||
|
|
||||||
|
<h3>Промпты LLM</h3>
|
||||||
|
<p>Хранятся в БД, версионируются. Три вида:</p>
|
||||||
|
<ul>
|
||||||
|
<li><b>extract</b> — извлечение спецификации из первого документа (базовый договор)</li>
|
||||||
|
<li><b>diff</b> — сравнение допсоглашения с текущей спецификацией</li>
|
||||||
|
<li><b>classify</b> — авто-классификация: определение типа/номера/даты/контрагента документа</li>
|
||||||
|
</ul>
|
||||||
|
|
||||||
|
<h3>Схема БД</h3>
|
||||||
|
<p>7 таблиц: <code>documents</code> (файлы + elements_json + поля классификации), <code>contracts</code>, <code>supplements</code> (связь документ→договор), <code>spec_events</code> (события), <code>spec_current</code> (текущая спецификация), <code>prompts</code> (версионные промпты), <code>upload_chunks</code> (временные чанки).</p>
|
||||||
|
|
||||||
|
<h3>Безопасность</h3>
|
||||||
|
<p>Все файлы и тексты договоров хранятся ТОЛЬКО на ВМ (5.172.178.213). При перезагрузке страницы все данные автоматически удаляются из БД. Промпты (код системы) сохраняются.</p>
|
||||||
|
|
||||||
|
<h3>Стек</h3>
|
||||||
|
<p>Lucee 6.0 (CFML, k8s) + Python 3.12 (http.server, psycopg2, httpx, python-docx, PyPDF2) + PostgreSQL 16 + gpt-oss-120b + nginx + systemd.</p>
|
||||||
|
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
|
|||||||
Reference in New Issue
Block a user