Avoid false garbage classification for UPD mentions

2026-08-27 10:44:48 +03:00
parent 475efefb40
commit e5c7c88073
5 changed files with 75 additions and 10 deletions
@@ -81,3 +81,57 @@ Kubernetes проверялся только командами чтения ч
 - frontend upload-тесты — успешно;
 - layer 2 upload-тесты — успешно;
 - архивы `duplicates_inside.zip` и `mixed_with_error.zip` прошли `unzip -t`.
 ## Реальный end-to-end тест сверки
 27.08.2026 выполнен тест через deployed API `v2.0.19` на batch
 `0dd0d3a7-3e52-4888-95eb-1b6d3e37f40e`.
 Загружены через VM-поток два реальных DOCX:
 - `договор-XXX001-03700.docx` — распарсен, 20 элементов;
 - `допник-1-XXX001-03700.docx` — распарсен, 16 элементов.
 Классификация завершилась `2/2`, но результат классификации неожиданен:
 - допсоглашение попало в группу `03700`;
 - базовый договор попал в `__unresolved__` со статусом `garbage` и причиной
 	отсутствия matching-договора.
 Это функциональный дефект/проблема классификации тестовой пары: без базового
 договора группа не проверяет корректное сравнение договора с приложением.
 Тем не менее реальный pipeline сверки для сформированной группы проверен:
 - `/api/apply-groups` — `200`, создан contract ID
 	`b859e813-bac9-4eb9-82b5-6b5666f2ba4a`;
 - `/process-v2` — SSE завершён событием `complete`;
 - LLM вернул `6` операций в режиме `partial`;
 - применено: `added=6`, `updated=0`, `deleted=0`;
 - ошибок соединения и SSE не было;
 - время pipeline: `9.4с`.
 Следующий обязательный тест для проверки matching — загрузить базовый договор с
 точным именем/содержимым, которое классификатор ожидает как базовый, и повторить
 ту же пару. Код после этого прогона не изменялся.
 ## Исправление ложного garbage для базового договора
 При повторной проверке реального файла `договор-XXX001-03700.docx` установлена
 точная причина ошибочной классификации: второй garbage-фильтр искал подстроку
 `УПД` в первых 2000 символах. В договоре эта аббревиатура встречается в
 обычном условии оплаты: «на основании УПД и счета». Из-за этого договор
 получал `garbage=header_keywords`, хотя его заголовок начинается со слова
 «Договор».
 Исправление в `site/services/classify.py`:
 - удалено общее substring-срабатывание для `УПД`;
 - добавлено распознавание `УПД` и полного названия только с начала строки,
  когда это заголовок самого документа.
 Добавлены регрессионные тесты: упоминание УПД внутри договора не является
 garbage, а заголовок документа `УПД № ...` является garbage.
 Версия приложения повышена до `2.0.20`, cache-buster обновлён в
 `site/templates/index.html`.
@@ -1,7 +1,7 @@
 """Конфигурация приложения — все настройки в одном месте."""
 import os
-VERSION = "2.0.19"
+VERSION = "2.0.20"
 LLM_URL = os.getenv("LLM_API_URL", "https://api.aillm.ru/v1/chat/completions")
 LLM_KEY = os.getenv("LLM_API_KEY", "")
@@ -47,9 +47,13 @@ _GARBAGE_HEADER_MARKERS = [
    'СЧЕТ-ФАКТУРА', 'СЧЕТ НА ОПЛАТУ', 'АКТ СВЕРКИ',
    'АКТ ОКАЗАННЫХ УСЛУГ', 'АКТ ВЫПОЛНЕННЫХ РАБОТ',
    'ПЛАТЁЖНОЕ ПОРУЧЕНИЕ', 'УНИВЕРСАЛЬНЫЙ ПЕРЕДАТОЧНЫЙ',
-    'УПД', 'ПЛАТЕЖНОЕ ПОРУЧЕНИЕ',
+    'ПЛАТЕЖНОЕ ПОРУЧЕНИЕ',
 ]
 _GARBAGE_HEADER_RE = re.compile(
    r'(?m)^\s*(?:УПД|УНИВЕРСАЛЬНЫЙ ПЕРЕДАТОЧНЫЙ ДОКУМЕНТ)\b'
 )
 def _is_garbage_by_filename(filename: str) -> bool:
    """Stage 1: regex по имени файла — быстро, 0 токенов."""
@@ -59,7 +63,7 @@ def _is_garbage_by_filename(filename: str) -> bool:
 def _is_garbage_by_header(text: str) -> bool:
    """Stage 2: ключевые слова в первых 2KB текста — быстро, 0 токенов."""
    header = text[:2000].upper()
-    return any(marker in header for marker in _GARBAGE_HEADER_MARKERS)
+    return any(marker in header for marker in _GARBAGE_HEADER_MARKERS) or bool(_GARBAGE_HEADER_RE.search(header))
 def _call_llm_classify(header_text, llm_client=None):
@@ -73,7 +73,7 @@
 <body>
 <div class="topbar">
  <img src="/static/logo.svg" alt="Nubes">
-  <span class="title">Сверка договоров — LLM AI-driven Event Sourcing <span style="font-weight:400;color:var(--muted);font-size:12px;">v2.0.19</span></span>
+  <span class="title">Сверка договоров — LLM AI-driven Event Sourcing <span style="font-weight:400;color:var(--muted);font-size:12px;">v2.0.20</span></span>
  <div id="pipelineStepper" style="display:flex;gap:8px;font-size:11px;align-items:center;color:var(--muted);">
    <span id="stepUpload">○ Загрузка</span><span>→</span>
    <span id="stepClassify">○ Классификация</span><span>→</span>
@@ -224,11 +224,11 @@
  import { listZipFiles } from '/upload/zip/list_zip_files.js';
  window.listZipFiles = listZipFiles;
 </script>
-<script src="/static/state.js?v=2.0.19"></script>
+<script src="/static/state.js?v=2.0.20"></script>
-<script src="/static/app_utils.js?v=2.0.19"></script>
+<script src="/static/app_utils.js?v=2.0.20"></script>
-<script src="/static/files.js?v=2.0.19"></script>
+<script src="/static/files.js?v=2.0.20"></script>
-<script src="/static/groups.js?v=2.0.19"></script>
+<script src="/static/groups.js?v=2.0.20"></script>
-<script src="/static/compare.js?v=2.0.19"></script>
+<script src="/static/compare.js?v=2.0.20"></script>
-<script src="/static/app.js?v=2.0.19"></script>
+<script src="/static/app.js?v=2.0.20"></script>
 </body>
 </html>
@@ -36,6 +36,13 @@ class TestGarbageHeader:
    def test_not_garbage(self):
        assert _is_garbage_by_header("ДОГОВОР № 03700_1 об оказании услуг") is False
    def test_upd_mention_in_contract_is_not_garbage(self):
        text = "Договор № 03700. Оплата производится на основании УПД и счета."
        assert _is_garbage_by_header(text) is False
    def test_upd_document_header_is_garbage(self):
        assert _is_garbage_by_header("УПД № 123 от 01.01.2026") is True
 class TestSafeJsonParse:
    def test_valid(self):