Nail/contracts-app
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
123 Commits 2 Branches 0 Tags
17413e65c4a2fd51a3a8ddad71d9d096a58654dd
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
naeel 17413e65c4 v3.1.6: text strategy только при отсутствии рамок, мин 3 колонки 2026-06-18 08:23:29 +04:00
naeel bc5cbfe913 v3.1.5: мин 4 заполненных ячейки для таблицы 2026-06-18 08:22:50 +04:00
naeel 52fe7b92fb v3.1.4: таблицы — мин 2 строки, 40% заполнения 2026-06-18 08:22:18 +04:00
naeel 0151a380ea v3.1.3: pdfplumber — только рамки, фильтр 30% заполнения 2026-06-18 08:21:42 +04:00
naeel 2b851505c3 v3.1.2: фильтр пустых таблиц + text strategy для pdfplumber 2026-06-18 08:20:10 +04:00
naeel c3d891f7b7 v3.1.1: таймер при загрузке (↑ 12.3с 45%) 2026-06-18 08:14:18 +04:00
naeel 557a238fb8 v3.1.0: разбить app.py на routes/main,parse,misc — 52 строки вместо 330 2026-06-18 08:10:23 +04:00
naeel f1b4bf515f v3.0.1: вернуть lucide — без него JS падал 2026-06-18 08:04:47 +04:00
naeel 822b47bace v3.0.1: application = ContractsApp().app для gunicorn 2026-06-18 08:01:57 +04:00
naeel 12d67de7ed v3.0.0 VM: убрать v2/Redis/чанки, чистый FormData, PostgreSQL 2026-06-18 07:57:51 +04:00
naeel 09d32951de v2.0.8: retry до 3 раз, чанки 60KB, меньше запросов 2026-06-18 07:17:52 +04:00
naeel 627c0178d1 v2.0.7: задержка 3с обратно — 2.5с мало для HTTP/2 2026-06-18 07:16:51 +04:00
naeel 5b79a697b5 v2.0.6: счётчик чанков в статусе, задержка 2.5с 2026-06-18 07:03:10 +04:00
naeel 4424d07a32 v2.0.5: задержка 3с между чанками — HTTP/2 streams 2026-06-18 06:54:22 +04:00
naeel 6c296f4f22 v2.0.4: fetch() вместо XHR, чанки 55KB, задержка 500ms — fix ERR_HTTP2_PROTOCOL_ERROR 2026-06-18 06:46:35 +04:00
naeel 5e9e754af0 v2.0.3: таймауты 30s/60s + console.log отладка 2026-06-18 06:40:04 +04:00
naeel cb69549803 v2.0.2: fix base64 (apply→чанки 32KB), socket_timeout=10 Redis 2026-06-18 06:26:56 +04:00
naeel bc0a5345ac v2.0.1: fix ImportError — sys.path для v2/ 2026-06-18 06:20:03 +04:00
naeel c28baa446b v2: чанки 30KB + MD5, /v2/chunk + /v2/finalize, Redis, worker, v2.0 2026-06-17 23:14:34 +04:00
naeel 562c27879e таймаут чанка 10s, v1.43.1 2026-06-17 23:00:58 +04:00
naeel 2525ad039f чанки в памяти (не БД), 30KB + 60s timeout, v1.43 2026-06-17 23:00:04 +04:00
naeel 92f929315a чанки 30KB + 100мс задержка, порог 64KB обойдён, v1.42 2026-06-17 22:51:54 +04:00
naeel f9cb9de91d Redis push в фоновом потоке (не блокирует ответ), v1.41 2026-06-17 22:43:56 +04:00
naeel 9bae90e9a0 сырой разбор JSON (regex, без get_json), v1.40 2026-06-17 22:34:36 +04:00
naeel 59f8ac3652 убраны ретраи, чистый XHR, v1.39 2026-06-17 22:33:12 +04:00
naeel 65c0c80687 Redis очередь: /upload → RPUSH → 200 сразу, воркер → DB + парсинг, v1.38 2026-06-17 22:28:10 +04:00
naeel 72a7ac4345 логи в памяти (не БД), /logs endpoint, v1.37 2026-06-17 22:18:07 +04:00
naeel 44ce0e09ab чистый pdfplumber (camelot/tabula дают мусор), v1.36 2026-06-17 22:09:26 +04:00
naeel a150d3f2a8 возврат к одному POST /upload + 3 повтора при ошибке, v1.35 2026-06-17 22:04:42 +04:00
naeel b0a1a82ec3 fix: лишние }); } в uploadFileChunked10k, v1.34 2026-06-17 21:57:20 +04:00
naeel 637fdce1bc чанки 10KB base64: /chunk_json + uploadFileChunked10k, v1.33 2026-06-17 21:52:50 +04:00
naeel f0c3d93599 пул maxconn 5→10, v1.32 2026-06-17 21:40:18 +04:00
naeel 6187e4dee8 camelot-py 2.0 (pdfium, без Ghostscript/OpenCV), v1.31 2026-06-17 21:31:37 +04:00
naeel e613716178 tabula-py вместо camelot и libreoffice, v1.30 2026-06-17 21:29:29 +04:00
naeel aae6ea2a88 PDF → libreoffice → DOCX таблицы, fallback pdfplumber, v1.29 2026-06-17 21:15:11 +04:00
naeel f7458da9ac camelot-py[cv] в requirements, v1.28 2026-06-17 21:04:44 +04:00
naeel 7e3ea4bc4d camelot для таблиц PDF (lattice+stream), fallback на pdfplumber, v1.27 2026-06-17 20:26:59 +04:00
naeel db8247448b v1.26 в шаблоне 2026-06-17 20:12:42 +04:00
naeel b742389a5a original_bytes DROP NOT NULL, v1.26 2026-06-17 20:08:25 +04:00
naeel 71d9512fd1 v1.25 в шаблоне 2026-06-17 20:01:11 +04:00
naeel 5ce38d0735 полный лог _upload_json: 12 шагов, v1.25 2026-06-17 19:51:33 +04:00
naeel c3232c43e7 лог upload_entry в _upload_json, v1.24.1 2026-06-17 19:50:31 +04:00
naeel 4480b24245 base64 как TEXT (без декодирования), original_b64 колонка, v1.24 2026-06-17 19:09:51 +04:00
naeel 05c41e8c4a upload: всегда одно соединение, убран if cid, v1.23 2026-06-17 18:58:43 +04:00
naeel 6585598fca пул: keepalive, проверка живости, min=2 max=5, reconnect, v1.22 2026-06-17 18:50:33 +04:00
naeel 5c0fb98955 base64 JSON загрузка вместо FormData/multipart — обход лимита Ingress, v1.21 2026-06-17 18:29:34 +04:00
naeel 2615e781ce пул соединений psycopg2 (min=1 max=3), db.put_conn вместо close, v1.20 2026-06-17 18:23:41 +04:00
naeel dfb9a4218b debug_log: таблица + логи на каждом шаге _chunk_upload, v1.19 2026-06-17 17:49:33 +04:00
naeel ba5933b715 одно DB-соединение на сборку чанков (вместо 7 отдельных), v1.18 2026-06-17 17:37:27 +04:00
naeel 0dac6bf37b чанки в БД (таблица chunks), убран _chunk_store в памяти, v1.17 2026-06-17 17:23:43 +04:00
naeel 87026a1fd8 чанковая загрузка 50KB, /chunk endpoint, v1.15 2026-06-17 16:34:27 +04:00
naeel 1714abf766 fix: Promise резолвился на прогрессе, contractId не ставился, v1.14 2026-06-17 12:47:59 +04:00
naeel 31fec1ca84 загрузка при выборе файла: прогресс, таймер, блокировка input, v1.13 2026-06-17 12:42:07 +04:00
naeel f66d188551 elements_json JSONB: структура документа в БД, PDF page, v1.12 2026-06-17 08:22:33 +04:00
naeel 30460cc78c ℹ первые строки таблиц в модалке, v1.11 2026-06-17 07:33:37 +04:00
naeel f627572abb ℹ модальное окно с деталями парсинга (параграфы, таблицы, ошибки, превью), v1.10 2026-06-17 07:19:38 +04:00
naeel 4474190cae мс вместо сек, идемпотентность (кнопка блокируется после успеха), v1.9 2026-06-17 07:14:17 +04:00
naeel e0c58fcbd0 fix: ZIP-счётчик только PDF/Word, expanded тоже пропускать при повторе, v1.8 2026-06-16 15:18:36 +04:00
naeel c710a2df7a fix: прогресс для файлов из ZIP (findRowByName), v1.7 2026-06-16 15:15:50 +04:00
naeel 64b2295d8c загрузка по одному файлу с XHR-прогрессом, ZIP-размеры, v1.6 2026-06-16 15:08:09 +04:00
naeel 435f617a25 ZIP: только PDF/Word, остальные пропускать, v1.5 2026-06-16 14:59:19 +04:00
naeel d5858d7836 ZIP: полные пути файлов (подпапки), v1.4 2026-06-16 14:57:19 +04:00
naeel 21f8c0b072 ZIP: распаковка и парсинг каждого файла внутри, v1.3 2026-06-16 14:56:12 +04:00
naeel 1f7c392934 v1.2 2026-06-16 14:50:50 +04:00
naeel 3cffca73b3 убрал LLM: только парсинг с интерактивным прогрессом в таблице 2026-06-16 14:49:52 +04:00
naeel 84ce99b189 v1.1 2026-06-16 14:37:08 +04:00
naeel fa4c7fe378 SSE-обработка: интерактивный прогресс с таймерами, итоги по времени/байтам 2026-06-16 14:34:00 +04:00
naeel daf58afa34 revert: восстановлен дизайн Nubes после Gemini 
Возвращены: логотип, favicon, v1.0, CSS-переменные, карточки,
топбар, таблицы, Lucide-иконки, двухшаговый процесс.
 2026-06-15 08:54:49 +04:00
naeel 07344482cd fix(ui): обычный form submit без JS submit() 
Форма теперь в DOM, кнопка type=submit.
JS только переносит файлы в скрытый input перед отправкой.
Браузер сам делает POST и следует редиректу.
 2026-06-15 07:51:14 +04:00
naeel 87114d701c feat(ui): версия v1.0 и таймер обработки 2026-06-15 07:42:58 +04:00
naeel fdd7d89ce5 fix: двухшаговый процесс — загрузка (быстро) → обработка (LLM) 
Шаг 1: POST / → сохранить файлы, парсинг → редирект на /?id=X
Шаг 2: POST /process/X → LLM extract + diff → редирект на /?id=X
Нет таймаута — загрузка мгновенная, LLM по отдельной кнопке.
 2026-06-15 07:41:13 +04:00
naeel 105459ef1a feat(ui): ZIP-превью — распаковка в браузере, показ содержимого 
- JSZip: при выборе ZIP показывает список файлов внутри
- 📦 ZIP-файл → ниже с отступом файлы из архива
- Дубликаты проверяются по всем именам (включая ZIP-содержимое)
- Красная корзина для удаления
 2026-06-15 07:34:13 +04:00
naeel 9899ede8c6 fix(app): полная перезапись — все шаги пайплайна + ZIP-обработка 
- ZIP: elements объединяются из всех файлов
- LLM: extractor.extract(text)
- diff: differ.diff(prev, rows)
- spec_rows + spec_history
- Без дубликатов, без replace_string_in_file
 2026-06-15 07:29:47 +04:00
naeel 7095d1201f fix: methods=[GET,POST], красная корзина, детект дубликатов 
- / принимает GET и POST (было только GET → 405 Method Not Allowed)
- Кнопка удаления: красная иконка trash-2
- Дубликаты: предупреждение + пометка в очереди
 2026-06-15 07:15:29 +04:00
naeel 17c4841acf fix(ui): очередь файлов — JS слой, обработка только по кнопке 
- Файлы добавляются в очередь при выборе (чистый JS, без сервера)
- Кнопка «Обработать» активна только когда есть файлы
- Скрытая форма отправляется ТОЛЬКО по нажатию кнопки
- Никакой авто-отправки, никакого LLM до нажатия
 2026-06-15 07:09:32 +04:00
naeel 4e714f5680 fix: форма без AJAX — обычный POST, сервер всё делает 
Убран JS fetch. Форма отправляется напрямую на сервер.
Сервер обрабатывает файлы и возвращает страницу с результатами.
Нет Failed to fetch.
 2026-06-15 07:00:44 +04:00
naeel 46b6bee913 fix: лого SVG, убран Добавить (onchange), create_contract возвращает id, JS без лишнего GET 2026-06-15 06:52:54 +04:00
naeel 4b68ad70c5 clean(differ): убран неиспользуемый ambiguous 2026-06-15 06:46:10 +04:00
naeel b3d28bbd38 clean: удалён мёртвый style.css (весь CSS встроен в upload.html) 2026-06-15 06:45:28 +04:00
naeel a1339887fc clean: _guess_mime → общий mimeutil.py (убраны дубликаты) 2026-06-15 06:45:16 +04:00
naeel 8fc4d6a15a clean(app): убран дубликат if __name__, мёртвый _index(), неиспользуемые импорты 2026-06-15 06:43:38 +04:00
naeel 745d83962e fix(ui): убраны дубликаты старого шаблона (replace склеил две версии) 2026-06-15 06:41:13 +04:00
naeel cb92f9072e fix(ui): корень /, лого Nubes + favicon, убраны поля номера/клиента/даты 
- Страница перенесена с /upload на / (корень)
- Верхняя панель с логотипом Nubes (nubes-logo.svg)
- favicon.png из ipwhitelist-app
- Поля номера/клиента/даты убраны — договор создаётся авто
- Исправлен JS (относительные URL)
 2026-06-15 06:35:02 +04:00
naeel a2affd5be2 fix(ui): двухшаговый UI — очередь файлов → кнопка Обработать 
Шаг 1: добавить файлы в очередь (можно несколько)
Шаг 2: нажать «Обработать все файлы»
Прогресс-бар, результаты по каждому файлу, таблица строк.
 2026-06-15 06:18:29 +04:00
naeel 54d9924c04 feat(ui): страница загрузки договора /upload 
Дизайн: Nubes Design System (карточки, форма, таблица).
Lucide Icons. drag&drop файла docx/pdf/zip.
Пайплайн: создание договора → загрузка допника → таблица строк.
 2026-06-15 06:15:12 +04:00
naeel 3912dff112 fix(llm): verify=False — сертификат aillm.ru истёк Jun 14 07:00 GMT 
notAfter=Jun 14 07:00:43 2026 GMT (сегодня утром)
 2026-06-14 17:13:12 +04:00
naeel cb7a729df7 feat(api): api.py Blueprint — договоры, допники, история 
POST /api/contracts          — создать договор
GET  /api/contracts          — список
GET  /api/contracts/<id>     — договор + допники
POST /api/contracts/<id>/supplements  — загрузить допник (полный пайплайн)
GET  /api/contracts/<id>/history      — история изменений

Пайплайн допника: upload→parse→textify→extract→diff→spec_rows→spec_history
 2026-06-14 17:02:31 +04:00
naeel f40792c523 feat(differ): differ.py — сравнение строк между допниками 
diff(rows_old, rows_new) → {changes, ambiguous, summary}
change_type: added | deleted | changed | unchanged
changed_fields: только изменённые поля {old, new}
 2026-06-14 14:27:36 +04:00
naeel 37894ebd08 feat(test): action 'extract' — извлечение строк спецификации через LLM 2026-06-14 08:06:24 +04:00
naeel 33542d3649 feat(extractor): extractor.py — извлечение строк спецификации через LLM 2026-06-14 08:06:01 +04:00
naeel 04daa35b56 debug: показываем середину ключа для поиска опечаток 2026-06-14 07:58:18 +04:00
naeel 667cd0c306 debug: расширенный вывод в /test debug (hash + края ключа) 2026-06-14 07:57:06 +04:00
naeel 5dd06c6dce Revert "fix(llm): DeepSeek напрямую (api.deepseek.com) вместо LiteLLM" 
This reverts commit b6492f2241.
 2026-06-14 07:53:53 +04:00
naeel b6492f2241 fix(llm): DeepSeek напрямую (api.deepseek.com) вместо LiteLLM 
LiteLLM не видит токены (token_not_found_in_db).
DeepSeek напрямую работает с ключом sk-78ec52... без HTTP/2 проблем.
 2026-06-14 07:53:24 +04:00
naeel 14c8984ed2 debug(llm): показать HTTP-версию в ошибке 2026-06-14 07:51:06 +04:00
naeel 8cb7139924 fix(llm): httpx + h2 раздельно в requirements 
httpx[http2] мог не парситься платформой. httpx и h2 отдельными строками.
 2026-06-14 07:45:15 +04:00
naeel a684d51169 fix(llm): h2+socket вместо curl — HTTP/2 на чистом Python 
h2 — pure Python, ставится без компиляции в slim-контейнерах.
ssl.create_default_context() + ALPN h2 + h2.connection.H2Connection.
 2026-06-14 07:44:21 +04:00
naeel 099edbcb61 fix(llm): curl --http2 вместо httpx 
httpx требует h2, который не ставится в облаке.
curl есть везде и гарантированно держит HTTP/2.
subprocess.run(['curl','-s','--http2',...])
 2026-06-14 07:40:12 +04:00
naeel b457de4bb3 debug: проверка h2/httpx в /test debug 2026-06-14 07:39:02 +04:00
naeel c97f26d04d fix: h2 явно в requirements (httpx без h2 молча падает на HTTP/1.1) 2026-06-14 07:36:11 +04:00