Commit Graph
28 Commits
Author SHA1 Message Date
“Naeel” 1509eeb989 v0.0.61: параллельность убрана — .doc через liberta последовательно (liberta не тянет конкурентность, javaldx), LLM _LLM_CONCURRENCY=1
Deploy drhider / validate (push) Canceled after 0s
2026-08-23 12:02:32 +03:00
“Naeel” a9d4139afb v0.0.57: LLM обрабатывает ВСЕ данные — пофайловый чанкинг (6000/overlap 500), параллельность 4, дедуп+верификация против полного текста
Deploy drhider / validate (push) Canceled after 0s
2026-08-20 10:01:01 +03:00
“Naeel” 670f533f48 v0.0.56: КРИТИЧНО — mapping.csv (ключ расшифровки) убран из выходного ZIP, CSV только отдельно
Deploy drhider / validate (push) Canceled after 0s
2026-08-20 09:38:28 +03:00
“Naeel” dfa325a5c5 v0.0.55: A1 threading для .doc (liberta), A2 кэш compiled regex — безопасное ускорение
Deploy drhider / validate (push) Canceled after 0s
2026-08-20 09:20:30 +03:00
“Naeel” 59a1924bd0 v0.0.54: В2 фикс кракозябр имён zip (utf-8+валидация→cp866), В1 фильтр таблиц (безопасен, эффект≈0)
Deploy drhider / validate (push) Canceled after 0s
2026-08-20 09:10:16 +03:00
“Naeel” fe7c238c0b v0.0.53: устойчивость к битым файлам — воркер не падает, битые пропускаются, остальные обрабатываются
Deploy drhider / validate (push) Canceled after 0s
2026-08-20 08:30:30 +03:00
“Naeel” 0453827b8b v0.0.41: время на конкретный файл в колонке Статус (бэк считает, без общего LLM)
Deploy drhider / validate (push) Canceled after 0s
2026-08-19 13:46:00 +04:00
“Naeel” 020f9d43c6 v0.0.40: имя файла в live-блоке + сброс старых итогов при повторной обфускации
Deploy drhider / validate (push) Canceled after 0s
2026-08-19 13:36:12 +04:00
“Naeel” bc09ada90e v0.0.39: оптимизация apply_replacements — однопроходная замена вместо N×re.sub (ускорение в разы)
Deploy drhider / validate (push) Canceled after 0s
2026-08-19 09:47:16 +04:00
“Naeel” e548c89880 v0.0.38: живой таймер обработки + индикация ИИ (live-блок, heartbeat llm в SSE)
Deploy drhider / validate (push) Canceled after 0s
2026-08-19 09:25:01 +04:00
“Naeel” 02d9592eb5 v0.0.34: вывод токенов и времени LLM в UI (суммарно за прогон)
Deploy drhider / validate (push) Canceled after 0s
2026-08-19 09:00:40 +04:00
“Naeel” 94e588aaba v0.0.32: фиксы по ревью — единый обфускатор, рекурсия ZIP, кириллица 1С, дедуп, SSE-дисконнект
Deploy drhider / validate (push) Canceled after 0s
2026-08-18 23:03:31 +04:00
“Naeel” cb6274a887 fix: .doc теперь обрабатывается (обфускация + md в архиве) 2026-07-16 12:16:54 +04:00
“Naeel” 87a6df45c5 v0.0.30: .doc поддержка — accept + liberta API вместо LibreOffice 2026-07-16 11:28:16 +04:00
“Naeel” 00d54dbfb6 feat: поддержка .doc через LibreOffice headless
- extractor.py: добавлена doc_to_markdown() — .doc → .docx (soffice) → docx_to_markdown()
- Dockerfile: apt install libreoffice-writer
- ARCHITECTURE.md: обновлён статус .doc
- bump: 0.0.16 → 0.0.17
2026-07-14 07:21:39 +04:00
“Naeel” f9b88cbf93 v0.0.15: fix _md_tolerant_pattern — всегда, не только при промахе 2026-07-13 17:18:00 +04:00
“Naeel” a56a819329 v0.0.14: MSK time (UTC+3) — ZIP entries + download filenames 2026-07-13 17:05:16 +04:00
“Naeel” f3c854c5fb v0.0.13: fix Markdown-bold splitting + \xa0 in PERSON_PATTERN 2026-07-13 13:18:10 +04:00
“Naeel” 370a869aef v5.0.0: гибридные токены (Иванов_0001, ООО_Технология_0034), удалены generators/, checksum, random_utils 2026-07-12 14:30:12 +04:00
“Naeel” f15af2866d fix: дата/время файлов в ZIP (time.localtime), bump 3.2.3 2026-07-12 13:07:07 +04:00
“Naeel” 3d55562f02 fix: безопасный re.match в генераторах + сброс fileInput при загрузке страницы 2026-07-12 12:54:40 +04:00
“Naeel” 5c426cb037 v3.2.0: новый LLM-промпт (STEP 1/2, фикс. типы, NOT PII, already_found), убран хардкод НУБЕС 2026-07-12 11:11:43 +04:00
“Naeel” f5427b0db7 replacer.py: удалён replace_in_text (заменён на apply_replacements напрямую) 2026-07-12 09:14:22 +04:00
“Naeel” af2f2a9f71 extractor.py → MD-пайплайн (docx_to_markdown, pdf_to_markdown), obfuscator.py — новый пайплайн без docx-объектов 2026-07-12 09:13:47 +04:00
“Naeel” 2ceeb05a8b scanner.py: универсальный LLM-промпт (LLM сама определяет типы) + fallback-генератор 2026-07-12 09:11:29 +04:00
“Naeel” 579f9c8334 generators: fallback.py — character-class preserving для неизвестных типов 2026-07-12 09:09:54 +04:00
“Naeel” 2cf4e08100 Фаза 2: llm_client.py, extractor.py, scanner.py, replacer.py, builder.py, obfuscator.py, __init__.py 2026-07-12 08:24:33 +04:00
“Naeel” 37581eb601 Фаза 2: config.py, checksum.py, random_utils.py, generators/ (11 модулей) 2026-07-12 08:22:20 +04:00