docs: сортировка History по темам (sonnet, opus, llm, sse, ux-frontend, upload, infra, plans, tests, base, code-fixes)

2026-08-24 15:23:31 +03:00
parent 25e4b46e76
commit db7cdbdd84
69 changed files with 0 additions and 0 deletions
@@ -0,0 +1,145 @@
+# DrHider — Полный аудит и план рефакторинга
+
+**Дата:** 2026-07-12
+**Платформа:** Штурвал (Managed Flask) — запускает Flask сам, без Dockerfile/gunicorn
+**URL:** https://drhider.pythonk8s.dev.nubes.ru/
+**Репозиторий:** https://gitea.services.ngcloud.ru/Nail/drhider
+
+---
+
+## Текущее состояние (аудит каждого файла)
+
+| Файл | Статус | Решение |
+|---|---|---|
+| `Dockerfile` | ❌ НЕ НУЖЕН | Штурвал сам запускает Flask. Удалить. |
+| `drhider_server.py` | ❌ НЕ НУЖЕН | Standalone-сервер с ВМ (:8767). Flask app.py уже обрабатывает /api/drhider. Удалить. |
+| `requirements.txt` | ⚠️ Нужны правки | Убрать `gunicorn` и `gevent`. Оставить `flask`, `python-docx`, `pdfplumber`, `httpx`. |
+| `.gitignore` | ✅ OK | Без изменений. |
+| `.gitea/workflows/deploy.yaml` | ✅ OK | CI для Штурвала. |
+| `site/app.py` | ⚠️ Нужны правки | Удалить блок `if __name__ == "__main__"` (gunicorn). При рефакторинге — вынести LLMClient. |
+| `site/templates/index.html` | ✅ OK | UI. |
+| `site/static/favicon.svg` | ✅ OK | Иконка (из loadtest). |
+| `drhider.py` | ⚠️ МОНОЛИТ | 560 строк. Разбить на ~20 модулей. |
+| `History/` | ✅ OK | Документация. |
+
+---
+
+## План рефакторинга (Фаза 1: удаление лишнего)
+
+### Шаг 1.1 — Удалить `Dockerfile`
+### Шаг 1.2 — Удалить `drhider_server.py`
+### Шаг 1.3 — Исправить `requirements.txt` (убрать gunicorn, gevent)
+### Шаг 1.4 — Исправить `site/app.py` (убрать блок `if __name__ == "__main__"`)
+### Шаг 1.5 — Проверить синтаксис → commit → push
+
+---
+
+## План рефакторинга (Фаза 2: модульная структура)
+
+### Новая структура `drhider/` пакета (вместо `drhider.py` 560 строк):
+
+```
+drhider/                          # Пакет ядра обфускации
+├── __init__.py                   # re-export: obfuscate_files()
+├── config.py                     # Константы: ENTITY_PATTERNS, COMPANY_PATTERN, PERSON_PATTERN,
+│                                  #   RU_SURNAMES, RU_NAMES, RU_PATRONYMICS,
+│                                  #   RU_CITIES, RU_STREETS, FAKE_DOMAINS
+├── checksum.py                   # _checksum_inn10, _checksum_inn12, _checksum_ogrn
+├── random_utils.py               # _random_digits, _random_letters
+├── generators/                   # Генераторы фиктивных значений
+│   ├── __init__.py               # ENTITY_GENERATORS маппинг
+│   ├── phone.py                  # generate_phone
+│   ├── email.py                  # generate_email
+│   ├── inn.py                    # generate_inn10, generate_inn12
+│   ├── ogrn.py                   # generate_ogrn
+│   ├── kpp.py                    # generate_kpp
+│   ├── bik.py                    # generate_bik
+│   ├── accounts.py               # generate_rs, generate_ks
+│   ├── passport.py               # generate_passport
+│   ├── company.py                # generate_company
+│   ├── person.py                 # generate_person
+│   └── address.py                # generate_address
+├── extractor.py                  # _extract_text, _expand_zips, _convert_pdfs_to_docx
+├── scanner.py                    # Проход 1: _scan_regex, _scan_llm_ner
+├── replacer.py                   # Проход 2: _replace_in_docx, _replace_in_text, _apply_replacements
+├── builder.py                    # Сборка: _build_zip, _build_mapping_csv
+├── obfuscator.py                 # TwoPassObfuscator — оркестратор
+└── llm_client.py                 # LLMClient (из app.py → сюда)
+
+site/                             # Flask-приложение
+├── __init__.py
+├── app.py                        # Только create_app() + регистрация blueprint'ов
+├── routes/
+│   ├── __init__.py               # Регистрация всех blueprint'ов
+│   ├── main_bp.py                # GET /
+│   ├── health_bp.py              # GET /health
+│   └── api_bp.py                 # POST /api/drhider
+├── templates/index.html
+└── static/favicon.svg
+```
+
+### Принципы:
+- Каждый файл ≤ 50 строк (где возможно)
+- Каждый файл — одна ответственность
+- Максимум docstring и инлайн-комментариев
+- Все импорты явные, никаких `import *`
+
+---
+
+## Результат рефакторинга (2026-07-12)
+
+### Итоговая структура
+
+```
+drhider/                              # Пакет ядра обфускации
+├── __init__.py                       # re-export: obfuscate_files, LLMClient, TwoPassObfuscator
+├── config.py                         # Константы: ENTITY_PATTERNS, словари имён/городов/улиц
+├── checksum.py                       # Контрольные суммы: ИНН10, ИНН12, ОГРН
+├── random_utils.py                   # Утилиты: random_digits, random_letters
+├── llm_client.py                     # LLMClient — HTTP-клиент к LLM API
+├── extractor.py                      # Извлечение текста + expand_zips + convert_pdfs_to_docx
+├── scanner.py                        # Проход 1: scan_regex, scan_llm_ner
+├── replacer.py                       # Проход 2: apply_replacements, replace_in_docx, replace_in_text
+├── builder.py                        # Сборка: build_zip, build_mapping_csv
+├── obfuscator.py                     # TwoPassObfuscator — оркестратор
+└── generators/                       # Генераторы фиктивных значений
+    ├── __init__.py                   # ENTITY_GENERATORS маппинг
+    ├── phone.py, email.py            # Телефон, email
+    ├── inn.py, ogrn.py, kpp.py       # ИНН, ОГРН, КПП
+    ├── bik.py, accounts.py           # БИК, счета (р/с, к/с)
+    ├── passport.py                   # Паспорт
+    ├── company.py, person.py         # Компания, ФИО
+    └── address.py                    # Адрес
+
+site/                                 # Flask-приложение
+├── app.py                            # create_app() + VERSION (20 строк)
+├── routes/
+│   ├── __init__.py                   # register_routes()
+│   ├── main_bp.py                    # GET /
+│   ├── health_bp.py                  # GET /health
+│   └── api_bp.py                     # POST /api/drhider
+├── templates/index.html
+└── static/favicon.svg
+```
+
+### Что изменилось
+
+| Было | Стало |
+|---|---|
+| `drhider.py` — 560 строк монолит | Пакет `drhider/` — 22 модуля по 20–100 строк |
+| `site/app.py` — 100 строк (всё в одном файле) | `app.py` 33 строки + 3 blueprint'а по 20–50 строк |
+| `Dockerfile` | Удалён (Штурвал сам) |
+| `drhider_server.py` | Удалён (Flask заменяет) |
+
+### Коммиты
+
+- `a2f754a` — Фаза 1: удалён Dockerfile, drhider_server.py, gunicorn
+- `37581eb` — Фаза 2: config.py, checksum.py, random_utils.py, generators/
+- `2cf4e08` — Фаза 2: llm_client.py, extractor.py, scanner.py, replacer.py, builder.py, obfuscator.py
+- `51bc1a7` — Фаза 2: site/app.py → blueprint'ы, старый drhider.py удалён
+
+| Переменная | Значение |
+|---|---|
+| `LLM_API_KEY` | `sk-ucI5YvOticoOQ9Kuj5K9mQ` |
+| `LLM_URL` | `https://api.aillm.ru/v1/chat/completions` |
+| `LLM_MODEL` | `gpt-oss-120b` |