+
📌 Что делает
+
Обезличивает документы перед загрузкой в сервис сверки договоров. Заменяет персональные данные, реквизиты компаний, телефоны, email и другие чувствительные данные на фиктивные, но реалистичные значения. Одна и та же сущность во всех файлах заменяется одинаково — можно сопоставлять документы между собой.
+
+
⚙️ Как работает
+
+ - Два прохода: сначала сбор всех сущностей из всех файлов → построение единого словаря замен → применение замен.
+ - Всё в памяти: файлы не записываются на диск и не сохраняются в базе. После обработки данные удаляются.
+ - mapping.csv — внутри ZIP лежит таблица «тип → оригинал → замена» для аудита.
+
+
+
✅ Что распознаётся и заменяется
+
+ - 📞 Телефоны (+7, 8-800, ...)
+ - 📧 Email-адреса
+ - 🏢 Компании: ООО, ЗАО, АО, ПАО, ИП, ТОО (включая юникод-кавычки «» и "")
+ - 👤 ФИО (кириллица): Иванов А.П., Петрова Мария Сергеевна
+ - 🔢 Реквизиты: ИНН (10/12), ОГРН, КПП, БИК
+ - 💳 Банковские счета: р/с, кор/сч, корреспондентский счёт
+ - 📄 Паспортные данные: серия + номер
+
+
+
🧠 LLM-NER (нейросеть)
+
Для поиска имён, названий компаний и адресов, которые не попадают под регулярные выражения, используется языковая модель. Работает не мгновенно — для больших документов добавляет 5–30 секунд.
+
+
✅ Форматы файлов
+
+ - .docx — полная замена с сохранением структуры документа. ⚠️ Форматирование (жирный, курсив) заменённых фрагментов может сброситься.
+ - .pdf — текст извлекается и обфусцируется. Результат:
.txt. Форматирование, таблицы и графика не сохраняются.
+ - .doc — бинарный формат, не обфусцируется. Файл возвращается как есть. Конвертируйте в .docx перед загрузкой.
+ - .zip — автоматически распаковывается, все файлы внутри обрабатываются.
+
+
+
⚠️ Ограничения и возможные ошибки
+
+ Ложные пропуски: сущность может быть не найдена, если она записана в нестандартном формате (например, телефон через точку: +7.495.123.44.55).
+
+
+ Ложные срабатывания: короткие слова (например, фамилия «Иванов») могут быть заменены внутри更长ших слов («Ивановский» → ...ский). Минимизировано, но не исключено полностью.
+
+
+ .doc не обрабатывается: старые Word-файлы возвращаются без изменений.
+
+
+ PDF → текст: таблицы, графика и форматирование теряются.
+
+
+ Сканы/изображения: текст на картинках не распознаётся (нет OCR).
+
+
+
🔒 Приватность
+
+ - Файлы не покидают сервер Nubes.
+ - Ничего не записывается в базу данных.
+ - После отправки ZIP-архива все данные в памяти удаляются.
+
+
+
📊 mapping.csv
+
В выходном ZIP всегда есть файл mapping.csv с колонками: тип_данных, оригинал, замена. Позволяет при необходимости восстановить исходные значения (храните этот файл отдельно и безопасно).
+