📌 Что делает
Обезличивает документы перед загрузкой в сервис сверки договоров. Заменяет персональные данные, реквизиты компаний, телефоны, email и другие чувствительные данные на фиктивные, но реалистичные значения. Одна и та же сущность во всех файлах заменяется одинаково — можно сопоставлять документы между собой.
⚙️ Как работает
- Два прохода: сначала сбор всех сущностей из всех файлов → построение единого словаря замен → применение замен.
- Всё в памяти: файлы не записываются на диск и не сохраняются в базе. После обработки данные удаляются.
- mapping.csv — внутри ZIP лежит таблица «тип → оригинал → замена» для аудита.
✅ Что распознаётся и заменяется
- 📞 Телефоны (+7, 8-800, ...)
- 📧 Email-адреса
- 🏢 Компании: ООО, ЗАО, АО, ПАО, ИП, ТОО (включая юникод-кавычки «» и "")
- 👤 ФИО (кириллица): Иванов А.П., Петрова Мария Сергеевна
- 🔢 Реквизиты: ИНН (10/12), ОГРН, КПП, БИК
- 💳 Банковские счета: р/с, кор/сч, корреспондентский счёт
- 📄 Паспортные данные: серия + номер
🧠 LLM-NER (нейросеть)
Для поиска имён, названий компаний и адресов, которые не попадают под регулярные выражения, используется языковая модель. Работает не мгновенно — для больших документов добавляет 5–30 секунд.
✅ Форматы файлов
- .docx — полная замена с сохранением структуры документа. ⚠️ Форматирование (жирный, курсив) заменённых фрагментов может сброситься.
- .pdf — конвертируется в .docx (через LibreOffice), затем обфусцируется с сохранением форматирования. При совпадении имён с существующим .docx добавляется суффикс
_из_pdf.
- .doc — бинарный формат, не обфусцируется. Файл возвращается как есть. Конвертируйте в .docx перед загрузкой.
- .zip — автоматически распаковывается, все файлы внутри обрабатываются.
⚠️ Ограничения и возможные ошибки
Ложные пропуски: сущность может быть не найдена, если она записана в нестандартном формате (например, телефон через точку: +7.495.123.44.55).
Ложные срабатывания: короткие слова (например, фамилия «Иванов») могут быть заменены внутри более длинных слов («Ивановский» → ...ский). Минимизировано, но не исключено полностью.
.doc не обрабатывается: старые Word-файлы возвращаются без изменений.
PDF → DOCX: конвертация через LibreOffice может незначительно изменить форматирование сложных PDF.
Сканы/изображения: текст на картинках не распознаётся (нет OCR).
🔒 Приватность
- Файлы не покидают сервер Nubes.
- Ничего не записывается в базу данных.
- После отправки ZIP-архива все данные в памяти удаляются.
📊 mapping.csv
В выходном ZIP всегда есть файл mapping.csv с колонками: тип_данных, оригинал, замена. Позволяет при необходимости восстановить исходные значения (храните этот файл отдельно и безопасно).