этап 2: переиспользуемый модуль upload (sink) вместо рукописного транспорта

- копирую модуль upload/ из drhider (слои 1-2) - blueprint: параметр sink (drhider-сессия по умолчанию, сверка — DB+парсинг) - upload_bp: contracts_upload_sink = _store_and_parse - routes: регистрирую create_upload_refs_blueprint(cfg, sink=...) - app.py: корень репо в sys.path (для import upload) - History: план переиспользования + ревью Соннета
2026-08-26 08:07:43 +03:00
parent 55bd7a027d
commit db58a433fb
46 changed files with 1986 additions and 27 deletions
@@ -0,0 +1,22 @@
+// decodeZipName — декодирование имени из ZIP: UTF-8-флаг / эвристика (UTF-8 → CP437 → CP866).
+
+export function decodeZipName(bytes, isUtf8) {
+  if (isUtf8) return new TextDecoder('utf-8').decode(bytes);
+  // Многие архиваторы пишут имя в UTF-8, но НЕ выставляют UTF-8-флаг (bit 11).
+  // Сначала строго пробуем UTF-8: если байты — валидный UTF-8 с кириллицей/текстом,
+  // берём их как есть (иначе декодирование CP437→CP866 превратит их в «╨╣…»-мусор).
+  try {
+    const s = new TextDecoder('utf-8', { fatal: true }).decode(bytes);
+    // Кириллица — точно UTF-8; либо чистый печатаемый текст без управляющих символов.
+    if (/[\u0400-\u04FF]/.test(s) || !/[^\u0020-\u007e]/.test(s)) return s;
+  } catch (e) { /* не UTF-8 — legacy (CP437/CP866) */ }
+  let name;
+  try { name = new TextDecoder('ibm437').decode(bytes); }
+  catch (e) { name = new TextDecoder('utf-8').decode(bytes); }
+  // Кириллица из 1С (CP866) — перекодировать, если имя пришло как CP437-мусор
+  if (/[^\x00-\x7f]/.test(name)) {
+    try { name = new TextDecoder('ibm866').decode(bytes); }
+    catch (e) { /* оставить как есть */ }
+  }
+  return name;
+}
@@ -0,0 +1,11 @@
+// dosToMs — преобразование DOS-даты/времени (ZIP) в миллисекунды (unix epoch).
+
+export function dosToMs(date, time) {
+  const year = 1980 + ((date >> 9) & 0x7f);
+  const month = (date >> 5) & 0x0f;
+  const day = date & 0x1f;
+  const hour = (time >> 11) & 0x1f;
+  const min = (time >> 5) & 0x3f;
+  const sec = (time & 0x1f) * 2;
+  return new Date(year, month - 1, day, hour, min, sec).getTime();
+}
@@ -0,0 +1,8 @@
+// inflateRaw — распаковка deflate-raw (метод 8) через нативный DecompressionStream.
+
+export async function inflateRaw(bytes) {
+  const ds = new DecompressionStream('deflate-raw');
+  const stream = new Blob([bytes]).stream().pipeThrough(ds);
+  const ab = await new Response(stream).arrayBuffer();
+  return new Uint8Array(ab);
+}
@@ -0,0 +1,22 @@
+// listZipFiles — рекурсивно достать из ZIP только документы (вложенные zip — разворачиваются).
+
+import { parseZip } from './parse_zip.js';
+
+export async function listZipFiles(file, allowedExt) {
+  const buf = new Uint8Array(await file.arrayBuffer());
+  const entries = await parseZip(buf);
+  const out = [];
+  // Из ZIP вытаскиваем только документы. Всё прочее (изображения и т.п.) пропускаем.
+  for (const e of entries) {
+    if (e.isDir) continue;
+    const low = e.name.toLowerCase();
+    if (low.endsWith('.zip')) {
+      const sub = new File([e.data], e.name, { lastModified: e.dosMs });
+      out.push(...(await listZipFiles(sub, allowedExt)));
+    } else if (allowedExt.some(ext => low.endsWith(ext))) {
+      out.push(new File([e.data], e.name, { lastModified: e.dosMs }));
+    }
+    // иначе — не документ, пропускаем
+  }
+  return out;
+}
@@ -0,0 +1,50 @@
+// parseZip — разбор ZIP: центральный каталог → записи {name, data, dosMs, isDir}.
+// Поддерживаются методы 0 (store) и 8 (deflate). Без внешних библиотек.
+
+import { decodeZipName } from './decode_zip_name.js';
+import { inflateRaw } from './inflate_raw.js';
+import { dosToMs } from './dos_to_ms.js';
+
+export async function parseZip(buf) {
+  const dv = new DataView(buf.buffer, buf.byteOffset, buf.byteLength);
+  let eocd = -1;
+  for (let i = buf.length - 22; i >= 0; i--) {
+    if (dv.getUint32(i, true) === 0x06054b50) { eocd = i; break; }
+  }
+  if (eocd < 0) throw new Error('Не ZIP');
+  const cdSize = dv.getUint32(eocd + 12, true);
+  const cdOffset = dv.getUint32(eocd + 16, true);
+
+  const entries = [];
+  let pos = cdOffset;
+  const cdEnd = cdOffset + cdSize;
+  while (pos < cdEnd) {
+    if (dv.getUint32(pos, true) !== 0x02014b50) break;
+    const flags = dv.getUint16(pos + 8, true);
+    const method = dv.getUint16(pos + 10, true);
+    const modTime = dv.getUint16(pos + 12, true);
+    const modDate = dv.getUint16(pos + 14, true);
+    const compSize = dv.getUint32(pos + 20, true);
+    const nameLen = dv.getUint16(pos + 28, true);
+    const extraLen = dv.getUint16(pos + 30, true);
+    const commentLen = dv.getUint16(pos + 32, true);
+    const localOffset = dv.getUint32(pos + 42, true);
+
+    const nameBytes = buf.slice(pos + 46, pos + 46 + nameLen);
+    const name = decodeZipName(nameBytes, (flags & 0x800) !== 0);
+
+    const lhNameLen = dv.getUint16(localOffset + 26, true);
+    const lhExtraLen = dv.getUint16(localOffset + 28, true);
+    const dataStart = localOffset + 30 + lhNameLen + lhExtraLen;
+    const comp = buf.slice(dataStart, dataStart + compSize);
+
+    let data;
+    if (method === 0) data = comp;
+    else if (method === 8) data = await inflateRaw(comp);
+    else throw new Error('Метод сжатия ' + method + ' не поддерживается');
+
+    entries.push({ name, data, dosMs: dosToMs(modDate, modTime), isDir: name.endsWith('/') });
+    pos += 46 + nameLen + extraLen + commentLen;
+  }
+  return entries;
+}