fission-console/LLM/LLM_PROMPT_TRAINING_2026-04-28.md

# LLM Prompt Training Log

Дата: 2026-04-28
Цель: довести универсальный промпт для генерации кода функций до состояния, при котором сгенерированный код проходит синтаксическую проверку и проверку смысла "LLM что делает" на всех языках, с учетом кривых пользовательских условий.

## Правило цикла
1. Составить человеческую задачу для LLM.
2. Получить сгенерированный код.
3. Прогнать код через линтер / syntax check.
4. Прогнать проверку "LLM что делает".
5. Зафиксировать результат в этом файле.
6. Исправить промпт.
7. Повторить на новых задачах и новых языках.

## Цели промпта
- Пользователь может давать неточные, неполные или кривые условия.
- LLM должна уточнять или нормализовать задачу внутри ответа.
- LLM должна возвращать код функции, который соответствует реальному runtime-контуру.
- Сгенерированный код должен быть проверяемым линтером.
- Сгенерированный код должен проходить семантическую проверку "LLM что делает".
- Промпт должен работать на всех поддерживаемых языках.

## Критерии успеха
- Код валиден по синтаксису.
- Код соответствует ожидаемому entrypoint/handler контракту.
- Код не содержит лишнего wrapper-кода, если он не нужен для пользовательского артефакта.
- Ответ LLM объясняет, что делает код.
- Ответ LLM не выдумывает поведение, которого нет в коде.
- На негативных примерах LLM не маскирует ошибки.

## Языки для прогона
- Node.js
- Python
- PHP
- Ruby
- Go

## Формат записи по каждому циклу
- Дата и номер итерации.
- Исходный промпт.
- Набор задач.
- Что сгенерировала LLM.
- Результат линтера.
- Результат проверки "LLM что делает".
- Что сломалось.
- Что изменено в промпте.
- Результат следующего прогона.

## Текущий статус
- Базовая структура журнала создана.
- Следующий шаг: сформировать первый универсальный промпт и прогнать по языкам на множестве задач.

## Итерация 1

### Промпт
- Набор прямых задач на генерацию кода по языкам.
- Требование: код + краткое объяснение.

### Прогон
- Node.js, Python, PHP, Ruby, Go.

### Результат
- Все сгенерированные куски кода прошли syntax/lint check.
- Объяснение присутствовало во всех ответах, но формат заголовка плавал: `**Explanation**`, `**Что делает код**`, `**LLM**`, `**LLM:**`.
- Node.js ответ был runtime-safe в синтаксическом смысле, но prompt ещё не фиксировал достаточно жёстко формат блока объяснения.
- PHP/Ruby ответы местами использовали более свободные runtime-объяснения, чем хотелось бы для единого шаблона.

### Вывод
- Нужен более жёсткий универсальный промпт: точный заголовок блока объяснения, явный запрет на выдуманные SDK/контракты, более тесная привязка к runtime.

### Что изменено в промпте после итерации 1
- Зафиксирован точный заголовок `LLM что делает`.
- Добавлены явные ограничения по runtime-контракту.

## Итерация 8

### Промпт
- Строгий формат ответа сохранился.
- Добавлены более разнообразные задачи: greeting и sum numbers.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- Все четыре языка стабильно выдавали синтаксически корректный код и проходили lint.
- Node.js держит exact heading `LLM что делает` и на greeting, и на sum numbers.
- Python и Ruby также стабильно соблюдают exact heading и fenced code block.
- PHP на части mixed-case ответов всё ещё иногда отдаёт нестандартный заголовок вроде `LLM greeting handler` или `LLM what does`, хотя код и lint проходят.

### Вывод
- Prompt уже достаточно силён для кода и линтера на всех поддерживаемых языках.
- Главная остаточная проблема — полная фиксация заголовка explanation в PHP во всех разновидностях задач.
- Для следующей правки стоит ещё сильнее зажать именно PHP‑формат ответа либо принять это как локальную особенность модели.
- Добавлены запреты на выдуманные SDK, фреймворки и wrapper-код.

## Итерация 2

### Промпт
- Универсальный prompt с акцентом на broken user input, runtime contract и точный раздел `LLM что делает`.
- Go исключён из цикла по явному указанию пользователя.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- На первом проходе Node.js с более тяжёлой формулировкой давал `HTTP 400 invalid JSON: unexpected EOF` от AI endpoint.
- После упрощения Node.js запроса он стал проходить syntax/lint check.
- Python, PHP, Ruby прошли syntax/lint check.
- Во всех ответах explanation был, но заголовок снова не совпал с точным `LLM что делает`; LLM использовала варианты `**LLM:**`, `**Explanation**` и похожие.

### Вывод
- Главная оставшаяся проблема — формат блока объяснения.
- Для следующей итерации нужен ещё более жёсткий формат ответа: literal heading без markdown-обёрток и без альтернативных названий.

### Что изменено в промпте после итерации 2
- Усилен запрет на альтернативные заголовки блока объяснения.
- Добавлено требование, чтобы первая строка раздела была ровно `LLM что делает`.
- Уточнено, что после заголовка должны идти только короткие пункты.

## Итерация 3

### Промпт
- Универсальный prompt с фиксированным разделом `LLM что делает`.
- Кривые и разнотипные пользовательские задачи: приветствие, сумма чисел, default fallback, missing fields.
- Go уже исключён из цикла.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- Python, PHP и Ruby стабильно вернули синтаксически корректный код.
- Node.js дважды отвалился на уровне AI endpoint с `HTTP 400 invalid JSON: unexpected EOF` до получения ответа.
- Для Python/PHP/Ruby explanation присутствовал, но часть ответов оборачивала пояснение в markdown или использовала нестандартную форму заголовка, из-за чего точный парсинг блока `LLM что делает` был нестабилен.
- Линтер везде, где код был получен, показал `✅ Синтаксис корректен.`

### Вывод
- Prompt уже близок к рабочему, но ещё не дожат по формату блока объяснения.
- Нужна ещё более жёсткая инструкция: explanation без markdown-обёрток, ровно один заголовок, затем только пункты.
- Node.js-case надо формулировать проще, иначе AI endpoint иногда вообще не возвращает JSON-ответ.

### Что изменено в промпте после итерации 3
- Уточнено, что раздел `LLM что делает` должен идти без `**`, без code fences и без альтернативных названий.
- Проговаривание структуры ответа стало ещё более жёстким.

## Итерация 4

### Промпт
- Ещё более жёсткая формулировка ответа.
- Короткие и разнообразные задачи: greet, sum numbers, fallback defaults, broken input.
- Go не используется.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- Node.js, Python, PHP и Ruby синтаксически сгенерировались, но формат ответа был нестабилен.
- Node.js вернул ответ с заголовками `Normalized task:` / `Code:` / `LLM что делает:` вместо требуемой точной структуры.
- Python ответил без точного заголовка `LLM что делает` и с markdown-упаковкой блока.
- PHP и Ruby в части случаев вообще не отдали код в fenced-блоке, из-за чего extractor не смог вытащить код.
- Где код удалось извлечь, syntax/lint check проходил.

### Вывод
- Prompt уже умеет удерживать синтаксис, но всё ещё не закрепил формат ответа.
- Следующая правка должна требовать строгую структуру ответа: фиксированный порядок секций, fenced code block и plain-text heading `LLM что делает`.

### Что изменено в промпте после итерации 4
- Усилен запрет на альтернативные заголовки и markdown-упаковку explanation.
- Следующий вариант должен требовать точную структуру ответа с fenced code block.

## Итерация 5

### Промпт
- Строгий шаблон ответа: нормализация, fenced code block, `LLM что делает`.
- Набор разнообразных задач: приветствие, default fallback, суммы чисел.
- Go по-прежнему исключён.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- Python, PHP и Ruby для части задач вернули синтаксически корректный код и соблюли fenced block + heading.
- Ruby с задачей про сумму чисел выполнил требование почти полностью: точный heading `LLM что делает` присутствовал.
- Python/Php с простыми задачами тоже начали соблюдать заголовок и fenced code block.
- Node.js и часть PHP/Python задач всё ещё иногда падали на уровне AI endpoint с `HTTP 400 invalid JSON: unexpected EOF`.
- Ruby с задачей про greeting показал английский заголовок `LLM what it does`, то есть prompt ещё не полностью зафиксировал язык заголовка.

### Вывод
- Структура ответа уже заметно улучшилась на части кейсов.
- Нужно отдельно добить два оставшихся класса проблем:
	- endpoint иногда не отдает ответ на Node/часть других задач
	- LLM иногда переводит заголовок explanation на английский

### Что изменено в промпте после итерации 5
- Усилен запрет на любые альтернативные заголовки, включая английский перевод.
- Подчёркнуто, что допустим только literal `LLM что делает`.

## Итерация 6

### Промпт
- Очень короткие задачи с жёстким форматом ответа.
- Node.js, Python, PHP, Ruby.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- Python, PHP и Ruby уже стабильно выдали fenced code block, точный `LLM что делает` и синтаксически корректный код.
- Node.js тоже перестал падать на уровне AI endpoint и начал возвращать код.
- Node.js всё ещё печатает заголовок как `LLM Что делает` с заглавной буквой `Что`, то есть строгая фиксация регистра ещё не дожата.
- Где код был получен, lint проходил успешно.

### Вывод
- Prompt почти готов: структура и код в основном держатся, кроме единичного расхождения в регистре заголовка на Node.js.
- Следующий шаг — явно зафиксировать lower-case `что` и ещё раз прогнать короткий цикл.

### Что изменено в промпте после итерации 6
- Добавлено жёсткое указание на точный регистр заголовка `LLM что делает`.
- Запрещены любые заголовки с иным регистром или переводом.

## Итерация 7

### Промпт
- Короткие задачи с минимальной формулировкой.
- Жёстко фиксированный `LLM что делает`.

### Прогон
- Node.js, Python, PHP, Ruby.

### Результат
- Все четыре языка вернули code block и точный заголовок `LLM что делает`.
- Линтер везде показал `✅ Синтаксис корректен.`
- Node.js перестал падать на уровне AI endpoint даже при коротком prompt.
- Формат ответа стал предсказуемым: normalization + fenced code block + explanation.

### Вывод
- Текущий prompt уже работает на коротких и простых кейсах.
- Следующий шаг — проверить его на более разнообразных задачах, чтобы убедиться, что шаблон не ломается за пределами приветствий.