Nail/sless
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
206 Commits 19 Branches 0 Tags
b23ae40975228abdde75e9bbb9e963d570e587ae
Commit Graph
206 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
Naeel b23ae40975 security(iot): MQTT ACL isolation via EMQX HTTP authorization 
Each IoT device can only pub/sub to its own topics: {namespace}/{deviceId}/#
Any attempt to access foreign topics → EMQX denies and disconnects.

Changes:
- internal/api/handler: add MQTTAcl handler (POST /internal/mqtt/acl)
- internal/api/router: register /internal/mqtt/acl route
- deployments/k8s/emqx.yaml: add HTTP authorization backend, no_match=deny
- Operator v0.1.52 deployed

Tested: own topic ALLOWED, foreign topic → authorization_permission_denied + disconnect
 2026-04-04 17:51:51 +03:00
Naeel 6e3e473551 feat(iot): MQTT over WebSocket workaround via nginx-ingress 
Port 1883 blocked by NSX-T Edge firewall (DevOps to open on Monday).
Temporary solution: EMQX WebSocket listener (8083) via nginx-ingress.

- Service emqx-ws: selector app=emqx, port 8083
- Ingress emqx-mqtt-websocket: iot.kube5s.ru/mqtt → emqx-ws:8083
- pathType: Exact (prevents trailing slash redirect breaking WS handshake)
- ssl-redirect: false (IoT devices cannot follow HTTP 301 redirects)
- DNS A record iot.kube5s.ru → 185.247.187.147 created by user

Tested: Connected rc=0 via paho-mqtt WebSocket from inside cluster.
 2026-04-04 14:06:17 +03:00
Naeel 857d057af9 feat(iot): деплой IoT MVP — Dockerfile, RBAC, EMQX fix, operator v0.1.50, mqtt-bridge, doc/iot 2026-04-04 10:29:47 +03:00
Naeel b920dc5c9d feat(iot): Этап 6 — Terraform ресурс sless_iot_device (провайдер v0.1.2) 2026-04-04 09:56:18 +03:00
Naeel 1e53766c46 feat(iot): Этапы 2-7 — MQTT auth, IoT API, EMQX, mqtt-bridge, E2E demo 
Этап 2+4: internal/api/handler/iot_device_handler.go
  - MQTTAuth: POST /internal/mqtt/auth (без JWT, для EMQX)
  - CreateIoTDevice, ListIoTDevices, GetIoTDevice (c password), DeleteIoTDevice, UpdateIoTDevice
  - crypto/subtle.ConstantTimeCompare против timing attacks

Этап 4: internal/api/router.go
  - /v1/namespaces/{ns}/iot/devices CRUD
  - /internal/mqtt/auth (без JWT middleware)

Этап 3: deployments/k8s/emqx.yaml
  - EMQX 5.5.1, emqx.conf (HOCON) с HTTP auth backend
  - Сервис exposure: 1883 (MQTT), 8083 (WS), 18083 (Dashboard)

Этап 3: iot/cmd/mqtt-bridge/main.go
  - paho.mqtt.golang: подписка на +/telemetry/+
  - amqp091-go: publish в iot.{namespace}.telemetry
  - deployments/k8s/iot-mqtt-bridge.yaml

Этап 7: examples/IOT/ — E2E demo (main.tf, handler.py, README.md)

go.mod: добавлен github.com/eclipse/paho.mqtt.golang v1.5.1
go build ./... — ошибок нет
 2026-04-04 09:45:23 +03:00
Naeel 716efafda8 feat(iot): Этап 1 — CRD IoTDevice + контроллер credentials 
- iot/api/v1alpha1/device_types.go — CRD IoTDevice
- iot/api/v1alpha1/groupversion_info.go — API group iot.kube5s.ru/v1alpha1
- iot/api/v1alpha1/zz_generated.deepcopy.go — deepcopy (controller-gen)
- iot/config/crd/bases/iot.kube5s.ru_iotdevices.yaml — CRD манифест
- iot/controllers/iotdevice_controller.go — Reconcile: Secret с MQTT credentials
- main.go — регистрация IoT схемы и IoTDeviceReconciler

go build ./... — ошибок нет
 2026-04-04 09:32:47 +03:00
Repinoid 6dc2dc69ba IoT MVP: архитектура, план реализации, лог рассуждений 
- Определена архитектура managed IoT service
- Согласовано решение: RabbitMQ (MVP), потом Kafka; EMQX + CRD контроллер
- Создан подробный план для Sonnet (doc/iot-mvp-plan.md)
- Добавлено правило в copilot-instructions: лог мышления в doc/thinking/ по датам
- Полный ход рассуждений в doc/thinking/2026-04-04.md

Ключевые решения:
- IoT код в iot/ (легко вынести потом)
- CRD IoTDevice + контроллер (как все остальное в sless)
- EMQX HTTP Auth Backend для динамической аутентификации устройств
- Архитектура broker-agnostic (легко переключить на Kafka)
- Terraform: расширяем текущий provider (sless_iot_device ресурс)
 2026-04-04 08:34:14 +03:00
Repinoid ebbba66146 doc: pg-terraform behavior report + ERR-PG-06/07 
- doc/pg-terraform-behavior.md: подробный отчёт по поведению Nubes PostgreSQL
  с Terraform (vault_secrets, роли, тайминги, depends_on chain, SSH timeout)
  Добавлены: §2.6 vault ограничение (только 1 пользователь на инстанс), §9 IAM 408
- doc/errors/log.md: ERR-PG-01..ERR-PG-07 (все ошибки сессии тестирования)
  ERR-PG-06: vault backend позволяет только 1 vault_secrets на инстанс
  ERR-PG-07: HTTP 408 от auth-api-test.ngcloud.ru (транзитная)
- doc/progress.md: финальный статус сессии — lifecycle тесты заблокированы
  vault-ограничением тест-окружения, требуется исправление на стороне Nubes
 2026-04-01 19:21:37 +04:00
Naeel 211563a87c merge: examples/dev-from-ground → main 2026-03-30 09:28:39 +03:00
Naeel 4764e983f7 doc: обновлён log ошибок 2026-03-30 09:27:45 +03:00
Naeel f869b7986e feat: vdc_uid/nsxt_uid вынесены в tfvars; terraform.tfvars.template; README обновлён 2026-03-30 09:03:16 +03:00
Naeel 89d698fa47 fix: idempotency check 0 changed only, docker wait 360s nginx 240s 2026-03-30 08:48:49 +03:00
Naeel e737f2687d fix(vm_stress_test): fix idempotent check, sleep->poll, add HTTP/docker/disk tests 2026-03-30 08:00:17 +03:00
Naeel 56e6446310 fix(vm_stress_test): make read-only workflow, add instructions and docs 2026-03-30 07:16:35 +03:00
Naeel fef441681e examples/VM: sless_job provisioning (packages, nginx, docker) 
- Add sless.tf: three sless_job resources with depends_on chain
  - vm-install-packages: jq, python3-pip, htop, unzip
  - vm-install-nginx: nginx 1.18 (HTTP 200 verified)
  - vm-install-docker: Docker CE 29.3.1 + Compose v5.1.1
- Add functions/install-{packages,nginx,docker}/handler.py
  - _wait_apt_lock: cloud-init status --wait + systemctl mask
    fixes Ubuntu 22.04 first-boot apt lock (unattended-upgrades)
  - DPkg::Lock::Timeout=600 on all apt-get calls
- Add variables.tf (install_run_id, vm_public_key, vm_private_key)
- Add outputs.tf (install_*_result)
- Bump nubes provider 5.0.49 -> 5.0.51
- doc/progress.md: document step 6 with bug analysis
 2026-03-29 19:54:00 +03:00
Naeel b4c2e7f6b1 doc: add handoff summary and postgres function-job plan 2026-03-29 08:31:16 +03:00
Naeel f8f95d7147 examples/VM: bump nubes provider 5.0.49, rename resources vm-sless 2026-03-28 20:27:16 +03:00
Naeel 547994dc55 examples: DEVfromGround vc_org, NODEJS, VM, POSTGRES updates 2026-03-26 08:33:03 +03:00
Naeel 2b03ba520e examples/DEVfromGround: add Terraform manifests (nubes_vc_org, DEV endpoint) 2026-03-26 06:43:53 +03:00
Naeel bc0e00acca feat(vm): add vApp + VM terraform example 2026-03-25 08:17:08 +03:00
Naeel 3404af578b feat(builder): py_compile + node --check при сборке ловят синтаксические ошибки (v0.1.63) 2026-03-23 11:23:01 +03:00
Naeel 8051870208 fix(web-console): убраны память/таймаут, двойной рендер кода (v0.1.11) 2026-03-23 11:14:32 +03:00
Naeel cad89fdbb6 fix(web-console): NotFoundError — urlRow создаётся сразу, не через insertBefore (v0.1.10) 2026-03-23 11:05:30 +03:00
Naeel 6e73729c46 feat(web-console): URL строкой ниже, статус сборки после Save (v0.1.9) 2026-03-23 11:01:01 +03:00
Naeel 470039f6d6 fix(web-console): таймер исчезает после Building→Ready, шаблоны без context (v0.1.8) 2026-03-23 10:52:37 +03:00
Naeel f68b601484 fix(web-console): zip invalid — Close() после Bytes() (v0.1.6) 2026-03-23 10:47:25 +03:00
Naeel 442ba8bc2f feat(web-console): deps, rename, Building poll+timer, kind=service — v0.1.5 2026-03-23 10:41:43 +03:00
Naeel b7fa8acf76 feat(web-console): create/edit/delete functions in UI, v0.1.4 
- services/funcs: новые маршруты POST create-function, POST save-function,
  DELETE delete-function — создание/редактирование/удаление через браузер
- index.html: модалка создания с шаблонами Python/Node.js hello world,
  кнопки edit/delete на каждой карточке функции
- sless-funcs-service:v0.1.4 задеплоен
- examples/POSTGRES: удалены логи, .bak, backup tfstate, лишние функции
  оставлены 2 Python (pg-stats, pg-counter) + 2 Node.js (pg-info, js-idempotent)
 2026-03-23 10:19:42 +03:00
Naeel 7a168185ea fix: cache lag retry, go.work, провайдер rollback, test v4 no -target 2026-03-23 10:03:26 +03:00
“Naeel” cb77a7f68e fix: go.work replace + test destroy targets 2026-03-23 09:30:37 +04:00
Naeel 2e7cd7f4f7 feat(v0.1.60): sha256-based s3Key for content-addressed cache hit 2026-03-23 06:57:18 +03:00
Naeel c033adec11 feat(v0.1.59): in-cluster registry:2 — insecure HTTP mode, ImageExists error handling 2026-03-23 06:41:30 +03:00
Naeel 9edd43edc5 feat(v0.1.58): ImageExists cache hit, timing analysis, in-cluster registry plan 2026-03-23 06:22:25 +03:00
Naeel 7023e0e6fc feat(builder): add REGISTRY_PROJECT for easy registry migration 
DockerHub (flat): REGISTRY_HOST=naeel, REGISTRY_PROJECT=<empty>
  -> naeel/{nsPrefix}-{func}:{tag}
Harbor/GCR (project): REGISTRY_HOST=host, REGISTRY_PROJECT=proj
  -> host/proj/{func}:{tag}

Switch registry by changing 2 env vars only.
 2026-03-22 17:51:05 +03:00
Naeel c762047234 fix(builder/go1.23): add require sless/fn/handler to server/go.mod at build time 
go.work replace rule requires explicit require directive in server/go.mod.
Patch appended at kaniko build time - no base image rebuild needed.
 2026-03-22 17:28:40 +03:00
“Naeel” 088493b7e7 0 2026-03-22 17:04:01 +04:00
Naeel 9b5dec4dde fix: multiuser test — memory_mb + zip invalid + early return 2026-03-22 15:00:55 +03:00
Naeel dca98aac97 test: G_MULTIUSER — 10 parallel users + Postgres (ready to run) 2026-03-22 14:36:52 +03:00
Naeel d25fc608dd test: G17/G18/G19/G20/G22 - 154/154 PASS 2026-03-22 14:09:15 +03:00
Naeel 40474324bd feat: v0.1.51 + G13/G14/G15 tests (126/126 PASS) 
- fix: UpdateService IsInvalid → 400 (was 500 for ruby3.0 runtime)
- test: G13 edge cases — 40 tests, 40 PASS (name validation, boundary values,
  lifecycle, state transitions, update validation, upload edge cases)
- test: G14 cluster chaos — 20 tests, 20 PASS (self-healing, pod kill,
  OOM kill, kaniko interrupt, operator restart)
- test: G15 combined chaos — 21 tests, 21 PASS (CRUD under chaos, upload
  during self-heal, concurrent creates, errors after restart, rapid lifecycle)
- doc: progress.md, errors/log.md, decisions/log.md — полная документация сессии
 2026-03-22 11:15:46 +03:00
Naeel a76baa62a3 fix: v0.1.50 — runtime 400 + SLESS_ENTRYPOINT в Deployment 
Bug 1: services.go — k8s IsInvalid error (CRD enum validation) маппился в 500.
Теперь errors.IsInvalid() → 400 Bad Request (invalid service spec).

Bug 2: service_controller.go buildServiceDeployment не передавал env SLESS_ENTRYPOINT
в под. Добавлен в envVars из svc.Spec.Entrypoint. Без него server.py использовал
fallback handler.handle и не замечал неверный entrypoint.

operator_failure_test.sh 12B-2: обновлён под новое правильное поведение —
create ruby3.0 → 400 (не 201). Старый 201-путь сохранён как warn для совместимости.
 2026-03-22 08:11:05 +03:00
Naeel d4ccbc7d15 test: operator_failure_test.sh — group 12 failure modes (43/45) 2026-03-22 07:49:58 +03:00
Naeel 19fbfb5502 fix: survival test — время в GMT+4 (TZ=Asia/Dubai) 2026-03-22 07:11:05 +03:00
Naeel f6aaf15245 test: survival+pg — group 11 PG STORM + параметризация TOKEN/NS/PG 
- TOKEN/NS параметризованы через env SLESS_TOKEN / SLESS_NS
- PG_HOST/PORT/USER/PASSWORD/DATABASE/TABLE добавлены в CONFIG
- make_python_pg_zip: Python handler с psycopg2 (init/insert/count)
- create_pg_deploy, pg_invoke_burst, pg_count_fn, pg_init_fn
- Group 11 PG STORM: 11 тестов, 300+ параллельных INSERT/COUNT
- Итоговый banner обновлён (G11 + PG STORM label)
 2026-03-22 06:55:31 +03:00
Naeel e6be6026fe fix: survival test — false alarm at 5.2, empty CLEANUP entries, teardown guard 2026-03-21 19:22:50 +03:00
Naeel a25725fdb7 test: operator_survival_test.sh — survival suite (группы 5-10) 
5 FLOOD BUILD:         6 функций (3×Python + 3×Node.js) параллельно → все Ready
6 RAPID DISCARD STORM: 30 create→DELETE без build, orphan-check
7 CHURN UNDER FIRE:    10 PUT env-updates под 200 параллельными invokes, rate≥90%
8 PHOENIX:             3 цикла DELETE+recreate одного имени
9 SELF-HEALING MARATHON: 5×kubectl delete deployment → auto-recreate (RequeueAfter)
10 INVOKE HURRICANE:   500 параллельных invokes в 5 волнах (100 × 5), rate≥90%

Ожидаемое время прогона: 75-100 минут
 2026-03-21 19:16:30 +03:00
Naeel f65677a4d0 fix: operator v0.1.49 — Resources update + self-healing requeue 
БАГ 1: ensureServiceDeployment UPDATE блок теперь обновляет Containers[0].Resources
  → memory_mb через PUT применяется к k8s Deployment

БАГ 2: ensureServiceDeployment возвращает RequeueAfter: 60s вместо Result{}
  → ручное удаление Deployment пересоздаётся контроллером в течение 60s

lifecycle-тест: 47/47 PASS (ранее 44/44 с 2 known bugs)
 2026-03-21 18:51:02 +03:00
Naeel 9b74358979 docs: lifecycle test — 44/44 PASS; 2 бага оператора задокументированы в errors/log.md + progress.md 
Баги:
  1. memory_mb через PUT не обновляет k8s Deployment Resources → controllers/service_controller.go:~241
  2. нет self-healing при ручном удалении Deployment → нет RequeueAfter / cross-namespace watch
 2026-03-21 18:32:14 +03:00
Naeel 67e1bd4786 test(operator): lifecycle test — 44/44 PASS; 2 бага оператора задокументированы 
Группы тестов:
  1. Валидация API (8 тестов) — memory_mb, timeout_sec, missing fields, 404
  2. Полный цикл одной функции (18 тестов):
     - create → build → ready → invoke → env update → memory update → timeout → delete
     - delete → k8s Deployment/Service удалены
  3. Граничные сценарии:
     - DELETE while Building → kaniko убит, Deployment не создан
     - Reconcile: kubectl delete Deployment → [БАГ: не пересоздаётся]
  4. Параллельные функции (10 тестов):
     - 3 функции одновременно → delete одной в Building → 2 доходят до Ready
     - 40 параллельных invoke → 40/40 OK

Найденные баги оператора:
  БАГ 1: ensureServiceDeployment не обновляет Resources (memory_mb через PUT игнорируется)
  БАГ 2: нет self-healing — если Deployment удалён вручную, контроллер не пересоздаёт
         (нет cross-namespace watch, RequeueAfter не задан)
 2026-03-21 17:58:14 +03:00
Naeel b86ff3a62e feat(service): timeout_sec без дефолта; 0=нет таймаута; operator v0.1.48 
- api/v1alpha1/service_types.go: убрать +kubebuilder:default=30
- invoke.go: TimeoutSec=0 → &http.Client{} (без таймаута)
- services.go: валидация timeout_sec < 0 || > 900 → HTTP 400
- service_resource.go: TF schema Optional (без Computed); 0 → Int64Null()
- deployments/k8s/operator.yaml: v0.1.47 → v0.1.48
- doc/: progress.md + api/design.md (модель Service) + decisions/log.md
- examples/POSTGRES/: bug_hunter.sh, chaos_marathon.sh, chaos_marathon.tf
 2026-03-21 16:58:43 +03:00