Единый модуль сбора данных из внешних источников. Работает в трёх
режимах — полный импорт, инкрементальная синхронизация и периодический
reconciliation — поверх одного внутреннего pipeline:
извлечение → нормализация → загрузка.
Архитектура
Full Sync
full
Полный импорт от начала времён — при подключении источника или
ручном пересборе.
старт: epoch
Incremental
incremental
Только дельты с прошлого раза — webhooks плюс polling по
расписанию.
старт: прошлый прогон
Reconciliation
reconciliation
Экспресс-аудит по всей ветке: чистит исчезнувшее, агрессивный
resolve.
→Реестр AI-моделей — модель embedding (встроенная или своя; назначение — предусловие приёма)
↔Auth крипто-ядро · Cache & Workers SAQ + Redis
→Query Engine — pre-filter по ACL
узел E/T/L (пересадка) станция Transform AI-станция
API
GET · POST/api/v1/sources
POST/api/v1/sources/sync
GET · PATCH · DELETE/api/v1/sources/{id}
POST/api/v1/sources/{id}/test-connection
GET/api/v1/sources/{id}/catalog
POST/api/v1/sources/{id}/sync
POST/api/v1/sources/{id}/cancel
GET/api/v1/sources/{id}/runs
GET/api/v1/sources/{id}/dead-letters
GET/api/v1/sources/{id}/health
Статус и прогресс прогонов доезжают до открытых экранов push-сигналами по
платформенному
потоку живых обновлений;
эндпоинты выше остаются единственным источником, который клиент рефетчит.