iot-data-arch

What problem does it solve?

本技能提供面向 IoT 數據架構與 Pathway 流式處理的標準化方法，協助設計可擴展的多層存儲與 ETL 流程，實現熱、暖、冷數據的分層管理與高效分析。

Core Features & Use Cases

• 多層存儲架構：熱層使用 ScyllaDB，暖層使用 Doris，冷層使用 RustFS；支持事件時間驅動的窗口計算與長期存儲。
• Pathway ETL 指引：提供純函式轉換、模組化設計與測試友好型實踐，避免 IO 綁定的耦合。
• 快速入門與案例：針對 IoT 數據流的實際案例，展示如何從 Kafka 讀取、轉換並同時寫入多個系統。

Quick Start

在 Pathway 專案中定義 IoT 資料結構並實作符合熱/暖/冷分層的管線，含事件時間與晚資料容忍策略。