实时数仓总结.md

实时数仓总结

Kafka + Flume + HDFS 搭建消息采集系统

pipeline管道，一个source的数据可以“复制”到多个channels（扇出），当然多个source也可以聚集到一个channel中，每个channel对应一个sink。每种类型的source、channel、sink都有各自的配置属性，用于更好的控制数据流。