元数据集成¶
类型
- 审计
- 操作
- 监控
- 度量
机制
- Hook & Bridge 机制
- Metrics 机制
- 中间件、网关、工具链
- 拉取、推送
- 增量、全量
- 实时、离线
HDFS¶
- 基于 HDFS Checkpoint 机制
- 基于 QJM 架构，从 JournalNode 拉取数据
Hive¶
- 增量：Hive 提供的 Hook 机制
HBase¶
- 增量：HBase 提供的 Coprocessor 机制
Kafka¶
- Kafka 提供的 ZkUtils 工具
Kylin¶
- Kylin 提供的 ResourceTool 工具
Druid¶
- 通过 MySQL 集成方式，参考 SQLMetadataConnector
ElasticSearch¶
- 通过 REST APIs 方式
MySQL¶
- 通过 Canal 进行 binlog 增量订阅&消费
Other¶
- Impala
- Redis
- TiDB
- Tair
- YARN
- Spark
- Flink
- Oozie
- ZooKeeper