保存成功
订阅成功
保存失败,请重试
提交成功

Neo4j 在 Airflow 中的应用

¥2.99会员免费看

Airflow 是非常流行的基于用户自定义开发创建任务的调度系统,然而不足之处是缺少任务之间依赖关系的元数据,导致日常优化和问题排查困难重重,尤其是当涉及到跨 DAG 依赖的情况下,这个问题更加显著。在数仓建设实践中,如何处理任务(表)的血缘关系是必不可少的内容,目前 Airflow 是无法满足的,本文提出一种基于 Neo4j 的方案,解析 Airflow 程序自动生成任务依赖关系和 DAG 依赖关系,转换成图的格式存储在 Neo4j,然后通过可视化的方式展示血缘关系。实践验证,该方案效果显著。

本文详细介绍:

  1. Airflow 如何解析程序,生成任务和 DAG 的依赖关系;
  2. 依赖关系在 Neo4j 的存储设计;
  3. Neo4j 查询常用方法在血缘关系的使用;
108 人已订阅
会员免费看
¥2.99 原价订阅
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效
严选标准
知道了
Chat 状态详情
开始预订
预订结果公布20.03.12

预订达标,作者开始写作

审核未达标,本场 Chat 终止

作者文章审核结果公布20.03.27

审核达标,文章发布

审核未达标,本场 Chat 终止

Chat 完结
×
已购列表