dagomodule.py

2016-04-14 16:43:23   0  举报





dagomodule.py是一个Python模块，用于实现数据处理和分析的功能。该模块提供了一系列的函数和方法，可以用于处理各种类型的数据，包括文本、图像、音频等。它支持数据的加载、清洗、转换、可视化和模型训练等操作，可以帮助用户快速构建和部署数据分析应用。此外，dagomodule.py还具有丰富的文档和示例代码，方便用户学习和使用。总之，dagomodule.py是一个功能强大、易于使用的Python数据分析工具，适用于各种规模的项目和应用场景。

作者其他创作

大纲/内容

初始化一个python的数据结构名为data_real其中的job_name，schedule，notes直接继承tasks中不变的task的数据（如果没有的话就直接初始化为[]）dependencies中不变task的数据(同上)否则直接继承

1、检查inputfile中task中的name是否有重复2、检查inputfile中task的name列表和dependency的keys是否对应3、检查-t指定的task是否有重复4、检查-h指定的hostfile中是否有重复主机5、检查-t指定的task是否是inputfile中task_names的子集6、判断每个task中至少要有三样（没完成）

需要获取的数据：1、data_module['tasks'][*]['name']==module_task_list2.data_module['dependencies'].kyes()3、获取不在-t指定task中的task_id（目的是初始化的时候先去初始化不变的）

获取inputfile==data_module获取分布的tasks==list获取hostlist==list

start

完成添加后将data_real json化，然后通过request库发送至dagobah

end