PipeRDD源码分析
2017-04-02 20:36:37 8 举报AI智能生成
登录查看完整内容
PipeRDD源码分析图
作者其他创作
大纲/内容
PipeRDD
Object PipeRDD
tokenize
Class PipeRDD
Class NotEqualsFileNameFilter
传入 过滤掉的目录名
getPartitions
compute
ProcessBuilder
ProcessBuilder.start()
ProcessImpl.start()
UNIXProcess
spark.worker.separated.working.directory option解决路径冲突的问题
开启一个线程来处理标准错误输出
开启一个线程来处理标准命令输入
标准输出
val lines = Source.fromInputStream(proc.getInputStream)(encoding).getLines
RDD 3个pipe重载方法
职业：暂无
0 条评论
回复 删除
下一页
