spark-pi 流程
2015-12-28 18:43:43 1 举报
Apache Spark的spark-pi是一个用Scala编写的简单程序，用于在集群上运行π的计算。该程序首先从数据源读取一些输入数据，然后将这些数据分成多个分区，每个分区都由一个工作进程处理。接着，Spark将数据发送到各个工作节点，并执行一个简单的操作（即加法），最后将结果收集起来并输出。整个过程可以分为以下几个步骤： 1. 启动SparkContext 2. 加载数据文件 3. 将数据分割成多个分区 4. 对每个分区执行加法操作 5. 将结果收集起来并输出
