Spark思维导图

Spark学习

Spark入门

Spark基础知识

Spark介绍

Spark是一种通用内存计算框架，使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集

Spark特点

①快：与mr相比，spark基于内存的运算要快100倍以上，基于硬盘运算快10倍以上

②易用：spark支持Java，python，Scala的API

③通用：spark提供了统一的解决方案。可以用于批处理，交互式查询，实时流处理，机器学习，图计算

④兼容性：spark可以非常方便的与其他开源产品进行融合

Spark使用场景

①复杂的批量处理（Batch Data Processing），偏重点在于处理海量数据的能力，至于处理速度可忍受，通常的时间可能是在数十分钟到数小时

②基于历史数据的交互式查询（Interactive Query），通常的时间在数十秒到数十分钟之间

③基于实时数据流的数据处理（Streaming Data Processing），通常在数百毫秒到数秒之间

Spark部署模式

①local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程；master和worker都为本机。运行时直接加断点调试即可。

②standalone(集群模式)：构建一个有Master+Slave构成的Spark集群，spark运行在集群中。简单来说，只用spark，不用yarn，所以不需要启动Hadoop

③on yarn(集群模式)： 运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算

④on mesos(集群模式)： 运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算

⑤on cloud(集群模式)：比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon的 S3;Spark 支持多种分布式存储系统：HDFS 和 S3

Spark运行流程

Spark基本使用

启动Spark：bin/start-all.sh

启动Spark-shell：bin/spark-shell

Spark SQL

Spark SQL基础

介绍

1.spark SQL是模仿hive而来的，它是spark用来处理结构化数据的一个模块，它提供了2个编程抽象，DataFrame 和 DataSet，并且作为分布式SQL查询引擎的作用

2.我们已经学习了hive，它是hive SQL转换成mapreduce然后提交到集群中执行，大大简化了mapreduce的程序的复杂性，由于mapreduce这种计算框架执行效率比较慢。所以spark SQL应运而生，它将spark SQL转换成RDD，然后提交集群执行，所以执行效率非常快

特点

 1.易整合 2.统一的数据访问方式 3.兼容hive 4.标准的数据连接

Spark SQL创建

DataFrame创建

 1.1.SparkSession是spark最新的SQL查询的起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的，SparkSession内部封装了SparkContext，所以计算实际上是由SparkContext完成的 2.在sparkSQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过spark的数据源进行创建；从一个存在的RDD进行转换；还可以从一个hive table中查询返回

DataSet创建

DataSet是具有强类型的数据集合，需要提供对应的类型信息 

RDD DataFrame DataSet转换

RDD与DataFrame相互转换

RDD与DataSet相互转换

DataFrame与DataSet相互转换

DataFrame 有结构DataSet 有类型并且有结构前提：需要导入隐式转换 import spark.implicits._

一.将DF变成DSval rdd = sc.makeRDD(List((\"zhangsan\

二.将DS变成DF   val df2 = ds.toDF

Spark SQL数据源

Spark操作hive数据库

一.基本介绍 默认情况下，spark自带hive，可以直接写spark.sql(\"...\")来操作内置的hive数据库

二.使用外部hive ①删除spark中内置的hive。即删除metastore_db和spark-warehouse文件夹 ②将外部hive中的hive-site.xml文件复制到spark/conf中 ③重启spark-shell ④这时spark.sql(\"...\")访问的就是外部的hive了 ⑤可以使用bin/spark-sql命令段操作hive

Spark Streaming

基本介绍

一.基本介绍 1.Spark Straming用于流式数据处理。Spark Straming支持多种数据源输入，例如kafka，flume，twitter，zeroMQ和简单的TCP套接字等等。数据输入后可以用spark的高度抽象原语，如map，reduce，join，window进行操作运算。而结果也可以保存再很多地方，如HDFS，数据库等。 2.和spark基于RDD的概念很相似，spark streaming是用离散化流（discretized stream）作为抽象表示，叫做DStream。DStream是随着时间推移而收到的数据的序列。每个时间收到的数据都作为RDD存在，而DStream是由这些RDD组成的序列，因此得名“离散化

1.易用 2.容错3.易整合到spark体系

DStream创建

一.DStream Spark Streaming原生支持一些不同的数据源。一些和核心的数据源已经被打包到Spark Streaming的maven工件中，而其他的一些数据源则可以通过Spark-Streaming-kafka等附加工件获取。每个接收器都以spark执行器程序中一个长期运行的任务形式运行，因此会占据分配给应用的CPU核心。此外，我们还需要有可用的CPU核心来处理数据。这意味着如果要运行多个接收器，就必须至少有和接收器数目相同的核心数，还要加上用来完成计算所需要的核心数。例如：如果我们想要在流计算应用中运行10个接收器，那么至少为应用分配11个CPU核心，所以如果在本地运行，不要使用local[1]

二.文件数据源 文件数据源：能够读取所有HDFS API兼容的文件系统文件，通过fileStream方式进行读取，Spark Streaming将会监控dataDriectory目录不断移动进来的文件，记住目前不支持嵌套目录。 注意：\t①文件需要有相同的数据格式\t②文件进入dataDriectory的方式需要通过移动或者重命名来实现\t③一旦文件移动进目录，则不能再修改，即便修改了也不会读取数据

window函数

一.Window Operations（窗口操作）介绍 Window Operations可以设置窗口的大小和滑动的间隔来动态的获取当前Streaming的用于状态