快速启动

交互式分析引发壳

独立的应用程序

从这里去哪里

本教程提供了简要介绍如何使用火花。我们将首先介绍API通过火花的交互式shell(在Python或Scala),然后展示如何用Java编写应用程序,Scala和Python。

要跟随本指南,首先下载一个打包发布的火花<一个href="//www.leiyimei360.com/downloads.html">火花的网站。因为我们不会使用HDFS,您可以下载一个包Hadoop的任何版本。

注意,之前2.0火花,火花的主要编程接口是弹性分布式数据集(抽样)。2.0火花后,抽样数据集所取代,这是强类型的抽样,但丰富的优化。抽样界面仍然支持,你可以得到一个更详细的参考<一个href="//www.leiyimei360.com/docs/latest/rdd-programming-guide.html">抽样编程指南。然而,我们强烈建议您切换到使用数据集,比抽样具有更好的性能。看到<一个href="//www.leiyimei360.com/docs/latest/sql-programming-guide.html">SQL编程指南数据集的更多信息。

交互式分析引发壳

基础知识

火花的shell学习API提供了一个简单的方法,以及一个强大的工具来分析数据交互。也可在Scala(运行在Java VM,因此使用现有的Java库的一个好方法)或Python。启动它通过运行以下火花目录:

/ bin / spark-shell

火花的主要抽象是一个分布式称为数据集的项的集合。可以创建数据集来自Hadoop InputFormats(如HDFS文件)或通过改造其他数据集。让我们做一个新的文本数据集的火花源目录的README文件:

scala>瓦尔文本文件=火花。读。文本文件(“README.md”)文本文件:org.apache.spark.sql.Dataset(字符串]=(值:字符串]

您可以直接从数据集获取值,通过调用一些动作,或者改变一个新的数据集。有关详细信息,请阅读API文档。

scala>文本文件。数()/ /在这个数据集的项的数量res0:长=126年/ /可能不同于你的自述。医学博士将改变随着时间的推移,类似于其他输出scala>文本文件。第一个()/ /第一个项目在这个数据集res1:字符串=#Apache火花

现在,让我们将这个数据集转换成一个新的。我们称之为过滤器返回一个新的数据集文件中的条目的一个子集。

scala>瓦尔linesWithSpark=文本文件。过滤器(行= >行。包含(“火花”))linesWithSpark:org.apache.spark.sql.Dataset(字符串]=(值:字符串]

我们可以一起链转换和行动:

scala>文本文件。过滤器(行= >行。包含(“火花”))。数()/ /多少行包含“火花”?res3:长=15

/ bin / pyspark

或者如果PySpark皮普在当前安装环境:

pyspark

火花的主要抽象是一个分布式称为数据集的项的集合。可以创建数据集来自Hadoop InputFormats(如HDFS文件)或通过改造其他数据集。由于Python的动态特性,我们不需要在Python中强类型数据集。结果,所有数据集在Python数据集(行),我们叫它DataFrame与数据帧的概念是一致的熊猫和r .让我们新建一个文本的DataFrame火花源目录的README文件:

> > >文本文件=火花。读。文本(“README.md”)

您可以直接从DataFrame得到值,通过调用一些动作,或者变换DataFrame来获得一个新的。有关详细信息,请阅读API文档。

> > >文本文件。数()在这个DataFrame #的行数126年> > >文本文件。第一个()在这个DataFrame #第一行行(价值=u“# Apache火花”)

现在让我们改变这个DataFrame一个新的。我们称之为过滤器返回一个新的DataFrame行文件的一个子集。

> > >linesWithSpark=文本文件。过滤器(文本文件。价值。包含(“火花”))

我们可以一起链转换和行动:

> > >文本文件。过滤器(文本文件。价值。包含(“火花”))。数()#多少行包含“火花”?15

缓存

火花还支持将数据集到一个集群范围的内存缓存。反复访问数据时,这是非常有用的,例如当查询一个小“热”数据集或运行时像PageRank迭代算法。作为一个简单的例子,让我们纪念linesWithSpark数据缓存:

scala>linesWithSpark。缓存()res7:linesWithSpark。类型=(值:字符串]scala>linesWithSpark。数()res8:长=15scala>linesWithSpark。数()res9:长=15

看起来愚蠢的使用引发探索和缓存100行文本文件。有趣的部分是,这些相同的函数可以用于非常大的数据集,即使他们跨越几十或几百个节点。你也可以交互地通过连接bin / spark-shell到一个集群,如所描述的<一个href="//www.leiyimei360.com/docs/latest/rdd-programming-guide.html">抽样编程指南。

> > >linesWithSpark。缓存()> > >linesWithSpark。数()15> > >linesWithSpark。数()15

看起来愚蠢的使用引发探索和缓存100行文本文件。有趣的部分是,这些相同的函数可以用于非常大的数据集,即使他们跨越几十或几百个节点。你也可以交互地通过连接bin / pyspark到一个集群,如所描述的<一个href="//www.leiyimei360.com/docs/latest/rdd-programming-guide.html">抽样编程指南。

独立的应用程序

假设我们希望编写一个自包含的应用程序使用火花API。我们将走在Scala中的一个简单的应用程序(sbt), Java (Maven)和Python (pip)。

我们将创建一个非常简单的火花在Scala-so应用简单,事实上,它的命名SimpleApp.scala:

/ * SimpleApp。scala * /进口org.apache.spark.sql.SparkSession对象SimpleApp{def主要(arg游戏:数组(字符串]){瓦尔日志文件=“YOUR_SPARK_HOME / README.md”/ /应该一些文件在你的系统瓦尔火花=SparkSession。构建器。浏览器名称(“简单的应用程序”)。getOrCreate()瓦尔logData=火花。读。文本文件(日志文件)。缓存()瓦尔numa=logData。过滤器(行= >行。包含(“一个”))。数()瓦尔麻木=logData。过滤器(行= >行。包含(“b”))。数()println(年代“行:$ numa线与b: $麻木”)火花。停止()}}

注意,应用程序应该定义一个main ()方法,而不是扩展scala.App。的子类scala.App可能不会正常工作。

这个程序只是数量的行数包含“a”,包含“b”火花README。请注意,你需要替换YOUR_SPARK_HOME火花的位置安装。与前面的例子引发壳,初始化自己的SparkSession,我们初始化一个SparkSession作为该计划的一部分。

我们称之为SparkSession.builder构建一个SparkSession,然后设置应用程序名称,最后调用getOrCreate得到SparkSession实例。

我们的应用程序依赖于火花API,所以我们还将包括一个sbt配置文件,build.sbt,这解释了火花是依赖。这个文件还添加了一个存储库,火花取决于:

的名字:=“简单的项目”版本:=“1.0”scalaVersion:=“2.12.17”libraryDependencies+ =“org.apache.spark”% %“spark-sql”%“3.4.1”

sbt正常工作,我们需要布局SimpleApp.scala和build.sbt根据典型的目录结构。一旦到位,我们可以创建一个JAR包包含应用程序的代码,然后使用spark-submit脚本运行我们的程序。

#你的目录布局应该是这样的美元找到<年代pan class="nb">。。/构建。年代bt ./src ./src/main ./src/main/scala ./src/main/scala/SimpleApp.scala<年代pan class="c">#包包含您的应用程序的jar美元sbt包……<年代pan class="o">(包装信息)<年代pan class="o">{. .<年代pan class="o">}/<年代pan class="o">{. .<年代pan class="o">}/ / scala - 2.12 / simple-project_2.12-1.0.jar目标<年代pan class="c">#使用spark-submit运行您的应用程序美元YOUR_SPARK_HOME / bin / spark-submit<年代pan class="se">\——类“SimpleApp”\——主当地的(4)<年代pan class="se">\目标/ scala - 2.12 /简单——project_2.12 - 1.0。罐子…与一线:46,行b: 23

这个例子将使用Maven来编译应用程序JAR,但任何类似的构建系统。

我们将创建一个非常简单的火花的应用程序,SimpleApp.java:

/ * SimpleApp。java * /进口org.apache.spark.sql.SparkSession;进口org.apache.spark.sql.Dataset;公共类SimpleApp{公共静态无效主要(字符串[]arg游戏){字符串日志文件=“YOUR_SPARK_HOME / README.md”;/ /应该一些文件在你的系统SparkSession火花=SparkSession。构建器()。浏览器名称(“简单的应用程序”)。getOrCreate();数据集<字符串>logData=火花。读()。文本文件(日志文件)。缓存();长numa=logData。过滤器(年代- >年代。包含(“一个”))。数();长麻木=logData。过滤器(年代- >年代。包含(“b”))。数();系统。出。println(“行:“+numa+”,与b线:“+麻木);火花。停止();}}

建立程序,我们也写一个Mavenpom.xml文件列表作为附件的火花。注意,火花工件与Scala版本标记。

<项目>< groupId >edu.berkeley<年代pan class="nt">< / groupId >< artifactId >简单的项目<年代pan class="nt">< / artifactId >< modelVersion >4.0.0<年代pan class="nt">< / modelVersion ><名称>简单的项目<年代pan class="nt">< /名称><包装>jar<年代pan class="nt">< /包装><版本>1.0<年代pan class="nt">> < /版本< >的依赖关系<依赖>< !——引发依赖- - >< groupId >org.apache.spark<年代pan class="nt">< / groupId >< artifactId >spark-sql_2.12<年代pan class="nt">< / artifactId ><版本>3.4.1<年代pan class="nt">> < /版本<范围>提供<年代pan class="nt">< / >范围< / >的依赖< / >的依赖关系< /项目>

我们把这些文件根据规范化Maven目录结构:

美元找到<年代pan class="nb">。/ pom。xml / src / main / src。/ src / main / java。/ src / main / java / SimpleApp.java

现在,我们可以使用Maven和打包应用程序执行它/ bin / spark-submit。

#包包含您的应用程序的JAR美元mvn包……<年代pan class="o">(信息构建jar:<年代pan class="o">{. .<年代pan class="o">}/<年代pan class="o">{. .<年代pan class="o">}/目标/ simple-project-1.0.jar<年代pan class="c">#使用spark-submit运行您的应用程序美元YOUR_SPARK_HOME / bin / spark-submit<年代pan class="se">\——类“SimpleApp”\——主当地的(4)<年代pan class="se">\目标/简单-项目- 1.0。罐子…与一线:46,行b: 23

现在,我们将展示如何编写一个应用程序使用Python API (PySpark)。

如果您正在构建一个打包PySpark应用程序或库可以将它添加到您的设置。py文件:

install_requires=(“pyspark = = 3.4.1”]

作为一个例子,我们将创建一个简单的火花应用程序,SimpleApp.py:

SimpleApp.py“”“”从pyspark.sql进口SparkSession日志文件=“YOUR_SPARK_HOME / README.md”#应该是一些文件在您的系统上火花=SparkSession。构建器。浏览器名称(“SimpleApp”)。getOrCreate()logData=火花。读。文本(日志文件)。缓存()numa=logData。过滤器(logData。价值。包含(“一个”))。数()麻木=logData。过滤器(logData。价值。包含(“b”))。数()打印(“行:%我,行与b: %我”%(numa,麻木))火花。停止()

这个程序只是数量的行数包含“a”和包含“b”的数量在一个文本文件中。请注意,你需要替换YOUR_SPARK_HOME火花的位置安装。与Scala和Java示例中,我们使用一个SparkSession创建数据集。使用定制类的应用程序或第三方库,我们也可以添加代码依赖项spark-submit通过其——py-files参数被打包成一个zip文件(请参阅spark-submit——帮助详情)。SimpleApp很简单,我们不需要指定任何代码依赖项。

我们可以运行这个应用程序使用bin / spark-submit脚本:

#使用spark-submit运行您的应用程序美元YOUR_SPARK_HOME / bin / spark-submit<年代pan class="se">\——主当地的(4)<年代pan class="se">\SimpleApp.py. .。与一线:46,行b: 23

如果你有PySpark pip安装到您的环境(例如,pip安装pyspark),你可以用常规的Python解释器运行您的应用程序或使用所提供的“spark-submit”作为你喜欢。

#使用Python解释器来运行您的应用程序美元python SimpleApp。py……与一线:46,行b: 23

其他依赖项管理工具如Conda和皮普也可以用于自定义类或第三方库。另请参阅<一个href="//www.leiyimei360.com/docs/latest/api/python/user_guide/python_packaging.html">Python包管理。

从这里去哪里

祝贺你运行应用程序第一个火花!

为深入API的概述,从<一个href="//www.leiyimei360.com/docs/latest/rdd-programming-guide.html">抽样编程指南和<一个href="//www.leiyimei360.com/docs/latest/sql-programming-guide.html">SQL编程指南或看到“编程指南”菜单其他组件。
集群上运行应用程序,头<一个href="//www.leiyimei360.com/docs/latest/cluster-overview.html">部署概述。
最后,引发包括几个样品例子目录(<一个href="https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples">Scala,<一个href="https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples">Java,<一个href="https://github.com/apache/spark/tree/master/examples/src/main/python">Python,<一个href="https://github.com/apache/spark/tree/master/examples/src/main/r">R)。您可以运行如下:

Scala和Java,使用# run-example:. / bin / run-example SparkPi<年代pan class="c">#为Python示例中,直接使用spark-submit:。/ bin / spark-submit例子/ src / main / python / pi.py<年代pan class="c"># R的例子,直接使用spark-submit:. / bin / spark-submit / src / main / r / dataframe.R例子

快速启动

交互式分析引发壳

基础知识

更多的数据操作

缓存

独立的应用程序

从这里去哪里