火花SQL是Apache火花的模块处理结构化数据。
结果=火花。sql(
“SELECT *的人”)
名称=结果。地图(λp: p.name)
“SELECT *的人”)
名称=结果。地图(λp: p.name)
功能应用于SQL查询的结果。
统一的数据访问
连接到任何数据源相同的方式。
DataFrames和SQL提供一个通用的方法来访问各种数据源,包括蜂巢,Avro,拼花,兽人,JSON, JDBC。你甚至可以加入这些数据源的数据。
火花。read.json(“s3n: / /……”)
.registerTempTable (json)
结果=火花。sql(
””“SELECT *
的人
加入json…””)
.registerTempTable (json)
结果=火花。sql(
””“SELECT *
的人
加入json…””)
查询和加入不同数据源。
蜂巢集成
在现有运行SQL或HiveQL查询仓库。
火花SQL支持HiveQL语法以及蜂巢并行转换器和udf允许您访问现有的蜂巢仓库。
火花SQL可以使用现有的蜂巢metastores,并行转换器和udf。
标准的连接
通过JDBC、ODBC连接。
服务器模式提供行业标准JDBC、ODBC连接商业智能工具。
使用现有的BI工具来查询大数据。
