性能调优

• 在内存中缓存数据
• 其他配置选项
• SQL查询的连接策略提示
• SQL查询的合并提示
• 自适应查询执行
  • 合并后调整分区
  • 拆分倾斜调整分区
  • 转换分类合并连接进行连接
  • 转换分类合并连接散列连接
  • 优化斜加入
  • Misc

对于某些工作负载,可以提高性能通过在内存中缓存数据,或通过将一些实验性的选项。

在内存中缓存数据

火花SQL可以使用一个内存中的缓存表柱状通过调用格式spark.catalog.cacheTable(“表”)或dataFrame.cache ()。然后火花SQL将扫描只需要列将自动调整压缩以减少内存使用量和GC的压力。你可以叫spark.catalog.uncacheTable(“表”)或dataFrame.unpersist ()从内存中删除表。

内存缓存的配置可以使用完成setConf方法SparkSession或通过运行设置键=值使用SQL命令。

其他配置选项

以下选项还可以用于调优查询执行的性能。可能这些选项将在以后的版本中被弃用更优化的自动执行。

SQL查询的连接策略提示

加入策略提示,即广播,合并,SHUFFLE_HASH和SHUFFLE_REPLICATE_NL,指导火花使用暗示策略在每个指定的关系当加入他们与另一个关系。例如,当广播提示是用于表t1,广播加入(广播散列连接或广播嵌套循环联接取决于是否有等值连接键)与t1的构建方面将由火花即使大小的优先表t1的数据高于建议的配置spark.sql.autoBroadcastJoinThreshold。

当双方指定不同的连接策略提示的加入,引起重视广播提示了合并提示了SHUFFLE_HASH提示了SHUFFLE_REPLICATE_NL提示。当双方指定的广播提示或SHUFFLE_HASH提示,火花将构建基于连接类型和大小的关系。

注意,不能保证火花会选择加入策略中指定的提示从一个特定的策略可能不支持所有连接类型。

火花。表(" src ")。加入(火花。表(“记录”)。提示(“广播”),“关键”)。显示()

火花。表(" src ")。加入(火花。表(“记录”)。提示(“广播”),“关键”)。显示();

火花。表(" src ")。加入(火花。表(“记录”)。提示(“广播”),“关键”)。显示()

src< -sql(“从src SELECT *”)记录< -sql(“SELECT * FROM记录”)头(加入(src,提示(记录,“广播”),src美元关键= =记录美元关键))

我们接受广播,BROADCASTJOIN和MAPJOIN广播提示选择* / / * +广播(r)*从记录r加入src年代在r。关键=年代。关键

更多细节请参考的文档加入提示。

SQL查询的合并提示

合并提示允许火花SQL用户控制输出文件的数量一样合并,重新分区和repartitionByRange在数据集的API,他们可以用于性能调优和减少输出文件的数量。“合并”提示只有一个分区号作为参数。“再分配”提示分区号,列,或两个/两人作为参数。“REPARTITION_BY_RANGE”提示必须列名和分区号是可选的。“平衡”提示有一个初始分区编号,列,或两个/两人作为参数。

选择* / / * +合并(3)*从t;选择/ * +重新分区(3)* /*从t;选择* / / * +重新分区(c)*从t;选择/ * +重新分区(3 c) * /*从t;选择/ * +重新分区* /*从t;选择* / / * + REPARTITION_BY_RANGE (c)*从t;选择/ * + REPARTITION_BY_RANGE (3 c) * /*从t;选择/ * +平衡* /*从t;选择/ * +平衡(3)* /*从t;选择* / / * +平衡(c)*从t;选择/ * +平衡(3 c) * /*从t;

更多细节请参考的文档分区提示。

自适应查询执行

自适应查询执行(AQE)是一种优化技术在火花SQL利用运行时统计数据,选择最有效的查询执行计划,这是默认启用以来Apache 3.2.0火花。SQL可以打开和关闭AQE火花spark.sql.adaptive.enabled作为一个伞配置。3.0的火花,AQE有三个主要功能:包括合并post-shuffle分区,将分类合并连接播放连接,和倾斜连接优化。

合并后调整分区

这个特性聚集post洗牌分区基于地图的输出数据时spark.sql.adaptive.enabled和spark.sql.adaptive.coalescePartitions.enabled配置是正确的。这个特性简化了洗牌的调优运行查询时分区号。你不需要设置一个合适的洗牌分区号适合你的数据集。火花在运行时可以选择适当的洗牌分区号一旦你设置一个足够大的初始数量的洗牌分区通过spark.sql.adaptive.coalescePartitions.initialPartitionNum配置。

拆分倾斜调整分区

转换分类合并连接进行连接

AQE转换分类合并连接播放哈希连接时的运行时统计数据加入边是小于阈值自适应广播散列连接。这不是一样有效规划一个广播散列连接首先,但这总比继续做分类合并加入,我们可以节省连接双方的排序,并在本地读取洗牌文件节省网络流量(如果spark.sql.adaptive.localShuffleReader.enabled是真的)

转换分类合并连接散列连接

AQE转换分类合并加入打乱散列连接当所有帖子洗牌分区是小于一个阈值,最大阈值可以看到配置spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold。

优化斜加入

数据倾斜会严重降低连接查询的性能。在分类合并加入这个功能动态处理斜分裂和复制(如果需要)倾斜任务为大致均匀大小的任务。时生效spark.sql.adaptive.enabled和spark.sql.adaptive.skewJoin.enabled配置启用。

Misc