火花结构化流很容易构建流媒体应用程序和管道和熟悉火花api。
易于使用的
火花结构化流复杂流的概念,如增量处理进行了抽象,因此检查点,水印,这样您就可以构建流媒体应用程序和管道没有学习任何新概念或工具。
火花
。readStream
。选择(美元的“价值”.cast (“字符串”).alias (“jsonData”))
。选择(from_json (美元“jsonData”jsonSchema) .alias (“有效载荷”))
。writeStream
。触发(“1秒”)
。开始()
。readStream
。选择(美元的“价值”.cast (“字符串”).alias (“jsonData”))
。选择(from_json (美元“jsonData”jsonSchema) .alias (“有效载荷”))
。writeStream
。触发(“1秒”)
。开始()
统一的批处理和流api
火花结构化流提供了相同的结构化的api (DataFrames和数据集)火花,这样你不需要开发或维护两个不同的批处理和流媒体技术栈。此外,统一的api很容易迁移现有批量流火花工作工作。
低延迟和成本效益
火花结构化流使用相同的底层架构作为火花,这样您就可以利用所有的性能和成本优化构建到火花引擎。与火花结构化流,您可以构建低延迟流媒体应用程序和管道成本有效。
