简述spark计算框架的特点
Spark计算框架的特点主要体现在以下三个方面:
1. 高效性:Spark使用最先进的DAG调度程序,查询优化程序和物理执行引擎,实现批量和流式数据的高性能。相比于早期的Hadoop,Spark运行速度可以提到10--100倍。
2. 易用性:Spark在应用层面提供Java、Python和Scala的API,还支持超过80种高级算法,可以根据实际的数据处理需求,快速构建计算平台,满足数据处理需求。Spark还支持交互式的Python和Scala的shell,大大方便了用户的操作。
3. 通用性:Spark的生态圈已经趋于完善,各个组件可以共同完成绝大部分的数据处理需求和场景。批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX),都能在Spark生态圈找到相应的解决方案。
此外,Spark还具有很强的适应性,能够读取HDFS、Cassandra、HBase、S3和Techyon为持久层读写原生数据,能够以Mesos、YARN和自身携带的Standalone作为资源管理器调度job,来完成Spark应用程序的计算。
标签: #科技数码
郑重声明:图文由自媒体作者发布,我们尊重原作版权,但因数量庞大无法逐一核实,图片与文字所有方如有疑问可与我们联系,核实后我们将予以删除。