Spark发展现状与战线

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-09-18 02:58
前言

现今Spark正是风头正劲时,Spark本是UCBerkeley的AMPLab诞生的项目,后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理,到交互式查询,一直到图计算和机器学习,可谓摆开了架势、拉长了战线,一方面挑战老前辈Hadoop和MapReduce,另一方面又随时准备迎接同样的后起之秀的挑战。

大数据的今天

今天的大数据系统生物圈百花齐放,有已经如日中天的通用批处理MapReduce,也有针对不同应用场景而特殊化的处理系统。

全栈式的Spark

Spark作为后起之秀,以其RDD模型的强大表现能力,不断完善自己的功能,逐渐形成了一套自己的生物圈,提供了full-stack的解决方案。其中主要包括Spark内存中批处理,Shark交互式查询,Spark Streaming流式计算三大部分。此外还有GraphX和MLBase提供的常用图计算和机器学习算法。



而Spark由于采用Scala编写,底层使用Akka,代码十分简洁。而且借助RDD的强大表现力,Spark各种子项目的代码量也很小。

Spark使用情况

援引自一篇博文,看一下Spark在互联网界的使用情况。

1. 腾讯

“广点通是最早使用Spark的应用之一。腾讯大数据精准推荐借助Spark快速迭代的优势,围绕“数据+算法+系统”这套技术方案,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上,支持每天上百亿的请求量。

基于日志数据的快速查询系统业务构建于Spark之上的Shark,利用其快速查询以及内存表等优势,承担了日志数据的即席查询工作。在性能方面,普遍比Hive高2-10倍,如果使用内存表的功能,性能将会比Hive快百倍。

2. Yahoo

“Yahoo将Spark用在Audience Expansion中的应用。Audience Expansion是广告中寻找目标用户的一种方法:首先广告者提供一些观看了广告并且购买产品的样本客户,据此进行学习,寻找更多可能转化的用户,对他们定向广告。Yahoo采用的算法是logistic regression。同时由于有些SQL负载需要更高的服务质量,又加入了专门跑Shark的大内存集群,用于取代商业BI/OLAP工具,承担报表/仪表盘和交互式/即席查询,同时与桌面BI工具对接。目前在Yahoo部署的Spark集群有112台节点,9.2TB内存。

3. 淘宝

“阿里搜索和广告业务,最初使用Mahout或者自己写的MR来解决复杂的机器学习,导致效率低而且代码不易维护。淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。将Spark运用于淘宝的推荐相关算法上,同时还利用Graphx解决了许多生产问题,包括以下计算场景:基于度分布的中枢节点发现、基于最大连通图的社区发现、基于三角形计数的关系衡量、基于随机游走的用户属性传播等。

  • 我们常见的音乐文件有很多种,但是最常见的是MP3格式,近日小编在网上下载了一首歌发现是APE格式的,一般的音乐软件无法打开它,智能用酷狗或千千静听才可以打开看,那么你知道ape与mp3有什么区别吗?下面爱站小编带你了解ape与mp3的区别。

      我们常见的音乐文件有很多种,但是最常见的是MP3格式,近日小编在网上下载了一首歌发现是APE格式的,一般的音乐软件无法打开它,智能用酷狗或千千静听才可以打开看,那么你知道ape与mp3有什么区别吗?下面爱站小编带你了解ape与mp3的区别。

      APE是什么格式?

      APE是流行的数字音乐文件格式之一。与MP3这类有损压缩方式不同,APE是一种无损压缩音频技术,也就是说从音频CD上读取的音频数据文件压缩成APE格式后,再将APE格式的文件还原,而还原后的音频文件与压缩前的一模一样,没有任何损失。APE的文件大小大概为CD的一半,APE可以节约大量的资源。APE也是日本一个著名服装品牌,不过在国内鲜为人知,因此我们通常所有的APE也多数是指APE音乐了,与MP3音乐类似,只是我们见的最多最常见的只有MP3音乐而已。

      APE音乐与MP3音乐的区别

      通过对以上APE是什么格式的介绍,相信的聪明的你也已经想到了APE音乐与MP3音乐最大的区别是什么了。APE音乐与MPE音乐最大的区别在于APE音乐是无损压缩音乐,也就是录制出来的APE音乐是最原始的,与点类似于现场的感觉,因为并不存在压缩损失。而MP3音乐则不同,MP3音乐是根据MP3压缩技术,是属于有损压缩技术,压缩前与压缩后会存在很小的差别,一般用户如果不仔细听或者对比很发发现。所以一般只有专业音乐人士可以很轻松地辨别音乐是MP3好是CD音乐或APE音乐.而MP3音乐的最大好处是压缩损失小,音质区别很小,因此广为流行。下面一起来看下APE和MP3音频格式的频谱图对比。音乐播放器哪个好? 视频播放器哪个好?

    APE和MP3音频格式的频谱图对比

      APE和MP3音频格式的频谱图对比

      通过以上APE和MP3音频格式的频谱图对比我们不难发现,MP3音乐在处于高频段几乎被截止了,而APE却保持着原始的音频波形,通过同一歌曲音乐音频波形对照就很容易知道APE与MPE的区别了。

      以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助~如果有疑问大家可以留言交流,谢谢大家对爱站技术频道的支持!

  • 相关推荐:

  • 带你了解ape与mp3的区别
  • 电脑黑屏的原因与解决办
  • 华为云电脑与网易游戏合
  • 华为云电脑与网易合作
  • 详解Linux ftp 命令行中下
  • 对话全球平台:变革与服
  • 2010年虚拟化领域趋势与
  • IntelAppUp与IBMSmartCube似曾
  • 虚拟化服务器与存储管理
  • 看英特尔与微软的客户端
  • 网站内容禁止违规转载,转载授权联系中国云计算网