运行sparkshell时遇到的主机地址的错误

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-07-15 20:34

下载了spark 1.4,运行spark-shell时遇到以下错误:

java.net.UnknownHostException: UKON-M-Q0EP: UKON-M-Q0EP: nodename nor servname provided, or not known
at java.net.InetAddress.getLocalHost(InetAddress.java:1473)

这并不是spark特有的错误,而是Mac上使用java常见的一个问题,是application在查询主机对应的ip地址时无法查询到ip地址。

其中UKON-M-Q0EP是我Mac的主机名,可以通过Mac terminal的hostname命令查询到:

UKON-M-Q0EP:~ ukon$ hostname
UKON-M-Q0EP

但是系统却不能找到此主机名的ip地址,(其实我是不太能理解为什么不能找到,系统就不能智能一点吗?但的确是不能),这可以通过下面的命令来验证:

UKON-M-Q0EP:~ ukon$ ping UKON-M-Q0EP
^C

但是如果我在/etc/hosts文件中加入此主机名与127.0.0.1就能够ping到了:

UKON-M-Q0EP:~ ukon$ ping UKON-M-Q0EP
PING ukon-m-q0ep (127.0.0.1): 56 data bytes
64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time=0.056 ms
64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.133 ms
64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.121 ms
64 bytes from 127.0.0.1: icmp_seq=3 ttl=64 time=0.134 ms
^C

可见,系统的确需要我们手动的在/etc/hosts中配置才能够找到主机的ip地址。

再次运行./bin/spark-shell,就能够成功了

UKON-M-Q0EP:spark-1.4.0-bin-hadoop2.6 ukon$ ./bin/spark-shell
2015-07-04 00:12:04.604 java[31755:1803488] Unable to load realm info from SCDynamicStore
Welcome to
__
/ / _ _/ /__
/ / _ `/ _/ ‘/
// ./_,// //_ version 1.4.0
/_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)
Type in expressions to have them evaluated.
Type :help for more information.
Spark context available as sc.
SQL context available as sqlContext.

scala>

DONE!

然后,成功的运行了一段spark代码,统计一个本地文件的行数和查询第一行的文本内容:

scala> val textFile = sc.textFile(“README.md”)
textFile: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at :21

scala> textFile.count()
res0: Long = 98

scala> textFile.first()
res1: String = # Apache Spark

很酷!

  • NOVELL作为众人瞩目的中心已经是很久以前的事情了。

    他们的光辉时代还要追溯到10多年前NetWare和GroupWise盛行一时的时候,那时的NOVELL就是整个游戏的核心。

    而这些年关于NOVELL,你可能听到更多的是“费了九牛二虎之力去做一件事,却一无进展”。

      这点毫无疑问,2003年面世的SUSE Linux操作系统也曾经名噪一时,但是在与红帽企业版Linux操作系统的竞争中也败下阵来。

    自那时起,NOVELL就一直处在一蹶不振的状态。

    今年3月,NOVELL收到来自对冲基金公司Elliot Associates的收购标书。

    NOVELL董事会认为公司的市场价值超过9.5亿美元,每股价值5.75美元。

    据称那时NOVELL也在寻找其他的选择,“出售公司”也在选择之列。

      美国IT专栏作家保罗。

    鲁宾斯强调说“来自NOVELL真正的信号是‘快来买下我吧,差不多的价格就行’”。

      或许没人对此感兴趣,因为自那以后就偃旗息鼓了。

    这可能也是为什么NOVELL在周三的公告中宣布拓展他们与VMware的合作伙伴关系看起来特别有趣的原因。

    NOVELL透露,VMware将负责销售和支持SUSE Linux Enterprise Server (SLES)操作系统,并在SLES环境中对其虚拟应用工具产品部署虚拟化。

      交易的细节也非常简单明了。

    选择在VMware vSphere虚拟机上配置SLES操作系统的用户将收到一份SLES订购服务,包括补丁和升级都可以作为他们购买最新VMware vSphere许可证授权和支持的组成部分。

    另外,两家公司还共同合作帮助用户在云上完成他们以SLES为基础的工作负载。

      更重要的是,VMware选择SLES作为他们虚拟应用工具的操作系统。

    虚拟应用工具是包含在操作系统和应用软件中的预装虚拟机。

    企业在配置的时候所需的专业经验很少,这样做也是为了减少vSphere或ESX的复杂性。

      通过选择SLES作为首选操作系统,VMware避开了其他的竞争对手。

    我们推测VMware可能是想在考虑收购部分公司之前,先用NOVELL做个试点。

      想象一下:多数其他的虚拟化厂商都有自己的管理程序和操作系统。

    微软公司有Windows Server 2008和Hyper-V;红帽旗下有红帽企业版Linux操作系统和KVM;甲骨文通过收购Sun,现在也拥有了Solaris系统和VirtualBox。

      VMware公司公司将vSphere作为数据中心操作系统来定位,VMware ESX通常指的的是操作系统。#p#分页标题#e#

    自从VMware的产品在裸机上运行后,VMware就不再依赖操作系统来实现其功能,因此可以兼容任何X86的选择。

      另一方面,NOVELL公司对虚拟化的应用程度还没有达到红帽的水平。

    与VMware达成合作伙伴关系也是他们实现虚拟化的一种方式;被收购则是另外一种方式。

    (责任编辑:admin)

  • 相关推荐:

  • 服务器虚拟化能否挽救
  • 迈入新时代虚拟化2.0理念
  • 虚拟化时代IT部门应掌握
  • 网易服务器瘫痪9小时后
  • 如何实时监控服务器状态
  • DT时代|新一代数据中心趋
  • 全球比较大视频网站“海
  • 老司机专享丨“猎时行动
  • 用Firebase写了个实时聊天
  • 人工智能火热时期,联想
  • 网站内容禁止违规转载,转载授权联系中国云计算网