hadoop面试题整理(四)

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-09-02 18:58
一. 问答题:

1. 用mapreduce实现sql语句select count(x) from a group by b?

2. 简述MapReduce大致流程,map -> shuffle -> reduce

3. HDFS如何定位replica

4. Hadoop参数调优: cluster level: JVM, map/reduce slots, job level: reducer, memory, use combiner? use compression?

5. hadoop运行的原理?

6. mapreduce的原理?

7. HDFS存储的机制?

8. 如何确认Hadoop集群的健康状况?

二. 思考题
现有1 亿个整数均匀分布,如果要得到前1K 个最大的数,求最优的算法。(先不考虑内存的限制,也不考虑读写外存,时间复杂度最少的算法即为最优算法)
我先说下我的想法:分块,比如分1W块,每块1W个,然后分别找出每块最大值,从这最大的1W个值中找最大1K个,那么其他的9K 个最大值所在的块即可扔掉,从剩下的最大的1K 个值所在的块中找前1K个即可。那么原问题的规模就缩小到了1/10。
问题:
(1) 这种分块方法的最优时间复杂度。

(2) 如何分块达到最优。比如也可分10W 块,每块1000 个数。则问题规模可降到原来1/100。但事实上复杂度并没降低。

(3) 还有没更好更优的方法解决这个问题。

  • 根据国外媒体报道,近日,VMware、微软、Citrix和其他一些厂商在虚拟桌面基础架构的集中管理方面已取得重大进展,使之成为可行的用户解决方案。

    对虚拟桌面产品进行3C测试时,三大厂商需要参考三个方面的因素:组件、容量、功能。

    组件包括服务和基本的物理组件,容量是指主机系统能支持的虚拟桌面数量,功能包括广泛的图形和外围设备的支持以及常见的桌面和业务应用支持。

    然而,除了对组件、容量、功能三个方面的因素评估以外,以下9大因素也是企业在应用中需要考虑的。

    1、许可证费用

    除了3C认证之外,许可证费也是非常重要的检验标准。

    没有一家厂商可以很容易的做一个类似的比较,所以需要得到每台机器的价格以及每年的销量。

    计算不同数量的年份会使结果有所不同,根据目前台式机和笔记本硬件的发展速度,建议查看三年的最小值和五年的最大值。

    至于物理硬件系统,则应该把用户实际设备的成本因素考虑进去。

    2、系统管理程序平台

    要确保数据中心运行的软件是正确的版本,包括服务器操作系统和系统管理程序平台,以保障虚拟桌面能处理想要运行的负载。

    例如,远程虚拟桌面产品的最新成就是支持全动态视频、多显示器和其他先进的显示设备、外围设备,但只有底层的虚拟化平台也是最新的版本才可以实现。

    值得一提的是,如果未来您的虚拟桌面运行的是先进的图形工作站,那么您需要添加一块专业的显卡。

    3、Connection broker

    VMware推出了基于IP的PCoIP(电脑),微软也即将推出RemoteFX用以增强用户的体验,这意味着 Connection broker必须经过测试以确保它支持这些最新最伟大的技术。

    如果您使用第三方Connection broker(例如多厂商的VDI环境),那最好要确保可选的第三方产品不会和虚拟机上的代理程序产生冲突。

    4、业务数据流

    远程虚拟桌面通常只是桌面管理员成功的有利条件之一。

    用户必须有业务应用,当然有很多应用交付产品提供这种服务。

    要确保候选的虚拟桌面产品和业务应用之间具有良好的互操作性。

    当然也可以只使用单一厂商的虚拟桌面和应用交付产品,但还是值得在实际环境中进行产品测试的。

    5、目录服务 #p#分页标题#e#

    这很简单,要保证当前的目录基础架构能满足虚拟桌面产品的需求。

    因为虚拟桌面、connection broker、业务数据流工具和许多其他组件可能会使用目录服务去确保用户的正常使用,所以目录服务和这些组件一起和谐的工作是必不可少的。

    6、Agents

    在虚拟机运行时,至少有一个组件在使用代理程序,以便实时掌握系统运行状况。

    我们需要测试这些代理程序,确保他们能够正确的报告诸如虚拟机运行时间、活动状态、性能状态,以及应用程序的使用许可信息等内容。

    7、离线操作

    某些虚拟桌面产品允许用户离线操作,如在飞机上或在远程办公室等网络连接可能不稳定的地方。

    如果这是用户可能会遇到的情况,那就运用虚拟桌面技术吧,虚拟桌面就算断开几天是甚至是一周都能运行良好。

    8、安全访问

    虚拟桌面给通过认证的用户提供桌面资源,企业需要规划自己的安全策略,以及该如何围绕虚拟桌面进行部署。

    在虚拟桌面环境中有很多紧急业务需要互相密切配合,因此需要确保环境中候选的VDI工具是合格的。

    9、物理连接

    即便离线操作取得了很大的发展,但审计物理链路与运行虚拟桌面的数据中心之间连接的可靠性还是必要的。

    例如防火墙、负载均衡、重复数据删除和其他特殊用途的网络设备需要置于用户与虚拟桌面设备中间,以确保VDI工具能正常工作。

    (责任编辑:admin)

  • 相关推荐:

  • 看三巨头虚拟桌面架构“
  • 面向行业应用联想发布虚
  • 微软明确2011年五重点:
  • 一拖三十实战NComputing桌
  • 解读应用程序虚拟化和桌
  • 如何打造完善的桌面虚拟
  • 运维更复杂虚拟化1.0面临
  • 桌面虚拟化技术:把握精
  • LucidVirtu方案支持I/A桌面
  • IBM推出桌面虚拟化服务每
  • 网站内容禁止违规转载,转载授权联系中国云计算网