hadoop平台工作梳理

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-09-23 14:10

文章出自 http://blog.csdn.net/lili72/article/details/41130743

lili72

数据平台:

一、 hadoop平台:Hbase,hive,storm,spark
1) 部署hadoop到多台机器,调整配置参数,保证正常运行。可能出现作业挂死现象。
2) 部署hive客户端,元数据库mysql等的配置,hive客户端是不参与集群的,mysql也是安置在另外一台服务器上集群的。
3) 部署Hbase,storm,spark
二 、 调度系统: 数据是每天接入可以看做是每天要跑的任务,而且任务间存在依赖,需要完善的依赖触发机制。
1) 把所有的脚本或者MR,包括数据接入,数据清洗,数据加工都配置成一个个的任务,记录这些任务的运行时间,是否存在依赖等
2) 各种类型的任务一定要可控,比如,MR,shell,hive命令统一记录对应信息,方便下面的监控预警系统。
三、 监控预警系统:
1) 平台监控与预警:
1.1 hadoop本身的监控系统,看job运行状况。
1.2 还有对lunix服务器的io,cpu,硬盘大小做监控,超过阀值,则发信息通知对应的负责人。
2) 任务监控与预警:
2.1 任务包括但不仅限于数据采集任务,ETL任务,同步到mysql的任务。这里的任务可能是一个MR,或者是一个shell脚本,或者其他程序。
监控这些任务的执行情况,记录报错日志,发送报错信息到对应负责人。
3) 数据质量监控与预警
3.1 检查当天数据源是否正常,比如文件个数,文件大小,文件到达时间等,如果数据源有问题,其实任务调度系统就停在数据源采集任务步骤。
3.2 检查各数据的指标项的同比,环比,增幅等,看是否有超过阀值的数据,有责预警。

四、 报表展示
1) 前端html5或者hightchars或者多维报表工具展现

数据架构:
1、 首先总体来说,数据是分3层的
1.1 s48-源数据层:
1.1.1 文件来源,分布到多台机器文本文件,按天或者按小时生成的文件,通过shell脚本,执行定时远程复制,把数据转移到hdfs中的hive里,按天或小时分区,甚至按分钟。
操作方式:hive -e \"LOAD DATA LOCAL INPATH '${SourPath}/${day}/${hour}' OVERWRITE INTO TABLE xxx_database.xxx_table PARTITION (dt='${day}',db=${hour});\"
优点:操作简便,缺点:无法确保数据的完整性,如果数据没有正常提供,load命令报错,需要在load之前加.ok 文件,确保文件已经完整提供。
时间点依赖,如果文件没有按时过来,该load命令需要推迟执行。(结合调度系统使用)
1.1.2 关系型数据库来源,比如mysql,sqlserver,oracle。通过定时sqoop到hive中,或者通过开源工具kettle同步到hive,或者写MR定制导入数据。
操作方式:分增量或者全量的方式,sqoop 命令,有时sqoop异常,比如源数据库所在网络组和集群不在同一个网段,源数据存在特殊字符JDBC-connective不支持
  • 不管是在工作还是学习我们都离不开计算机,对于IT行业从事者来说掌握计算机的使用技巧是很有必要的,我们使用的键盘上有个scroll lock键,估计很多人都不知道scroll lock键是干嘛的,那么现在爱站小编就为大家介绍scroll lock键的作用。

      不管是在工作还是学习我们都离不开计算机,对于IT行业从事者来说掌握计算机的使用技巧是很有必要的,我们使用的键盘上有个scroll lock键,估计很多人都不知道scroll lock键是干嘛的,那么现在爱站小编就为大家介绍scroll lock键的作用。

      其实英文学的很好的朋友通过scroll lock词组也可以大致了解到该键的作用,scroll lock直接翻译成中文则为:滚动锁,在电脑键盘中被称为“滚动锁定键”。该键目前在windows操作系统中很少被用到,对于多数朋友来说该键意义不大,但仍在一些应用软件中偶尔需要用到,比如在EXCEL中,在Scroll Lock关闭的状态下,使用翻页键(如Page Up和Page Down)时,单元格选定区域会随之发生移动。但是当我们按下了Scroll Lock键后,就不会移动个选定的单元格了。

      另外一种情况是在DOS中经常需要用到该功能键,在最初期DOS系统年代,由于屏幕显示为字符方式,每屏可显示25行,每行有80个字符,Scroll Lock键的作用就是在阅读较长的文档时进行翻滚,因此在当时十分有用,随着windows 可视话操作系统的出现,我们浏览网页已经不需要滚动键了,因此使用鼠标可更领过的控制滚动条,因此改键在windows系统时代(笔记本键盘失灵怎么办?),已经逐渐被淡忘了。

      scroll lock键在哪?

      scroll lock键如果是台式电脑键盘,则该键盘一般处于方向键的最上面,如下图:

    scroll lock键在哪

      如果是笔记本键盘的话,该键一般在由上测,有兴趣的朋友可以自行查找下,这里就不过多介绍了。

      如果您觉得这篇scroll lock键的作用的内容对您有帮助,麻烦给小编点个赞,如果您想查看更多相关内容就请关注爱站技术频道吧,感谢您的支持!

  • 相关推荐:

  • scroll lock键的作用
  • 对话全球平台:变革与服
  • Fedora15平台将极大增强系
  • 龙珠直播平台性能优化思
  • 一分钟了解蜂巢云平台
  • 史上最倒霉网管工作总结
  • 这样工作的程序员才能拿
  • 分享3个可低价购已备案
  • 切记,互联网+法院要重
  • 河北举行智慧物流高峰论
  • 网站内容禁止违规转载,转载授权联系中国云计算网