GPDB并行加载测试

作者: 云计算机网 分类: 云计算知识 发布时间: 2016-09-12 06:10
测试文件信息
10G Dec 12 14:10 A111G Dec 12 14:32 A210G Dec 12 14:10 B111G Dec 12 14:35 B2
GPFDIST方案一 单台服务器
drop table if exists host_1;drop EXTERNAL TABLE if exists exttable_ext_1_host;drop table if exists host_1_err;create table host_1 (like sourcetable) distributed randomly;CREATE EXTERNAL TABLE exttable_ext_1_host (like sourcetable) LOCATION ('gpfdist://10.2.22.81:9999/A*') FORMAT 'text' (delimiter as ',' null as '' escape 'OFF') ENCODING 'UTF8' LOG ERRORS INTO host_1_err SEGMENT REJECT LIMIT 100 PERCENT;insert into host_1 select * from exttable_ext_1_host;
方案二 两台服务器
drop table if exists host_2;drop EXTERNAL TABLE if exists exttable_ext_2_host;drop table if exists host_2_err;create table host_2 (like sourcetable) distributed randomly;CREATE EXTERNAL TABLE exttable_ext_2_host (like sourcetable) LOCATION ('gpfdist://10.2.22.81:9999/B1','gpfdist://10.2.22.82:9999/B2') FORMAT 'text' (delimiter as ',' null as '' escape 'OFF') ENCODING 'UTF8' LOG ERRORS INTO host_2_err SEGMENT REJECT LIMIT 100 PERCENT;insert into host_2 select * from exttable_ext_2_host;
GPLOAD方案三

gpload单台

---VERSION: 1.0.0.1DATABASE: gpdbUSER: gpadminHOST: 10.4.2.4PORT: 5432GPLOAD:  INPUT:    - SOURCE:        LOCAL_HOSTNAME:          - 10.2.22.81        PORT: 9999        FILE:          - /data/ptest/A*    - FORMAT: text    - DELIMITER: ','    - ESCAPE: 'OFF'    - NULL_AS: ''    - ENCODING: UTF8    - ERROR_LIMIT: 10000    - ERROR_TABLE: host_1_err  OUTPUT:    - TABLE: host_1    - MODE: insert
方案四

gpload两台

测试结果

为了防止缓存干扰测试,经过多次测试结果如下,可以发现方案二明显优于方案一

. 文件信息s文件 | 文件大小 | 入库大小 | 插入记录数量 | 异常记录数量------| --------------------------------------------方案一 | 21GB | 25GB |49826141 |2199方案二 | 21GB | 25GB | 52108083| 1867

. 加载耗时

不清楚为什么第1次读取的时候(测试序列一的方案一/二)和之后的差别这么大可能与gpfs有关系

方案四的B机文件读取失败,而且整个测试过程中方案三/四感觉并不是非常稳定(hang住),鉴于方案三对比方案一并没有太大优势,而且通过观察方案四可以发现A机加载的时间已经达到22.24s,对比方案二可能并不会有优势,因此未完成测试

测试次序 方案一 方案二方案三方案四测试次序一 440403.263 ms 204201.096 ms36.41 seconds22.24 seconds+B?测试次序二 35854.612 ms 26303.240 ms方案三方案四测试次序三 42007.990 ms 25593.730 ms方案三方案四测试次序四 43795.502 ms 25706.479 ms方案三方案四测试次序五 36576.681 ms26405.977 ms方案三方案四

-EOF-

  • ActiveX 控件是一种可重用的软件组件,通过使用 ActiveX控件,可以很快地在网址、台式应用程序、以及开发工具中加入特殊的功能。如,StockTicker控件可以用来在网页上即时地加入活动信息,动画控件可用来向网页中加入动画特性。上网浏览如果出现在IE8或者IE9无法加载Activex 控件的情况,这可能是该 Activex 控件未包含数字签名所致,默认情况下IE的安全级别是禁止加载未签名的 ActiveX 控件。我们现在就来学习下解决IE8/IE9不能加载 Activex 控件步骤来解决办法。

    步骤1、以管理员身份运行IE浏览器

    如果是Windows 7操作系统。先关闭IE浏览器,然后从开始菜单中找到 Internet Explorer,右击,选择以管理员身份运行,然后重新打开网站安装 ActiveX 控件。

    以管理员身份运行IE浏览器

    步骤2、如果仍然不行请继续下面的操作

    第一步、在键盘上按Alt+T,然后单击工具- Internet 选项。

    Internet 选项

    第二步、切换到安全选项卡,在当前网络区域中,取消勾选启用保护模式。并单击自定义按钮进入安全设置自定义窗口。

    取消勾选“启用保护模式”

    第三步、在ActiveX 控件和插件区域,将下载未签名的 ActiveX 控件配置为提示。

    将“下载未签名的 ActiveX 控件”配置为“提示”

    第四步、单击确定保存修改。 弹出警告窗口后,按是继续。

    IE弹出警告窗口

    第五步、按两次确定退出,弹出警告窗口后,仍然按确定关闭。

    第六步、重启浏览器安装 ActiveX 控件。安装并使用结束后,别忘了重新勾选上启用保护模式,并将下载未签名的 ActiveX 控件重新配置为禁用以增加保护。

    如果关闭保护模式,那么IE9会不会有安全问题?

    关于这个问题,可以先了解一下什么是IE保护模式,还需要了解保护模式具体发挥的作用。有兴趣的童鞋不妨浏览此文章:IE保护模式替我们保驾护航

  • 相关推荐:

  • IE无法加载Activex控件的解
  • Drools从字符串中加载规则
  • JPPF
  • WebGL启动加载触发更新流
  • 基于Hama平台的并行Find
  • Hadoop与分布式开发
  • Hadoop加载自有资源文件
  • [NHibernate]延迟加载
  • [NHibernate]立即加载
  • Openstack学习笔记之Neutr
  • 网站内容禁止违规转载,转载授权联系中国云计算网