数据中心

  |  手机版

收藏网站

投稿QQ:1745232315

IT专家网,汇聚专业声音 解析IT潮流 IT专家网,汇聚专业声音 解析IT潮流

网络

专家视点在现场环球瞭望
IT专家网 > 数据中心

英特尔专家谏言五大策略建设大数据平台

作者:雷霆出处:IT专家网2013-05-21 09:02

  【IT专家网】在日前举办英特尔大数据技术及行业应用论坛上,英特尔数据中心软件部售前顾问黎超给出了建设大数据平台的五个建议,包括工业标准硬件、开源软件与商业软件相结合、横向扩展架构、弹性系统,以及能和现有平台集成。

  黎超强调,Hadoop不能解决所有的大数据问题,需要和企业其他的组件进行紧密集成,形成一个完整有效的大数据处理方案。

  根据IDC的数字宇宙的研究,全球不同设备产生的数据,预计2020年将会突破40ZB,而中国的整个数据量届时将超过8ZB,增长率将是2012年的23倍。从这些数据中汲取业务价值,是每一个企业组织的热切渴望。

  黎超就是针对传统数据平台应对当前的大数据应用需求所面临的巨大挑战给出上述建议的。众所周知,当数据量爆炸增长,传统的数据处理方式通常会力不从心,这也是大数据技术成为热门的一个重要原因。

  英特尔数据中心软件部售前顾问黎超

  大数据的共性需求与挑战

  大数据在金融、电信、医疗和智慧城市等多个领域都能发挥巨大的作用,黎超分析了当前大数据建设过程中的五个共性需求,以及传统平台在处理这些需求面临的挑战。

  五个共性需求包括:

  ·需要更广泛的数据视角。除了企业内部自身产生的业务数据,还需要从企业外部广泛的数据源进行数据的收取,比如从社交网络收取数据。

  ·更长期的持有原始格式的数据,以便我们进行数据模型的打破和重组。最终实现不断变化的分析需求,最小化数据失真,实现数据全方位的洞察。

  ·数据本身是有时效性的,面对海量数据的时候希望用最快的速度实现数据的价值

  ·数据平台有非常良好的可用性来满足非常高的业务连续性的需求,必须随时可以提供服务。

  ·良好的系统弹性。在数据增长的时候,可以根据数据规模随时进行资源的再分配和重组,即云计算的技术手段。

  面对这些需求,当数据爆发性的增长,传统数据平台面临诸多挑战,包括如下几点:

  ·持有数据的成本。传统方式用大量的高端磁盘阵列,用很好的服务器支撑数据应用,产生的价值可能比投入的资源还要高,得不偿失。

  ·传统数据平台的性能。数据从网格时代的TB级涨到云计算时代的PB级规模的时候,但对响应时间要求却没有变化,所以新平台必须很好地支持数据分析的实时性的要求。

  ·传统平台的可用性、业务连续性保障。传统BI的数据库平台,通常采用冗余的方式(如备份)来保证数据不丢失。但是当系统硬件真正出现故障的时候,依然会造成业务上的停顿。

  ·平台的弹性。需要根据业务发展需求动态地调整资源使用,避免重要应用和次要应用产生资源冲突。

  建设大数据平台的五个建议

  针对这些需求和挑战,黎超认为,企业建设大数据平台可以采用以下的五个策略:

  第一,硬件上尽量使用符合工业标准的开放平台来降低大数据物理平台的投入成本。

  第二,软件平台上尽量采用开源平台和商业化相结合的软件。开源的好处是灵活多变,可以支持更多需求,可以随时根据企业的需求变化进行相应的改造。但是它的缺点是没有商业化的支撑,当出了问题的时候不知道找谁进行相应的服务。所以把二者结合在一起,如同Linux一样,才能真正做到大数据平台无论是初期建设成本还是后期维护成本都是可控的。

  第三,这个平台应该通过硬件的增加来实现系统的性能和存储的线性扩展。如果拿牛拉车比喻这个系统,一个车套用牛的数量是有限的,只有不断地增加车的数量才可以同时拉更多的货物。所以,要把传统的纵向扩展的思维变成了横向扩展的思维。此外还不应该依赖于硬件框架来保证系统的高可用性,软件架构上就应该保证整个系统的可用性。

  第四,整个系统具有良好的伸缩性,可以根据业务变化进行资源动态调配。

  第五,应该保护原有的投资,能跟以前的数据平台进行紧密的集成,为用户形成完整有效的大数据解决方案。

  黎超提醒说,就好像没有一种万能灵药能解决所有的病症,数据平台也应该根据实际应用场景进行取舍。最有效的方案是把新的数据平台和原有的数据平台进行相应的集成。

相关文章

关键词:英特尔,大数据,Hadoop,架构,在现场

责任编辑:周钜翔

网警备案