数据中心

  |  手机版

收藏网站

投稿QQ:1745232315

IT专家网,汇聚专业声音 解析IT潮流 IT专家网,汇聚专业声音 解析IT潮流

网络

专家视点在现场环球瞭望
IT专家网 > 数据中心

如何进行 大数据顶层设计

作者:匿名出处:论坛2016-05-05 19:20

  前言:大数据是一个事关我国经济社会发展全局的战略性产业,大数据技术为社会经济活动提供决策依据,提高各个领域的运行效率,提升整个社会经济的集约化程度,对于我国经济发展转型具有重要的推动作用!2016年,由中国首席数据官联盟与网加时代网发起并承办,北京大学信息化与信息管理研究中心、中国新一代IT产业推进联盟、数邦客协办的“影响中国大数据产业进程100人”大型人物专访活动全面启动,被采访对象分别来自政府、产、学、研、企各个领域,他们将从不同角度,不同层面向大家阐述当前大数据产业热点、难点、疑点问题,为中国大数据产业健康、持续发展探索经验、保驾护航,敬请关注!

  第二十二期专访人物:中国首席数据官联盟专家组成员,“工业互联网+”联盟秘书长,一线大数据国际联盟(筹建)创始人李正海

李正海

                                         图1 李正海

  李正海:如何进行大数据顶层设计?

  李正海,“工业互联网+”联盟秘书长,一线大数据国际联盟(筹建)创始人,高级工程师,高级程序员。1993年毕业于北方交通大学机械系铁道车辆专业。主要业务领域:信息透明化及可视化、知识创新、创业孵化。

  本期特邀嘉宾中国首席数据官联盟发起人鲁四海,就如何进行大数据顶层设计向李正海先生发起提问。

  鲁四海:大数据领域很少有人提到顶层设计,所以先请您给讲一下您眼中的顶层设计是什么?

  李正海:好的,顶层设计是需要综合运用系统论、博弈论、控制论的方法,从全局的角度,对大数据工作的各方面、各层次、各要素统筹规划,以集中有效资源,高效快捷地实现大数据发展目标。

  顶层的定位:既然是顶层设计,那么首先就必须有顶层的定位,在实际的运作中,编制顶层设计的人员,往往不是企业的最高领导,这就需要编制者把自己定位在最高领导的层面来看待问题,而作为大数据项目,必须体现足够的高度,这就意味着还需要以更高的角度来定位,一般建议至少再提升三个层次。具体而言,例如一个工厂制定大数据目标,可能编制者是企业的CIO,CIO就必须首先把自己提升到CEO的层面,再扩展三层,那就分别是集团层面、行业层面、地区经济层面(供应链生态层面)。要素梳理:然后是顶层设计需要考虑各要素,从全局角度看待,运用系统论的方法,建议可以按照高度、长度、角度的方法进行设计。高度方面例如按照组织维度,在企业可以按照工人、班组长、车间主任、副总经理、总经理这样的高度不断上升;长度方面针对流程,例如企业的合同发展流程,这个流程需要实现全流程、全生命周期,从询价、合同、付款、发票、发货、收货、验收、安装调试、售后服务,并指导服务中产生的问题促进产品的改进;角度也可以理解为维度,大数据涉及多个维度,例如企业中的产品角度、商务角度、技术角度、工厂角度、设备角度等。分析关系:需要分析系统与要素之间的关系,要素与要素之间的关系,这种关系是因果关系、关联关系、逻辑关系等等。在数据层面上,需要考虑数据的总分关系、比较关系、时序关系、空间关系、关联关系等等,这种关系需要注意的是不仅仅要考虑单个要素与单个要素之间的关系,更需要考虑多要素之间的关系,从而构建模式、模型。要素提升:针对各种要素,需要分析要素的现状、需求,确立要素的发展目标、资源分配、具体任务、行动计划和执行保障措施等。这是大数据顶层设计的颗粒化考量,也是大数据顶层设计能否可行的关键。

  综合平衡、创新为先,在前面的工作完成后,从系统的层面综合平衡,实现统筹规划、分布实施,以效益驱动为原则,不断突破重点要素发展,从而形成滚雪球的良性循环,在各个组织、流程、业务方面实现创新,从而形成一个高水平的大数据发展顶层设计。

  鲁四海:大数据顶层设计看来确实是一个复杂的工程,那么有哪些原则是必要遵循的?

  李正海:在进行大数据顶层设计时,需要收集足够的信息,确立多个方案,与相关的资源相匹配。大数据顶层设计的内容首先需要有可行性,是可实施可操作的,表述简洁明确,实施量化管理。然后需要有关联性,大数据项目不是单元项目,抽一发而动全身,因此对于各个要素之间的联动关系、博弈关系需要理顺,例如各个部门之间的利益平衡问题。第三是技术先进性,大数据是典型的技术密集型事业,因此需要有国际化视野,结合国际发达国家、国际500强公司的层次进行设计,并且不断动态创新。第四是有经济性,综合平衡大数据的投入产出,充分利用互联网时代的外部资源,实现生态发展,优化资源配置,从而获得较高的经济与社会价值。

  鲁四海:我们知道制定发展目标是顶层设计的一项重要内容,那么应该如何来制定大数据发展目标呢?

  李正海:首先大数据发展的目标制定需要把握大目标、长期目标、预测目标的思路。所谓大目标就是目标的制定需要足够宏大、足够先进、足够创新,对经济、社会、企业发展有着重大影响,就像美国的登月计划,通过重大目标,促进大家为之努力,为之产生激情,端正态度,不懈努力。目标制定是长期的,不是短期的,因此可以包括短期的紧急的项目,但是这不是重点,重点是相对长期的目标。例如考虑10年,重点3到5年,这样通过一段时间的工作,可以获得一定的有规模的收益,有着明显的改进创新。第三是预测为核心,这种预测是顶层设计的基础,首先需要利用大数据对单位的发展进行预测,更要预测整个社会、经济、政治发展,再进一步考虑如何发展大数据预测技术本身。第二大数据的目标确立可以从三个维度来考虑,这三个维度分别是业务目标、数据目标和对标目标。

  大数据通常理解是项技术,是物理世界向虚拟世界的转变,因此数据是为业务服务的,针对什么样的业务发展目标,那么就可以根据业务发展来制定大数据目标。笔者更建议针对业务问题,利用数据思维的方式进行业务问题的提出、收集数据、分析,提出解决方案,再分析评价,将解决方案进行实施,而不是为了大数据而大数据,这是要排一位的。单位的战略发展目标指引大数据发展目标,大数据促进战略发展目标优化创新。然后才是数据目标,数据目标可以套用亚信武源文武总的说法,数据大到有商业价值就是大数据,那么在没有达到一定的数据规模之前,往往也难于发现一定的价值,因此需要付出一定的成本来设置数据目标,让数据的总量过了阀值,例如曾经的一份材料中介绍,传统的医疗分析,数千样本就很难得,但是这样的样本数,发现潜在规律,例如遗传基因缺陷,数据量是不够的,而到了2万以上的样本数,才会显著。但是针对数据,我们需要注意的是,仍然不是为了大数据而无限制地扩展大数据,需要考虑收益与成本之间的平衡。

  第二是竞争目标,例如其他国家、其他部委、集团、企事业单位,有什么样的大数据规划,自身也对应地制定相应的顶层设计,但是这种设计需要不同的策略,例如采取的是追随策略,还是在别人的基础上的超越策略,还是充分考虑了各方情况后,采取的创新策略。

  第三大数据发展目标可以分成应用目标、技术目标、基础保障目标。应用目标方面包括单元应用目标、内部的集成应用目标、外部集成目标、数据共享目标。在技术目标方面可以按照大数据的业务流程,从数据的采集、传输、存储、清洗、装载、统计分析、数据挖掘、可视化、数据应用等多个方面考虑提升技术水平,购置相关资源,进行人员培养,结合业务应用,从而达到既有点的先进性,又有面的普遍性。在基础保障目标方面,确立大数据项目的资金投入目标、组织保障目标、制度文化建设目标,完成基础设施投入,从而保障大数据顶层设计的落地执行的可靠有效。

  鲁四海:有了发展目标,是不是就要去规划重点任务,通过抓重点任务,实现大数据发展目标,那么大数据重点任务又当如何选择?

  李正海:是的,发展大数据,需要确立大数据的重点任务,这些重点任务往往也是有关联关系的,不同性质的单位,采取的重点任务也会不同,因此从大数据的产业布局方面来综合选择大数据的重点任务。大数据基础设施,对于大数据的运营支撑单位,例如电信企业、移动、电信、联通这样的,实现数据存储、网络建设是关键,而对于华为中信这样的企业,如何提升网络设备、客户终端是关键,而对于大型企业,构建自己的数据中心、内部安全网络是关键。而对于中小企业,如何学会使用基于云的基础设施成为重点。大数据应用技术,对于掌握大数据的公司,例如金融、电信、医疗等等,自身可以利用大数据进行分析应用,需要培养自身的人员队伍,但是毕竟大数据是个非常专业的领域,利用大数据技术促进政府治理、企业发展、升级改造是很多单位并不具备的实现,从产业布局看,例如亚信这样的企业可以有巨大发展机会,而很多中小型企业,利用大数据技术与大型单位合作,选择细分领域,也会有很多发展机会。大数据相关产品,随着经济全球化,互联网发展把世界变成了地球村,大数据的发展如火如荼,核心就是很多细分领域因为这种全球市场也变得有经济规模了,因此发展大数据产品获得了很多投资机构、天使的青睐,而且结合很多地方政府治理、惠民服务、企业发展的细分需要,也有大量的空白需要填充。

  大数据云平台,大数据不是一个独立单位的业务,真正做好大数据,需要有一定的数据规模,这种规模不仅体现在数据量上,更体现在数据维度,数据时效,乃至数据质量等多个方面,针对地区、行业、供应链的大数据云平台,实现数据的统一的存储、集成、共享、分析应用,才会获得相应的价值。但是我们的建议是这种平台不再是传统的单中心模式,而是分散中心模式,但是这种中心也不是过度颗粒细分的,而需要一定的规模,例如笔者反对铺天盖地的数据交易中心,但是如果各地政府,结合自身的资源,例如实现结合行业的多数据中心则是合理的。基础理论研究,中国的大数据事业已经上升到国家战略,但是我们国家的原创性是不足的,而在中国巨大的人口红利下,中国的高校、研究机构有了很好的弯道超车的机遇,各单位组建有规模的力量,针对细分领域进行基础理论研究,例如算法、模型扥,并加强科技成果转化,也会对大数据的发展起到重要作用。模式创新,这里的模式对于企业是商业模式,对于政府是治理模式,服务模式,这种模式不再是单点的优化、改进,而需要全组织、全流程、全生命周期来系统化创新,在多点进行突破,从而保证最终的结果优化,这种模式下,就需要物联网、互联网、云计算、大数据的协同应用,从而实现作业、流程、经济价值、管控、决策的协同优化,提升顾客体验、满足人民生活需要。

  鲁四海:我是做技术的,所以我特关心在顶层设计中是不是应该要去确定要采用哪些关键技术?

  李正海:要的,大数据是个系统工程,做好顶层设计需要多方面考虑,而这些方面也需要进行顺序排列,确立权重,笔者认为文化与制度、数据处理相关技术、数据标准、安全隐私四个方面十分重要。文化与制度、组织建设在大数据领域需要上升到技术层面,这种话题的核心是针对大数据应用,如何量化管理单位的相关文化、制度,保障大数据相关人员的水平、综合能力以及其发挥的绩效,通过量化管理思维的锻炼、用数据说话的习惯养成,需要很多技术支持,在这个领域有所突破对于大数据工作的开展有画龙点睛的意义。数据处理相关技术,涉及大数据流程的各项单元业务,如大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据检索、大数据可视化、大数据应用、大数据安全等。基础技术方面包括语音识别、图像、视频识别、文字语言分析、人工智能、机器学习、数据挖掘等等;在基础设施方面的物联网、云计算、服务器、智能能源等等;在应用方面智能制造、智慧城市、智慧生活等。在产业链方面则包括解决方案、公共云平台、政府PPP服务等。数据标准,实际上这个数据标准需要泛化,不仅指数据本身的标准,也包括数据的作业标准、数据的应用标准,例如术语定义、统计方法、基础数据、知识库、模型表达、算法,各种系统的接口规范、自动化处理规范、互操作规范,结合人的认知规范、交互规范、行为指导规范;数据的质量、交易、产品、安全保密等。数据安全,数据涉及个人隐私、商业秘密、国家安全,需要在安全与应用之间取得平衡,可以从数据存储、数据传输、数据应用多个层面进行规划。不仅仅是保障数据的丢失、被窃、篡改,更要考虑如何实现数据的脱敏,实现数据的安全存储、灾难控制、日常管理,制定相关的管理制度,法律法规,从而在安全的基础上,实现大数据事业的发展。

  鲁四海:再好的设计也要落地才能发挥价值,如何保障落地执行就很重要了,在您看来大数据顶层设计中应该明确哪些方向的保障措施才能使顶层设计真正落地?

  李正海:在顶层设计中,需要设计组织保障、资金保障、文化制度保障、技术先进性保障、安全可靠保障,从而形成全方位、立体的、全流程的保障措施,促进大数据的良性滚动发展。组织保障:在单位中构建大数据的领导小组、工作组,制定人员规划、职责规划、绩效规划,建立沟通协调机制,加强内部与外部资源的联系,结合自身特色,制定组织发展规划,统一思想,构建大数据发展的人才梯队。资金保障:规划顶层设计费用、启动项目费用、长期投入费用,结合单位业务发展需要,综合短期、中期、长期,充分利用政府扶持资金、企业自身投入资金,同时积极利用资本市场,另外充分利用合作单位资金,联合攻关,共投入、共收益。利用大数据促进单位业务改进,并可利用大数据交易市场实现大数据资源收益。文化制度保障,利用法律法规保障大数据安全可靠,促进数据开发,在企事业单位内部,激发大数据的量化文化,利用制度保障信息化项目、大数据项目的执行、管理、决策,促进创新,保证数据质量、数据时效,从而促进大数据产生经济价值、社会价值。技术先进性保障:大数据发展突飞猛进,单独一个单位的力量有限,因此必须内外结合,企业内部建立人才培养模式,构建多层次、多类型的大数据人才,在单位内部应用大数据、推广大数据,不断跟踪国内外大数据的发展现状、趋势,建立与高校、研究所的合作关系,建立大数据专家资源池,积极参与国际交流合作,充分利用国际资源,引进人才、产品、技术、服务,参与、开拓国际大数据市场,参与制定大数据国际标准。

  鲁四海:最后一个问题,要做好大数据顶层设计,应该怎么样去开展顶层设计工作?

  李正海:大数据顶层设计工作是项任务艰巨、技术难度大、跨度大的复杂工作,可以按照如下的模式进行相关工作。构建大数据顶层设计的内部组织,包括领导小组、工作组,领导小组一般由单位一把手担任,成员包括各个部门的负责人等,领导小组负责重大决策、顶层设计初步框架、最终结果的审定工作以及工作组人员构成等。工作组一般可以由单位主管信息化工作副职担任,但是更好的模式是轮换制度,例如初期由业务副总担任,例如工厂的生产副厂长,后期由工厂CIO担任,工作组的成员则包括各业务单位人员、重要相关部门副职、具体负责人员担任。制定顶层设计的方案可以分成几个阶段,每个阶段产生不同的产出物,例如首先是大数据顶层设计草案,然后是大数据顶层设计可行性方案,最后是大数据顶层设计的执行方案。在草案阶段,由领导小组商定,可行性方案则由工作组,会同外部专家,采取会议、沙龙等方式,深入探讨,对企业进行调研,并分析市场环境、社会环境、国际发展动态,研究研发趋势,最终形成可行性方案,并提交领导小组讨论、优化改进、审定。再在顶层设计可行性方案基础上,制定大数据顶层执行方案,规定组织安排、发展计划、重点任务、关键技术、必要的保障措施等、起步项目等。在工作安排中,尤其强调与外部的资源合作,首先是单位紧密相关的单位,例如供应链上下游单位,然后是同行、政府相关管理部门、本单位地区政府部门,然后是高校、研究机构、著名国际化公司,相关互联网公司,跨界的大数据应用有显效的单位等,从而保障大数据顶层设计工作的智力水平、信息完整性、集成性、可持续发展性。

  中国首席数据官联盟/中国CDO精英俱乐部是国内首个以CDO为核心的技术型非盈利性联盟组织,遵循自愿、平等、合作的原则。其发起人为刘冬冬、鲁四海、葛涵涛。我们希望成为中国大数据产业创新与发展推动者,为实现中国大数据产业全球领先而努力。我们将一如继往的打造跨行业、跨领域的商业精英交流平台,提升CDO在企业中的地位,提升企业的数据化水平,将数据变为未来企业发展的核心驱动力并最终推动中国大数据产业整体发展水平。

相关文章

关键词:大数据 ,大数据顶层设计

责任编辑:杨爽

网警备案