欢迎进入上海某某电子仪器有限公司网站
全国服务热线
021-49393958
2019大数据产业峰会|数梦工场章海锋:《数据资产管理挑战与实践》
时间: 2019-07-10 12:15 浏览次数:
为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,2019年6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办,大......

为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,2019年6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办,大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。

会上,来自工业和信息化部的领导,我国众多优秀大数据领域服务商、行业应用客户、研究机构、地方大数据主管机构的领导和专家,将对大数据政策、产业、技术的现状与趋势等内容进行交流探讨。

来自数梦工场大数据产品线总经理章海锋为我们带来了《数据资产管理挑战与实践》的精彩演讲。

章海峰

各位来宾大家下午好,数梦工场是一家提供专业大数据软件产品和服务的一家公司,我们自己本身不产生数据,我们所做的事情是帮助客户做数据治理、数据管理上的工作。

我们在大量的行业实践中发现,公安、电力有大量数据的场景,数据集成的过程中存在着一些大的挑战。这里有一个国网省公司,有13万张表,要做数据同步集成,2万张表要做实时增量同步。这个过程中面临着非常大的挑战,是性能问题。我们发现产品上去以后,相对于效果的提升是非常明显的。原来一家国外公司提供的软件,在一个场景里需要耗费22小时,用我们的软件上去之后把时间降低了2小时,解决了客户长时间等待的问题。

特别是有大量的多元异构数据集成的情况,现在很多地方的客户看到,是多种软件加多种定制脚本的方式来做数据的集成。碰到的问题,除了难以满足数据稳定供应的挑战,对后期运维也带来了很大的问题。因此我们自研,做了全分布式集成系统结果,上午我的同事也进行了相关的分享。

数据标准化是数据资产管理里面碰到的非常大的挑战,大数据场景里大量数据要做标准化工作,对人力的消耗,对大数据平台开发人才的短缺困难上来说,会带来大量的人工投入的问题。数梦工场基于在政务领域的积累,我们把AI技术和大数据能力,以及在行业的一些积累,行业的知识融到一起,产生了非常好的效果,这是我们实践的案例,省级综合人口库的建设。我们从原来30人月的时间,降低到了10人天。我这里有一个论点,智能化将成为助力数据中台建设非常重要的方向。

海量数据的加工处理类似于大型自动化加工生产流水线,一旦出了问题,如何快速定位?源头数据变化,如何及时评估出来对下游业务的影响,我们提供全自动、全链路的数据血缘技术,精准的辅助数据问题的定位以及影响的分析。

特别是在政务领域有大量的实践,海量数据上来,大数据平台要做数据资产管理、数据治理,很大的问题是大数据人才的短缺。目前我们看到的是在大数据场景下,要做海量数据的处理与基于大数据平台开发是一个矛盾,我们就有了智能编排数据清洗。一方面对从业人员技能要求有所降低,另外带来的好处是,对底层大数据计算资源的消耗也会有明显的降低,使得效率提升的同时,得到这样一些好处。

其他的内容我们同事在上午也进行了分享,我就补充这些内容。

Copyright © 上海某某电子仪器有限公司 版权所有
全国服务电话:021-49393958   传真:
公司地址:

客服
点击这里给我发消息 在线客服
电话
服务电话:
021-49393958
微信

微信公众号