- 大数据导论
- 于俊伟 母亚双 闫秋玲编著
- 3124字
- 2025-03-28 17:07:31
1.3
大数据思维
1.3.1
大数据的价值
随着全球信息化的快速发展,大数据技术改变了传统数据采集、存储、处理和挖掘的方式,它对人类认知、社会、经济和科技等多方面产生了深远影响,已经引起世界各国的重视,是新时期国家提升竞争优势的重要机遇。维克托·迈尔·舍恩伯格在其著作《大数据时代》中就曾称赞,大数据是人们获得新的认知、创造新的价值的源泉,也是改变市场、组织机构及政府与公民关系的方法。总的来说,大数据的价值主要体现在以下几个方面。
1.大数据提供了人类认识世界的新思维
大数据不仅是一种新兴的技术,其更重要的价值在于为人类认识世界提供了新的思维和方法。与传统数据分析更加注重因果推理和对个体的精确剖析不同,大数据更注重数据总体的广度和效率,通过关联和预测得到有价值的信息。因此,从这个角度来说,大数据带来了认识世界的新思维和新方法。另外,什么是大数据?如何理解大数据带来的新事物和新业态?我们对待大数据的方式正确吗?大数据的未来在哪里?对这些问题进行深入思考,将有利于人们更好地理解和应用大数据。
2.大数据是促进经济转型的新引擎
伴随着大数据的发展,各国纷纷将大数据上升为国家战略,数据已经成为重要的生产要素,可以催生面向大数据市场的新技术、新产品、新服务和新业态。除了通过各类传感器、网络系统生成和搜集数据外,大数据还可以作为产品和服务在专门的平台进行交易,从而完成数据要素的市场化配置。大数据与实体经济深度融合,不断优化资源配置和开发方式,能够大幅推动传统产业提质增效,促进经济转型。目前,全球大数据产业市场规模已经超过1万亿美元,已经成为各国经济增长的新引擎。尽管如此,大数据蕴含的商业价值和发展潜力还有待进一步挖掘。据IDC调研和预测,未来几年的企业数据将以42.2%速度保持高速增长,而企业运营中的数据只有56%能够被及时捕获,被捕获的数据中仅有57%能得到利用。
3.大数据是提升国家综合能力的新途径
谁掌握了数据,谁就掌握了主动权。大数据涉及数据资源、基础设施、产业应用、信息安全等众多领域,是国家经济、科技和治理水平等实力的综合体现,各国政府纷纷在技术研发、数据共享和安全保护等方面进行战略布局。政府可以通过大数据揭示政治、经济和社会事务中传统技术难以展现的关联关系,并对事物的发展趋势做出准确预判,从而在复杂情况下做出合理决策。日本政府早在2012年就发布了《创建最尖端IT国家宣言》,强调未来几年内重点以向民间开放公共数据、促进大数据的广泛应用为重要发展策略。我国2015年发布了《促进大数据发展行动纲要》,其中一个重要任务就是“加快政府数据开放共享,推动资源整合,提升治理能力”。经过几年的建设和发展,以政务大数据为代表的信息资源共享和系统整合取得了重要进展,例如,浙江省推出的“最多跑一次”改革,就是落实“放管服”改革的重要举措;浙江省衢州市不动产交易综合窗口的业务流程,群众由原来跑国土部门、住建部门、税务部门三个窗口八次提交三套材料,变为只跑综合窗口一个窗口一次提交一套材料,管理效率和服务效率大幅提高。
4.大数据提供了数据研究和处理的新范式
只拥有数据而不能从中发掘出价值,再多的数据也是无用的数据。借助对大数据的研究分析,能够发现经济和社会等领域的新现象,揭示自然和社会中的新规律。随着人们能够采集和使用的数据量的爆炸式增长,科学研究的范式已经从传统的实验科学、理论科学和计算科学转变为“数据密集型科学发现范式”。例如,开普勒、伽利略等人在研究天体运动时都是靠科学家的智慧和经验,通过假说、归纳和验证等步骤发现天体的运行规律;现在在拥有海量观测数据的情况下,如果数据处理能力足够强、分析策略得当,就能直接从数据中发现天体的运行规律。另外,基于全球数据共享的现代天文学、生命科学、环境科学等研究中,所产生的数据远远超过传统科学研究的数据存储和计算能力,因此急切需要在大数据存储、处理、决策等方面取得技术突破。
1.3.2
大数据的思维变革
大数据最核心的价值在于其对人类传统思维模式的颠覆。总体来说,大数据主要会引起以下几个方面的思维变革。
1.方法论:从基于知识到基于数据
传统的方法论是基于知识的,人们从大量实践中总结和提炼出知识,然后用知识解决问题或解释问题;大数据时代不但需要将数据转化为知识,还需要能够直接从数据中得到解决问题的方法。
2.数据的属性:从数据资源到数据资产
在大数据时代,数据不仅是一种资源,更是一种重要的资产。我国已经将数据作为与土地、劳动力、资本和技术并列的生产要素,数据除了本身的使用价值外,还具有市场配置和上线交易的资本属性。因此,数据资源经过搜集、整合、分析和转化,会转变为一种资产,为解放生产力、创新商业模式奠定基础。
3.研究范式:从第三范式到第四范式
2007年1月,图灵奖得主、关系型数据库鼻祖吉姆·格雷在山景城召开的美国国家研究理事会发表了主题为《第四范式:数据密集型科学发现》的演讲,他指出,与传统先有理论假设再搜集数据并加以验证的第三研究范式不同,基于大数据的第四研究范式,是先有大量的已知数据,然后通过计算得出之前未知的结论。
4.数据分析:从统计学到数据科学
传统数据分析主要基于数学和统计学,通过部分抽样数据对问题进行建模和计算,而没有考虑现实世界的总体性和关联性。随着云计算等计算模式的出现及大数据时代的到来,我们对数据的获取、存储、计算与管理能力逐渐提升,能够从数据科学的整体角度来思考大数据。维克托·迈尔·舍恩伯格在《大数据时代》一书中明确指出,从统计学到数据科学是大数据时代最大的思维变革,具体表现:①尽可能利用全面而完整的数据,而不是随机样本;②适当放弃精确性,接受数据的混杂性,可以带来更好的数据洞察力和更大的商业利益;③不再热衷于寻找事物的因果关系,而是让数据自己“说话”,充分发掘事物之间的关系。
5.计算方式:从复杂算法到简单分析
“只要拥有足够多的数据,我们就可以变得更聪明”是我们对大数据时代的一个新认识。在大数据时代,很多原本复杂的“智能问题”都会变成简单的“数据问题”。只要对大数据进行简单查询,就可以达到“基于复杂算法的智能计算的效果”。
6.数据处理模式:从小众参与到大众协同
传统科学中,数据的分析和挖掘主要依赖专业素养很强的核心员工,企业培养这些核心员工的成本较为昂贵。随着技术发展速度加快和技术人才流失等风险的增加,传统“小众参与”的方式很难适应大数据的发展形势,因此基于“大众协同”的大规模协作日益受到重视,正成为解决数据规模与形式化之间矛盾的重要手段。例如,小米公司通过粉丝互动,提高用户体验,甚至让用户直接参与到产品的设计和改进过程;近几年网上流行的手绘小白鞋也充分肯定了用户的参与热情;交通导航应用中,用户上报的交通事故等实时交通状况也能方便系统为用户提供更好的服务。
7.决策方式:从目标驱动到数据驱动
在传统科学思维中,决策制定往往是由目标或模型驱动的,根据既定的目标或模型进行决策。随着数据类型和数据量的增加,根据模型或目标进行决策的方法越来越低效,因此出现了以数据为主要依据的数据驱动决策模式。以政府决策为例,以前主要靠领导“拍脑袋”进行决策,采用数据驱动的决策方式则能够使政府管理更加精细化,从而提高政府的决策水平。在近几届的美国总统大选中,大数据就发挥了重要作用,竞选团队根据大数据分析出未做决定的选民,从而进行精准的广告投放和竞选活动安排。
8.管理方式:从业务数据化到数据业务化
在传统数据管理中,企业更加关注业务的数据化问题,即如何将业务活动以数据的方式记录下来,以便进行审计、分析与挖掘;在大数据时代,企业需要重视一个新的课题:如何实现数据业务化,即如何基于数据动态地定义、优化和重组业务及其流程,进而提升业务的敏捷性,降低风险和成本。