0 引言 在过去的数年中,信息技术在社会、经济、生活等各个领域不断渗透和推陈出新。在移动计算、物联网、云计算等一系列新兴技术的支持下,社交媒体、协同创造、虚拟服务等新型应用模式持续拓展着人类创造和利用信息的范围和形式。全面基于信息和网络的生产和创新模式,正在将人类社会带入“第三次工业革命”时代[1]。 新兴信息技术与应用模式的涌现,使得全球数据量呈现出前所未有的爆发式增长态势[2]。国际数据公司(IDC)的数字宇宙研究报告称[3]:2011年全球被创建和被复制的数据总量超过1.8ZB,且增长趋势遵循新摩尔定律(全球数据量大约每两年翻一番),预计2020年将达到35ZB。与此同时,数据复杂性也急剧增长,其多样性(多源、异构、多模态、不连贯语法或语义等)、低价值密度(大量不相关信息、知识“提纯”难度高)、实时性(数据需实时生成、存储、处理和分析)等复杂特征日益显著。“大数据”时代已经到来[4]。 对于大数据的概念,企业和学术界目前尚未形成公认的准确定义。维基百科将大数据定义为“无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”①;权威IT研究与顾问咨询公司Gartner将大数据定义为“在一个或多个维度上超出传统信息技术的处理能力的极端信息管理和处理问题”②;美国国家科学基金会(NSF)则将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”③。尽管存在不同的表述,但一个普遍的观点是,大数据与“海量数据”和“大规模数据”的概念一脉相承,但其在数据体量、数据复杂性和产生速度三个方面均大大超出了传统的数据形态,也超出了现有技术手段的处理能力,并带来了巨大的产业创新的机遇。在过去的十余年中,数据挖掘的应用在营销、销售、人力资源、电子商务等各个商业领域广泛开展,并取得了引人注目的成效。从这种意义上来说,大数据标志着面向数据的研究和应用已超越了起步阶段,步入了成熟和深化的新时期。 大数据包含了互联网、医疗设备、视频监控、移动设备、智能设备、非传统IT设备等渠道产生的海量结构化或非结构化数据,并且时时刻刻都在源源不断地渗入现代企业日常管理和运作的方方面面。企业从不断生成的交易数据中获取万亿字节的有关消费者、供应商和运营管理方面的信息;百万台网络传感器被植入手机、智能电表、汽车以及机械等设备来感应、创造并交换数据;社会媒体中数以亿计的网民群体的实时交流与内容分享也在大数据的指数级增长过程中起到重要作用;网民上传的每一秒高分辨率视频图像,都会产生超过单页文本存储内容2000倍的字节数据。 大数据作为继云计算、物联网之后IT产业又一次颠覆性的技术变革[5],必将对现代企业的管理运作理念、组织业务流程、市场营销决策以及消费者行为模式等产生巨大影响,使得企业商务管理决策越来越依赖于数据分析而非经验甚至直觉[6,7]。目前,大数据的开发与利用已经在医疗服务、零售业、金融业、制造业、物流、电信等行业广泛展开,并产生了巨大的社会价值和产业空间。以麦肯锡评估西方产业数据为例,大数据的有效利用将能使欧洲发达国家政府节省至少1000亿欧元(约1490亿美元)的运作成本;使美国医疗保健行业降低8%的成本(每年3000多亿美元);并使得大多数零售商的营业利润率提高60%以上[5]。据市场调研机构IDC预测,大数据技术与服务市场将从2010年的32亿美元攀升到2015年的169亿美元,实现40%的年增长率(IT与通信产业增长率的7倍)[3]。 近两年来,国内外知名企业(如Ebay、Amazon、Wal-Mart、淘宝、中国移动和凡客等)相继推出相应的大数据产品和平台,开展了多种深度商务分析和应用。例如:通过分析结构化和非结构化数据促进其业务创新和利润增长;基于机器学习和数据挖掘方法来管理和优化其库存与供应链,并量化评估其定价策略与营销效果;通过市场分析、竞争分析、客户分析和产品分析以优化经营决策等。此外,业界和学界共同组织了一系列以大数据为核心的主题峰会,共同探索大数据的发展与创新④。 与此同时,从管理学的角度应用大数据技术以支持商业分析和决策,已经成为商学院教育的热点方向,这个趋势已经在欧美商学院中相继展开。以数据驱动为主导的金融、市场、战略、营销和运作管理研究和实践指导,将成为未来商学院重点发展的核心领域。 1 研究现状与视角 2008年年末,三位信息领域资深科学家(卡内基梅隆大学的R.E.Bryant、加利福尼亚大学伯克利分校的R.H.Katz、华盛顿大学的E.D.Lazowska)联合业界组织“计算社区联盟(computing community consortium)”发表了非常有影响力的白皮书《大数据计算:商务、科学和社会领域的革命性突破》[8],使得研究者和业界高管意识到大数据真正重要的是其新用途和带来的新见解,而非数据本身。随后,包括EMC、IBM、惠普、微软在内的全球知名企业纷纷通过收购大数据相关厂商来实现技术整合,实施其大数据战略;国内外咨询机构也相继发布与大数据相关的研究报告,积极跟进大数据领域的研发与应用。2011年5月,EMC公司在主题为“云计算相遇大数据”的EMC World 2011大会中阐述了云计算与大数据的理念和技术趋势⑤。同年10月,Gartner将大数据列入2012年十大战略新兴技术⑥;同年11月,由CSDN举办的中国大数据技术大会在北京成功举行。大数据在产业界逐渐形成燎原之势。