百度高管谈大数据困境:数据孤岛和技术缺失成阻碍
DoNews 5月21日消息(记者 安宏)大数据已成为继云计算、物联网后的又一技术理念。百度技术委员会理事长陈尚义认为,大数据已进入价值挖掘阶段,而在执行方面也即将面临数据孤岛下价值的未知性和智能技术缺失等瓶颈。
陈尚义认为,目前国内许多国内数据公司都是披着大数据的外衣做传统数据挖掘的事情。而随着大数据价值挖掘阶段的来临,迫使企业必须开发新的工具和平台,以应对大数据高速的成长规模和膨胀特性。
未来,行业大数据将面临以下问题:
第一,数据孤岛,价值未知:关联行业产生的数据如果不与互联网搜索数据进行结合、交易,极容易产生孤岛效应,则不会产生真正的大数据价值。
第二,数据累积,成本剧增:真正的大数据成长速度是指数级的,这为行业带来的极大挑战,也会促使IT成本激增。
第三,技术瓶颈,智能缺失:大数据的发展离不开强大的数据智能技术和管理平台支撑,只有充分发掘数据的价值规模,才能满足各个行业的不同需求。
作为一家具备大数据基因的公司,百度自成立之初就开始就收集互联网数据,而随着数据摩尔定律级增长速度,百度必须通过节省成本和提高部署效率来满足大规模数据的高效价值。
陈尚义透露,百度目前已在全国建立了多个大型数据中心,其中,北京、山西和内蒙三地数据处理器超过十万台,拥有70万个CPU和4000台舞台服务器,其数据中心位居亚洲第一位。2013年全年,百度利用服务器和数据中心的优化机制,大数据计算成本降低了50%。(完)