在2014年,大数据将获得迅猛发展,并有可能朝向不同的发展趋势。以下是“大数据问答”的2014年趋势预测。

1. 大数据火爆程度下滑。大数据概念在上半年进入最热,并不断出现批评的声音(诸如炒概念、无实质、暴隐私),在8月份左右火爆程度开始下滑。在Gartner的新兴技术发展周期曲线中,大数据将跨越过热期的最高点进入下降阶段。

2. Hadoop取得全面突破。作为大数据的主要技术平台之一,Hadoop将发布重要版本;大数据供应商都将发布自己的Hadoop发行版;PIG、Hive等前端工具得到易用性和性能的进一步优化;传统数据工作者认识到Hadoop是必需掌握的技术。

3. NoSQL数据库产品日益增多。为了满足海量规模的非结构化数据处理,HBase、MongoDB、Redis、Cassandra等NoSQL数据库产品受到更多重视,相关厂商将在中国设立机构或重视中国业务;更多NoSQL数据库产品将推出,其中包括国产的据称是NoSQL的产品;Auto-sharding、schema-less等功能愈发受到重视。

4. 分布式存储技术面临挑战。share-nothing分布式存储架构被证明并没有那么神奇,master-slave架构被证明有更旺盛的生命力;存储技术本身得到更多优化,包括flash存储、存储计算与数据压缩技术等;新一代存储产品开始上市。

5. 自然语言处理技术走出迷雾。随着大数据的应用需求越来越旺盛,以自然语言处理为代表语义技术成为新的热点。分词技术重获重视,语音翻译、自然语言问答等技术日渐成熟;作为app的移动机器人、作为人工任务替代的虚拟助理成为热门应用;基于自然语言的预测分析开始出现。

6. 机器学习出现有实用价值的产品。从理论上探索机器学习方法和应用领域,成为学术研究热点;基于认知模型的机器学习、面向任务的学习系统出现值得关注的产品化趋势;基于神经网络算法和大数据关联分析的实用应用,成为某些解决方案的组件。

7. 国产大数据一体机成批上市。作为概念或原型产品,国产大数据一体机产品在急于求成的心态下纷纷上市,方式基本是封装开源产品而宣称自主研发,形式是获取政府国拨资金支持或上市公司题材炒作。

8. 所有行业C级长官公开谈论大数据。许多大中企业的领导者(C-Level Leaders)在内部报告和对外沟通中,将大数据概念作为谈话题材,并引发媒体的进一步追捧,但他们私下里会认为大数据是忽悠概念,很难找到大数据与自身业务的关系。

9. 部分行业的数据应用得以深化。传统上拥有较多数据应用的金融、电信等行业,将进一步整合数据架构,关注基于非结构化数据的分析应用,但总体上成效不大;零售、医疗、制造、教育等行业,将通过数据应用引领业务创新,并进一步深化原本较差的IT技术与应用基础、加强数据质量和数据管控。

10. 数据科学家成为最“性感”的职业。大数据推动数据相关的职位需求急剧增加,而实际上真正的数据人才日显不足,使其价格不断攀升;大量数据科学家被证实名不副实,多为技术出身的他们业务理解苍白、理论基础薄弱,往往在被热捧之后被替代,后浪推前浪的迹象非常突出。

11. 互联网公司大数据应用遭遇滑铁卢。作为非结构化、半结构化数据占主导地位的互联网企业,继2012、2013年推出大量大数据产品之后,在2014年被发现其大数据产品大多单薄,主要原因是语义层计算和处理能力的缺失;相反地,一些创业先锋公司和所谓传统公司,将在大数据应用创新中占领鳌头。

12. 大数据价值遭遇广泛质疑。大数据一边成为热议话题,从技术领域走入公众视野,一边却常常被要求“Show me the money”,其4V特征之一的“价值”(大数据价值密度低)被广泛曲解。

13. 大数据成为更多上市公司融资题材。为了迎合大股东的要求,上市公司越来越多地到处寻觅可供收购的大数据小企业,将其包装后作为增发题材,或无中生有把原有业务包装为大数据题材,而事实往往证明该题材纯属炒作。

14. 大数据引发更多安全隐私担忧。由于专家著述的影响和大众媒体的推动,大数据被认为将造成严重的隐私问题,并引发多轮大数据安全问题的讨论和抗议,而大数据厂商也将纷纷标榜其产品包含安全隐私解决方案。