Hadoop之父介绍大数据应用新认知（三）

时间：2017-08-31 来源：

　　问：对于大数据应用发展的速度，您感觉满意吗?

　　Doug Cutting：整个大数据的发展是在非常早期的阶段，而且大数据是保持着稳步持续地增长。我们看到很多公司在自己的大数据项目上都取得了成功，虽然目前这些大数据的项目规模还比较小，就大数据解决方案而言，我们的大数据解决方案客户的也是也是在稳步增长，他们用于大数据解决方案集群的规模也是在稳步增长。至少自从Cloudera诞生以来，我们看到整个的数据的应用是处在稳步增长的曲线之中，而并没有出现停滞不前或者是失去动力的情况。

　　大数据已经很成功应用在很多领域，像金融反欺诈应用，在医疗领域，大数据也已经有了很多成功案例，比方说美国有一家公司Cerner开发了一套大数据系统，主要是来判断患者有可能发生败血症的情况。目前通过Cerner已经对几百名有产生败血症风险的患者先期采取措施进行了治疗，预防了败血症的发生，这就是一个非常成功的案例。

　　在癌症治疗方面，大数据的应用也在取得很多的进展，比方说主要是在基因组学的研究方面，在取得治疗癌症方面的进展。举一个例子，加州大学的旧金山分校，他们做的大数据项目就是通过基因组的分析来找到癌细胞、肿瘤细胞突变的原因，并且来匹配相应的疗法。他们用这样的基于大数据的解决方案，已经开始对一些患者治疗。虽然接受这种治疗方法的患者人数不是太多，因为目前这种治疗方法的价格还是非常昂贵，但是价格是在逐渐下降当中的。即使用大数据的解决方案治疗癌症，我们也是在取得很大的进步。

　　只是治疗癌症是一个很大的难题，我们可能还要花几十年的时间。但是我确信未来癌症的治疗肯定是要基于大数据系统。

　　简而言之，大数据应用的普及是一个长期的过程，应该让每一家公司、每一个组织机构都能够用正确的方式来用好数据，这需要花很长的时间。不像智能手机带来的变化，把智能手机卖到人手一台，这个事情就完成了。大数据的普及，也是需要组织结构本身发生很大的变化，还需要很多的教育工作、人才的培养工作，但是这一切都是在稳步推进当中。

　　问：您怎么看待中国大数据应用状况?针对开发者，Cloudera有哪些计划?

　　Doug Cutting：从中国的角度来说，从大数据出现一直到今天，中国一直是在大量使用、采用和参与推进大数据的发展。而且在过去十年当中，Hadoop在中国也是一直得到了大力推进，取得了非常大的成功。我们可以看到中国市场和Hadoop之间有一个非常自然的契合和匹配，从数据的角度来说中国可能是世界上最大的单一市场，在中国拥有数据的数量和规模超过了世界上大部分其他的国家，这也就是为什么Hadoop在中国有着非常成功的发展。

　　中国Hadoop生态圈和其他国家相比有一个不同：就是在中国很多Hadoop用户习惯使用Hadoop的开源版本，而不是购买专业公司支持和帮助。对此，需要花更多的时间对市场进行教育和培育，也就是让人们能够了解到从更加长远的角度来说，在使用这些软件的过程当中如果能够得到有关方面的支持和帮助，会有更好的结果。

　　就培训而言，Cloudera是一直在推动各种培训的项目。对于一个零起步的开发者来说，学习Hadoop最好的方式不是通过教科书，而是要通过案例来学习，通过案例的需求在具体实施当中、具体实践当中来学，这样的学习效果是更好的。Cloudera有一个Cloudera学术计划，清华大学就是首批合作伙伴，还有其他的大学加入。在这个计划当中，Cloudera是把大数据培训的技能、教材、内容免费提供给大学合作伙伴。另外在亚洲有一个BASE Initiative(大数据分析技能培训计划)的教育项目，对潜在对象进行大数据技能的教育培训，并且招聘其中的一些人到有大数据技能需求的公司来工作。

　　问：您如何看待知识图谱?

　　Doug Cutting：在我看来知识图谱、支持工程的方法没有统计学方法那么成功。在八十年代，像知识工程就已经非常流行了，在我还当学生的时候知识工程就很流行。但是深度学习在当今取得的成功，主要依靠的是统计学的方法，也就是基于巨量数据的各种模型的训练，而不是通过知识工程的方式，而且主要是在像图像识别、语音识别以及分类任务的完成之上取得了很大的进展。

　　当然我也不是说像知识图谱、知识工程的方式在人工智能当中永远不会成功，只是在目前的现状当中不如统计学的方法更加有效。对于深度学习进一步发展的挑战，我认为最大的一个挑战就是深度学习的有用性、适用性、广度到底有多大。目前在一些认识、识别任务的完成当中，深度学习非常有效，比方说在大量的噪音或者是干扰的因素当中进行清晰的识别、分类、标签，做得非常好。但是有很多其他的任务，这样的任务当中对形势进行分析，并且做出决策，并不是完全依靠刚才说到的这种能力。

　　虽然目前人们对于深度学习能够完成很多其他的任务是非常乐观的，但是我希望这样的乐观不会是一种过度的乐观。

　　(文章来自网络，如有侵权请来信告知，本站将在第一时间删除。)