Hadoop与AWS的竞争与合作

时间：2017-08-23 来源：

　　Hadoop和云计算什么关系?在技术上可谓互相成就，但在商业上Doug Cutting认为Cloudera最大的竞争对手与合作伙伴都是AWS。

　　2006年，Hadoop诞生。

　　它的原型是Nutch项目，初衷是基于开源创建网络搜索引擎并实现具备可扩展性和收缩性的数据技术，而当Nutch与谷歌论文的想法合体，Hadoop应运而生。

　　时至今日，Hadoop的发展也远远超出了Doug Cutting的预料——不仅成为大数据技术发展史上的一个里程碑，还组成了一个具备自我演进能力的、多种技术有机融合的、稳定而强大的生态系统。这也正是Cloudera应运而生的缘由。

　　2006年，云计算诞生。

　　它彻底改变了企业IT基础架构，也带来了新的商业模式。在Doug Cutting看来，云计算使得Hadoop的应用更加灵活：

　　一，在本地安装Hadoop，用户需要部署大规模集群以支持不同类型的应用，并拥有统一的数据存储;而在云环境中运行Hadoop，用户可以针对不同的应用创建不同的集群，并按需对这些集群进行弹性伸缩，而且云服务商可以帮助用户管理数据存储。

　　二，从数字化转型角度来看，过去，IT往往只集中在企业用户的IT部门，但是随着云计算的普及，数字化在企业各个部门得到广泛应用，这意味着更多的非IT部门在IT应用中可以自我管理、自我服务。

　　然而，这并不意味着Hadoop产品的全盘云化。

　　Doug Cutting认为，云部署和本地部署两种交付方式都会长期共存：对于一些数据量较大，且自身IT资源和能力较强的客户来说，不少工作负载特别是像需要全天候永续运行的工作负载是放在本地数据中心上的，这样做更经济更实用，扩展性也更强。还有一些工作负载或者是数据，由于受制于法律法规的要求，必须要放在本地数据中心运行。

　　就Cloudera而言，三年前正式推出了Cloudera Director管理云环境中运行的集群。目前，云模式占到15%到20%的营收比重，并且会不断增长。我预计这个比例最终会达到40%到60%，但是不会到90%，也就是说本地部署模式仍然会是Cloudera企业业务的一个重要组成部分。”

　　而在谈到Cloudera的竞争格局时，Doug Cutting出人意料地将AWS作为最大的竞争对手，但同时也是最大的合作伙伴。

　　在Hadoop创业公司当中，业界总是把Cloudera与Hortonworks和MapR三家公司相提并论。此外，在大数据维度的竞争中，还总是拿上市后的Cloudera和IBM、Oracle、微软等商业大数据软件企业对比。

　　但在Doug Cutting看来，和其他创业公司相比就如“我们做可口可乐，他们做百事可乐”，一直保持优势。而在大数据的商业软件领域，微软是Cloudera的合作伙伴，Oracle是Cloudera的分销商，“大数据领域采用最多的还是开源的系统”。

　　不过，让Cloudera更加重视的竞争对手，并非来自传统的大数据领域，比如亚马逊，它希望通过云服务来代替传统大数据解决方案供应商的工作。

　　“打一个比方，不论是可口可乐还是百事可乐，人们不喝汽水改喝白水了。这样的跨界竞争是更加有挑战性的竞争，非传统竞争对手的加入更让我们警惕，Cloudera也会对自身加以调整来适应新的竞争格局。”Doug Cutting表示。

　　但同时，AWS也是Cloudera最大的云合作伙伴。当Cloudera应用云模式交付的时候，亚马逊AWS、微软Azure、谷歌云都会应用，但比例最大的仍是AWS。

　　尽管AWS会推出与Cloudera竞争的同类产品像EMR，但仍然会为用户提供Cloudera的产品。表面看这与AWS的产品又矛盾冲突，但是从整体云计算企业之间的竞争来看，Cloudera能够为AWS带来新的企业级客户。另一方面，如果客户选择私有部署Cloudera的产品，对于AWS来说收入仍旧是零。

　　此外，亚马逊AWS、微软Azure、谷歌云也会有一些用户的大数据应用使用的是专有的商用软件服务。不过，Doug Cutting认为，假以时日这些用户会意识到，在云中使用开源的大数据解决方案，成本更低、质量更高，而且开源的Hadoop可以让业务在不同的云环境之间自由迁移，商业软件因此并不过构成严重威胁。

　　(以上内容摘于网络，如有侵权，请告之，将第一时间删除)