📜  Hadoop-大数据解决方案

📅  最后修改于: 2020-12-01 06:38:16             🧑  作者: Mango


传统方法

通过这种方法,企业将拥有一台用于存储和处理大数据的计算机。出于存储目的,程序员将在他们选择的数据库供应商(例如Oracle,IBM等)的帮助下。通过这种方法,用户与应用程序进行交互,而应用程序又负责处理数据存储和分析的一部分。

大数据传统方法

局限性

对于那些处理标准数据库服务器无法容纳的大量数据或处理数据的处理器限制的应用程序,此方法可以很好地工作。但是,当涉及处理大量可伸缩数据时,通过单个数据库瓶颈处理此类数据是一项繁重的任务。

Google的解决方案

Google使用称为MapReduce的算法解决了这个问题。该算法将任务分为几部分,然后将它们分配给许多计算机,并从中收集结果,这些结果集成后便形成结果数据集。

Google MapReduce

Hadoop的

使用Google提供的解决方案, Doug Cutting及其团队开发了一个名为HADOOP的开源项目。

Hadoop使用MapReduce算法运行应用程序,其中数据与其他数据并行处理。简而言之,Hadoop用于开发可以对大量数据执行完整统计分析的应用程序。

Hadoop框架