国内外著名的互联网公司使用hadoop都做了什么？谈HADOOP在大规模数据处理领域的具体应用

51qsx

HADOOP在阿里巴巴：
用于处理商业数据的排序，并将其应用于阿里巴巴的ISEARCH搜索引擎，垂直商业搜索引擎。

节点数： 15台机器的构成的服务器集群

服务器配置： 8核CPU，16G内存，1.4T硬盘容量。





HADOOP在百度：
HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。

节点数：10 - 500个节点。

周数据量： 3000TB



HADOOP在Facebook：
主要用于存储内部日志的拷贝，作为一个源用于处理数据挖掘和日志统计。

主要使用了2个集群：

一个由1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘)

一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘)

由此基础上开发了基于SQL语法的项目：HIVE



HADOOP在HULU


主要用于日志存储和分析

13台机器构成的集群 （8核PUC，单台机器：4TB硬盘）

基于HBASE数据库



HADOOP在TWITTER


使用HADOOP用于存储微博数据，日志文件和许多中间数据

使用基于HADOOP构件的Cloudera's CDH2系统，存储压缩后的数据文件（LZO格式）







HADOOP在雅虎：
主要用于支持广告系统及网页搜索

机器数：25000，CPU：8核

集群机器数：  4000 个节点  (2*4cpu boxes w 4*1TB disk & 16GB RAM)