最新消息:聚合-分享-->bidutools.com是专注互联网技术的个人博客,大部分来自互联网,以作为笔记查阅。

标签:Hadoop

编程开发

利用 Hadoop 并行处理 MongoDB 中的大数据

bidu 4年前 (2015-01-06) 659浏览

Mongo-Hadoop可以很容易地使用Mongo数据库库以及.bson格式的mongoDB备份文件,并将此作为Hadoop Map/Reduce任务的数据输入源或者输出目标。Mongo-Hadoop先检测数据并计算数据分割,然后交给Hadoop并行...

云计算

与Hadoop之间的PK Spark胜算几何?

bidu 4年前 (2015-01-04) 345浏览

一说大数据,人们往往想到Hadoop。这固然不错,但随着大数据技术的深入应用,多种类型的数据应用不断被要求提出,一些Hadoop被关注的范畴开始被人们注意,相关技术也迅速获得专业技术范畴的应用。最近半年来的Spark之热就是典型例子。 Spark ...

云计算

webservice,分布式

bidu 4年前 (2014-12-26) 386浏览

gsoap C++开源 rest   微软 rest开源项目 gearmand hadoop  扩展 ,百度HCE  开源   转载请注明:BiduTools.com聚合、分享 » webservice,分布式...

编程开发

MapReduce分布式处理框架的优缺点

bidu 4年前 (2014-12-26) 351浏览

摘要: 在Google数据中心会有大规模数据需要处理,比如被网络爬虫等。由于这些数据很多都是PB级别,导致处理工作不得不尽可能的并行化,而Google为解决这问题,引入了MapReduce这个分布式处理框架 关键词: MapReduce分布式处理框...

编程开发

分布式计算开源框架Hadoop介绍

bidu 4年前 (2014-12-26) 324浏览

── 分布式计算开源框架Hadoop入门实践(一) 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice –日志分析并行分解设...

编程开发

Hadoop的C++扩展了解-百度-HCE

bidu 4年前 (2014-12-26) 443浏览

HCE, short for Hadoop c++ extension 项目源码:https://issues.apache.org/jira/browse/MAPREDUCE-1270 据说效率可以比传统Hadoop提高20%以上,计划过几天用倒排...