Hadoop生态图谱
时间:2012-2-19 作者:smarteng 分类: 服务器相关
当下Hadoop已经成长为一个庞大的体系,貌似只要和海量数据相关的,没有哪个领域缺少Hadoop的身影,下面是一个Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。
- 这一切,都起源自Web数据爆炸时代的来临
- 数据抓取系统 - Nutch
- 海量数据怎么存,当然是用分布式文件系统 - HDFS
- 数据怎么用呢,分析,处理
- MapReduce框架,让你编写代码来实现对大数据的分析工作
- 非结构化数据(日志)收集处理 - fuse,webdav, chukwa, flume, Scribe
- 数据导入到HDFS中,至此RDBSM也可以加入HDFS的狂欢了 - Hiho, sqoop
- MapReduce太麻烦,好吧,让你用熟悉的方式来操作Hadoop里的数据 – Pig, Hive, Jaql
- 让你的数据可见 - drilldown, Intellicus
- 用高级语言管理你的任务流 – oozie, Cascading
- Hadoop当然也有自己的监控管理工具 – Hue, karmasphere, eclipse plugin, cacti, ganglia
- 数据序列化处理与任务调度 – Avro, Zookeeper
- 更多构建在Hadoop上层的服务 – Mahout, Elastic map Reduce
- OLTP存储系统 – Hbase
smarteng
人生就流星,虽然转瞬即逝,但也有永恒。
恰饭
分类
热门文章
- 使用Erlang的OTP框架创建应用
- php 使用curl模拟登录discuz以及模拟发帖
- 新浪微博错误代码解析
- 腾讯QQ、阿里旺旺、淘宝、MSN在线状态代码生成
- erlang程序设计笔记
- 《HTML 5与CSS 3权威指南》权威的HTML5与CSS3实战教程
- dedecms修改数据库密码配置文件
- 服务器优化小记--Etag和Expires
- 在PHP5中使用PHPMailer发送邮件
- PHP中冒号、endif、endwhile、endfor介绍
- PHP框架——ThinkPHP
- QQ登陆成功返回openId后与网站绑定
- Mediawiki的配置和修改方法
- 使用Golang的官方mock工具--gomock、mockgen
- 用yaf-codes-generator 生成代码
最新日志
- MacOs 电脑关闭/打开IPV6
- MySQL中datetime和timestamp的区别
- C++声明结构
- 如何保证数据库和缓存的一致性
- 优雅的golang日期时间处理库go-carbon
- API接口纪要
- 解析 Golang 测试(11)- 模糊测试
- 解析 Golang 测试(10)- 什么是好的单测
- 解析 Golang 测试(9)- 一篇文章搞懂 testify
- 解析 Golang 测试(8)- gomonkey 实战
- 解析 Golang 测试(7)- 如何针对 Redis 进行 Fake 测试
- 解析 Golang 测试(6)- 如何针对 MySQL 进行 Fake 测试
- 解析 Golang 测试(5)- MySQL 经典 mock driver—— sqlmock
- 解析 Golang 测试(4)- 一篇文章教你分清 Mock,Stub,Fake
- 解析 Golang 测试(3)- goconvey 实战
存档
- 2023年11月(1)
- 2023年10月(1)
- 2023年3月(2)
- 2023年2月(1)
- 2022年12月(1)
- 2022年9月(13)
- 2022年8月(5)
- 2022年7月(9)
- 2022年6月(2)
- 2022年5月(2)
- 2022年4月(1)
- 2022年3月(2)
- 2021年12月(1)
- 2021年11月(14)
- 2021年10月(2)
- 2021年9月(111)
- 2015年3月(1)
- 2014年5月(4)
- 2014年4月(18)
- 2014年1月(1)
- 2013年11月(2)
- 2013年7月(1)
- 2013年6月(1)
- 2013年3月(13)
- 2013年2月(3)
- 2013年1月(1)
- 2012年12月(8)
- 2012年11月(8)
- 2012年10月(1)
- 2012年9月(13)
- 2012年8月(4)
- 2012年6月(2)
- 2012年5月(10)
- 2012年4月(13)
- 2012年3月(9)
- 2012年2月(8)
- 2011年11月(1)
- 2011年8月(9)
- 2011年7月(8)
- 2011年6月(8)
- 2011年5月(7)
- 2011年4月(19)
- 2011年3月(15)
- 2011年2月(8)
- 2011年1月(9)
- 2010年12月(2)
- 2010年11月(2)
- 2010年10月(2)
- 2010年9月(8)
- 2010年8月(9)
- 2010年7月(1)
- 2010年6月(9)
- 2010年5月(5)
- 2010年1月(7)
- 2009年12月(21)
- 2009年11月(29)
- 2009年10月(100)
- 2009年8月(1)
- 2009年7月(15)
- 2009年6月(52)
标签
timestamp
datetime
time
awk
技术文章
SEM
营销
赚钱
go-zero
抓包
测试覆盖率
系统
hostname
goquery
mockgen
gomock
validator
urldecode
urlencode
redirect
context
port
pulsar
Consul
epoll
yaml
错误处理
code-review
xlsx
excel
c
读书
阅读
写作
生活
shen
统计
test
Module
mod
效率
无密码
天网
Future
video
computer
tmux
ce
Logrotate
supervisor
command
screen
rsa
java
markdown
测试
水平居中
error
brew
homebrew
http
nodejs
composer
工具
框架
gopath
gomod
golang
go
播放器
服务器
腾讯云
单元测试
爬虫
命令
emlog
replace
模型
PHP升级
阿里云
习惯
group_concat
SQL Server
PHPExcel
面试
单点登录
开源项目
tag
guid
yaf
md5
博客
微博
团队
Geolocation
Mac
客户端
网赚
豆瓣
编程语言
京东