mac 下virtualbo虚拟机安装 及hadoop2.5. + ookeeper环境搭建总结（一）

第一次写专栏有点紧张哈哈，怎么开始啊，恩恩....就这吧。最近在研究hadoop。然后呢就找到了尚学堂一个大数据的视频教程可惜的是视频不全直接从中间开始，环境搭建的那块没有，只能自己一边听课一边摸索着来了，还好让我这菜鸟给搞定了，总结一下以兹鼓励。下面正式开始。1、首先呢咱等小民没那么多毛爷爷买不起多台电脑更买不起服务器，只能在虚拟机下搭建。话说学习吗，肯定是在虚拟机下拉。

业界 2016年07月06日

基于Docker编译Hadoop

摘要: 将编译Hadoop所需要的依赖软件安装到Docker镜像中，然后在Docker容器中编译Hadoop，可以提高编译效率，同时避免污染主机。编译其他软件时，也可以参考这篇博客的方法。GitHub地址:kiwenlau/compile-hadoop在前一篇博客中，我介绍了64位Ubuntu中编译Hadoop的步骤。这篇博客将介绍基于Docker编译Hadoop的方法。一

业界 2016年07月06日

MapReduce的配置详解 - hadoop1.2.1

hadoop官方文档 http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html关闭防火墙 service iptables stop修改 vi /home/hadoop-1.2/conf/mapred-site.xml 配置主JobTracker mapred.job.track

业界 2016年07月06日

我的服务器养成计划 -- hadoop搭建

起因在一周前，突然心血来潮，想整理一下我的服务器群，我放下一个暂时在研究的node库，开始研究hadoop(其实就是一开始脑抽了，想搭个分布式文件系统用来共享数据而已，后来选了hdfs,因为可以顺便做做云计算)于是就开始了每天数小时的搭建旅程当时我有的服务器:代理服务器 : 上面挂着一个 shadowsock 服务器，作为我的日常梯子主服务器 : 测试性的挂了个gitlab

业界 2016年07月06日

基于Docker搭建Hadoop集群之升级版

摘要: kiwenlau/hadoop-cluster-docker是去年参加Docker巨好玩比赛开发的，得了二等奖并赢了一块苹果手表，目前这个项目已经在GitHub上获得了236个Star，DockerHub的镜像下载次数2000+。总之，项目还算很受欢迎吧，这篇博客将介绍项目的升级版。一. 项目介绍将Hadoop打包到Docker镜像中，就可以快速地在单个机器上搭建H

业界 2016年07月06日

hadoop2.5.2+ookeeper环境搭建（二）

本教程使用虚拟机搭建共有4台 ubuntu-14.x 的主机 涉及以下节点：2个namenode, 3-datanode, 3-journalnode, 2-zookeeper, 3-zkfc, 1-ResourceManager, 3-NodeManager以下所有的配置都是基于 /hadoop2.5.2/etc/hadoop/ 目录下1、配置java环境：在hadoop

业界 2016年07月13日

sqoop学习总结

sqoop是Apache的一个开源项目，属于Hadoop家族成员，核心功能是关系型数据库和Hadoop之间的数据转换与传输，从名字大概能够看出来：sql+hadoop=sqoop。sqoop目前发展处两个主版本，分别是sqoop1和sqoop2，sqoop1的版本号是1.4.x，sqoop2的版本号是1.99.x，这个编号有点儿意思，尚不清楚为什么这么遍。sqoop2和sq

业界 2016年07月14日

如何打造100亿SDK累计覆盖量的大数据系统

作为推送行业领导者，截止目前个推SDK累计安装覆盖量达100亿（含海外），接入应用超过43万，独立终端覆盖超过10亿 （含海外）。个推系统每天会产生大量的日志和数据，面临许多数据处理方面的挑战。 首先数据存储方面，个推每天产生10TB以上的数据，并且累积数据已在PB级别。其次，作为推送技术服务商，个推有很多来自客户和公司各部门的数据分析和统计需求，例如：消息推送和数据报表。

业界 2016年08月05日