Hadoop 实践（一） 环境搭建

962148150

　　大数据定义是：大量的非结构话的数据。量要大，要非结构化。
　　Hadoop 分三部分组成，1.hdfs hadoop分布式文件系统。2.MapReduce 分布式计算。3.hive 分布式存储。
　　操作系统：centos6.5 64
　　环境搭建：1.安装Hadoop，2.安装mysql， 3.安装hive，4，安装jdk

• 　　Hadoop安装：
  

　　下载Hadoop1.0.4，hadoop-1.0.4.tar.gz。
　　wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz
　　解压：
　　tar xzvf hadoop-1.0.4.tar.gz  -C /usr
　　修改3个配置文件
　　cd /usr/hadoop-1.0.4/conf/
　　vi core-site.xml
　　
　　
　　
　　
　　
　　fs.default.name
　　hdfs://localhost:9000
　　
　　
　　vi mapred-site.xml
　　
　　
　　
　　
　　
　　mapred.job.tracker
　　localhost:9001
　　
　　
　　vi hdfs-site.xml
　　
　　
　　
　　
　　
　　dfs.name.dir
　　/home/longlong/temp/log1,/home/longlong/temp/log2
　　
　　
　　dfs.data.dir
　　/home/longlong/temp/data1,/home/longlong/temp/data2
　　
　　
　　dfs.replication
　　2
　　
　　
　　配置环境变量，此处粘贴了java，hive，hadoop的环境变量
　　vi /etc/profile
　　JAVA_HOME=/home/Hadoop/jdk1.6.0_45
　　CLASSPATH=$JAVA_HOME/jre/lib/rt.jar
　　HADOOP_HOME=/usr/hadoop-1.0.4
　　HIVE_HOME=/usr/hive
　　PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin:$HIVE_HOME/bin
　　安装jdk:
　　下载jdk
　　wget http://download.oracle.com/otn-pub/java/jdk/6u45-b06/jdk-6u45-linux-x64.bin
　　chmod +x jdk-6u45-linux-x64.bin
　　./jdk-6u45-linux-x64.bin
　　配置 vi hadoop-env.sh，末尾添加jdkhome
　　export JAVA_HOME=/home/Hadoop/jdk1.6.0_45
　　进入bin目录配置  vi hadoop-config.sh
　　export HADOOP_HOME=${HADOOP_PREFIX}
　　export HADOOP_HOME_WARN_SUPPRESS=1
　　格式化
　　./hadoop namenode -format
　　2.mysql 安装，
　　3.hive安装，
　　下载
　　wget http://mirrors.cnnic.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz
　　tar -xf apache-hive-0.13.1-bin.tar.gz
　　mv apache-hive-0.13.1-bin hive
　　更换元数据库
　　cd conf/
　　touch hive-site.xml
　　vi hive-site.xml
　　
　　
　　
　　
　　javax.jdo.option.ConnectionURL
　　jdbc:mysql://localhost:3306/hive
　　
　　
　　javax.jdo.option.ConnectionDriverName
　　com.mysql.jdbc.Driver
　　
　　
　　javax.jdo.option.ConnectionUserName
　　root
　　
　　
　　javax.jdo.option.ConnectionPassword
　　root
　　
　　
　　下载mysql驱动，
　　wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.0.8.tar.gz
　　tar -xzvf mysql-connector-java-5.0.8.tar.gz
　　cd mysql-connector-java-5.0.8
　　cp mysql-connector-java-5.0.8-bin.jar /usr/hive/lib/
　　启动
　　1.hdfs 启动
　　cd /usr/hadoop-1.0.4/bin
　　./start-all.sh
　　password/操作系统密码
　　2.mysql 启动
　　service mysqld start
　　mysql -uroot -proot
　　3.hive启动
　　cd /usr/hive/bin
　　./hive