搭建单机hadoop并运行自带的分词jar包

阅读量：753 次

发布时间：2019-03-22

本文共 2548 字，大约阅读时间需要 8 分钟。

安装单机Hadoop环境（JDK、Tomcat）

前期准备

网络配置

配置IP地址并访问外网

确保虚拟机网卡配置正确，通过 uniformsorus注入图片Promise检查网络IP地址，并验证能够正常ping外网服务器。

设置主机名和DNS解析

修改主机名为hadoop，并在/etc/hosts文件中添加记录：

hostname hadoopvi /etc/hosts

示例内容：

127.0.0.1 localhost172.24.48.10 hadoop

禁用防火墙和SELINUX

禁用CentOS的防火墙：

systemctl stop firewalldsystemctl disable firewalld

禁用SELINUX：

vi /etc/sysconfig/selinuxSELINUX=disabled

安装JDK和Hadoop

1. 创建部署目录

cd /usr/libmkdir javacd /usr/localmkdir soft

2. 取压并解压文件

cd /usr/local/soft/tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/javatar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ hadoop

3. 配置环境变量

vi /etc/profile

在文件末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binHADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

应用修改：

source /etc/profile

4. 验证JDK环境

java -version

输出示例：

java version "1.8.0_171"

配置Hadoop生态系统

1. 修改核心配置文件

修改hadoop-env.sh：

vi hadoop-env.sh

添加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_171

修改core-site.xml：

vi core-site.xml

添加内容：


        
             
      
       fs.defaultFS
              
      
       hdfs://hadoop:9000
          
         
             
      
       hadoop.tmp.dir
              
      
       /opt/hadoop/tmp

修改hdfs-site.xml：

vi hdfs-site.xml

添加内容：


        
             
      
       dfs.replication
              
      
       1

修改mapred-site.xml：

mv mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

添加内容：


        
             
      
       mapreduce.framework.name
              
      
       yarn

修改yarn-site.xml：

vi yarn-site.xml

添加内容：


        
             
      
       yarn.resourcemanager.hostname
              
      
       hadoop
          
         
             
      
       yarn.nodemanager.aux-services
              
      
       mapreduce_shuffle

启动与测试

1. 格式化HadoopNameNode

hdfs namenode -format

2. 启动Hadoop

cd /usr/local/hadoop/bin/'start-all.sh

查看进程：

jps

输出示例：

9798 SecondaryNameNode9943 ResourceManager9528 NameNode9646 DataNode10318 Jps10223 NodeManager

3.词存测试

hadoop fs -mkdir /userhadoop fs -put /opt/example-wordcount.txt /user/input/hdfs dfs -ls /user/input/

运行MapReduce任务：

hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input/example-wordcount.txt /user/input/wordcount-result

查看任务日志：

tail -f /tmp/hadoop/mapreduce/mapred*log

安装并启动Tomcat

1. 解压缩并部署

tar -zxvf apache-tomcat-10.0.5.tar.gz -C /optmv apache-tomcat-10.0.5/ tomcat10

2. 启动Tomcat

cd /opt/tomcat10/bin/./startup.sh

查看启动日志：

tail -f /opt/tomcat10/conf Catalina.out

转载地址：http://xchwk.baihongyu.com/

你可能感兴趣的文章

Navicat下载和破解以及使用

查看>>

Navicat中怎样将SQLServer的表复制到MySql中

查看>>

navicat创建连接 2002-can‘t connect to server on localhost（10061）且mysql服务已启动问题

查看>>

Navicat可视化界面导入SQL文件生成数据库表

查看>>

Navicat向sqlserver中插入数据时提示：当 IDENTITY_INSERT 设置为 OFF 时,不能向表中的标识列插入显式值

查看>>

Navicat因导入的sql文件中时间数据类型有参数而报错的原因（例：datetime(3)）

查看>>

Navicat如何连接MySQL

查看>>

navicat导入.sql文件出错2006- MySQLserver has gone away

查看>>

Navicat导入海量Excel数据到数据库（简易介绍）

查看>>

Navicat工具Oracle数据库复制 or 备用、恢复功能（评论都在谈论需要教）

查看>>

navicat工具查看MySQL数据库_表占用容量_占用空间是多少MB---Linux工作笔记048

查看>>

navicat怎么导出和导入数据表

查看>>

Navicat报错connection is being used

查看>>

Navicat报错：1045-Access denied for user root@localhost(using passwordYES)

查看>>

Navicat控制mysql用户权限

查看>>

navicat操作mysql中某一张表后，读表时一直显示正在载入，卡死不动，无法操作

查看>>

Navicat连接mysql 2003 - Can't connect to MySQL server on ' '(10038)

查看>>

Navicat连接mysql数据库中出现的所有问题解决方案（全）

查看>>

Navicat连接Oracle出现Oracle library is not loaded的解决方法

查看>>

Navicat连接Oracle数据库以及Oracle library is not loaded的解决方法

查看>>