Hadoop
客户端环境与所需要微软运行库
链接:https://pan.baidu.com/s/1pjDSImaztgGUIOj7dMUTEQ 提取码:7qrk
将下载的Hadoop
依赖包放在一个==非中文且不能有空格存在==的路径中!
右键单击此电脑
=>属性
=>高级系统设置
=>高级
=>环境变量
,到如下图所示的界面:
点击系统变量下的新建
,输入:
点击确定,在系统变量对话框中找到Path
,选中它,点击下面的编辑
,之后会弹出一个界面,然后点击新建,复制以下内容到里面去:
%HADOOP_HOME%\bin
最后点击确定
这时候环境变量就算配置好了,验证一下环境:
找到hadoop
安装目录,打开bin
,找到winutils.exe
,双击它:
双击之后,如果一闪而过就表示安装成功了!
如果出现以下报错:
这表示缺少一些微软的运行库,直接安装就好了,安装包都在最上面的连接里面,双击安装重启电脑,再次运行就成功了!
打开IDEA
,点击新建工程,然后选择Maven
:
然后点击Next
:
点击下一步,选择工程存放位置:
点击Finish
即可。
打开之后一定要把Maven
改为自己的Maven
:(如果没有搭建自己的Maven环境,可以参照我的另一篇博客搭建环境,点击这串文字前往连接!)
然后,打开pom.xml
,将以下依赖粘贴到<dependencies></dependencies>
中:
<!-- hadoop依赖 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<!-- Junit测试依赖 -->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<!-- log4j日志记录依赖 -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
然后在src/resources
目录下,创建文件:log4j.properties
,粘贴以下内容:
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
Hadoop
的API
相关操作将在下篇博客中详解!