1.修改虚拟机名称
vi /etc/hostname
进入命令模式输入【:wq】保存退出
2.修改虚拟机映射
vi /etc/hosts
输入端口号+虚拟机名称,保存退出【:wq】
3.重启虚拟机
reboot
双击会话输入账号密码重新链接
4.在opt文件夹下新建soft目录
cd /opt/mkdir soft
5.到xftp中上传文件到soft目录下
cd /opt/softls
切换目录可查看到上传的jar包
7.解压重命名jdk,hadoop,hive压缩包
tar -xzvf jdk-8u112-linux-x64.tar.gzmv jdk-8u112-linux-x64 jdktar -xzvf hadoop-2.7.3.tar.gzmv hadoop-2.7.3 hadooptar -xzvf apach-hive-2.1.0-bin.tar.gzmv apache-hive-2.1.0-bin hive
8.配置jdk,hive,hadoop环境变量
vi /etc/profile
添加:
export JAVA_HOME=/opt/soft/jdkexport PATH=$PATH:$JAVA_HOME/binexport HIVE_HOME=/opt/soft/hiveexport PATH=$PATH:$HIVE_HOME/binexport HADOOP_HOME=/opt/soft/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出【:wq】
9.生效文件
source /etc/profile
10.切换hadoop路径,准备配置hadoop伪分布式
cd hadoop/etc/hadoop/
vi hadoop-env.sh
11.在marped-env.sh文件中添加jdk路径
vi marped-env.sh
添加 export JAVA_HOME=/opt/soft/jdk
12.在yarn-env.sh文件中添加jdk路径
vi yarn-env.sh
添加export JAVA_HOME=/opt/soft/jdk
13.修改core-site.xml文件
vi core-site.xml
添加
<property>
<name>fs.defaultFS</name>
<value>hdfs://anjel:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop/data/tmp</value>
</property>
14.复制mapred文件
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
15.修改hdfs-site.xml文件
vi hdfs-site.xml
添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
16.修改yarn-site.xml文件
vi yarn-site.xml
添加
<property>
<name>yarn.resourcemanager.hostname</name>
<value>anjel</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
17.格式化hadoop
hdfs namenode -format
18.启动hadoop
start-all.sh
说明:输入yes回车再输入自己设定的密码再回车,连续输入几次直到返回到hadoop目录(输入的密码不显示)
19.启动完成后输入jps查看进程,出现如下信息,恭喜你hadoop伪分布式配置成功
jps
20.安装mysql服务器之前先删除系统自动的mysql文件
切换到soft目录
cd /opt/soft/
删除mysql
yum remove -y mysql-libs
21.提示缺少perl文件,那就安装perl文件
yum -y install perl*
22.安装perl文件之和再次执行安装mysql命令
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
提示存在冲突包,冲突包为:最后一行mariadb至最后,需将其删除
23.把冲突包删除
yum -y remove mariadb-libs-1:5.5.68-1.el7.x86_64
24.再一次执行安装mysql服务命令
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
提示成功!
25.安装mysql客户端
rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm
26.启动MySQL
输入mysql启动
27.修改mysql登录密码
set password for 'root'@'localhost'=password('12345678');
flush privileges;
28.授权mysql远程登录(这里设置物理机就可以通过navicat远程访问登录虚拟机的mysql)
注意哦,要关闭虚拟机的防火墙(systemctl stop firewalld)
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
输入exit退出数据库
29.切换hive路径,准备配置hive
cd hive/conf/
30.复制文件
cp hive-env.sh.template hive-env.sh
31.修改复制后的文件
vi hive-env.sh
export JAVA_HOME=/opt/soft/jdk
export HIVE_HOME=/opt/soft/hive
export HADOOP_HOME=/opt/soft/hadoop
修改完成后进入esc命令输入【:wq】保存退出
32.复制文件
cp hive-default.xml.template hive-site.xml
vi hive-site.xm
到文中找到对应的值进行修改
说明:改文件太大,我们可以通过进入esc命令后输入【/】再输入对应的关键字回车进行查找
1,可输入:/ConnectionURL关键字回车进行查找
value中修改为:
jdbc:mysql://locahost:3306/hive?createDatabaseIfNotExist=true
2,可输入:/ConnectionUserName关键字回车进行查找
value中修改为:
root
3,可输入:/javax.jdo.option.ConnectionPassword关键字回车进行查找
value中修改为:
12345678
4,可输入:/ConnectionDriverName关键字回车进行查找
value中修改为:
com.mysql.jdbc.Driver
5,可输入:/hive.querylog.location关键字回车进行查找
value中修改为:
/opt/soft/hive/tmp
6,可输入:/scratchdir关键字回车进行查找
value中修改为:
/opt/soft/hive/tmp
7,可输入:/resources.dir关键字回车进行查找
value中修改为:
/opt/soft/hive/tmp
全部修改完成后进入esc命令输入【:wq】保存退出
33.把链接mysql的jar拷贝到hive的lib目录下
切换到soft目录
cd /opt/soft/
34.把链接mysql的jar拷贝到hive的lib目录下
cp mysql-connector-java-5.1.39.jar hive/lib
35.切换到hive的bin目录,然后格式化
cd hive/bin/
./schematool -dbType mysql -initSchema
如图提示则格式化成功
36.启动hive
hive
启动成功!
如果觉得《linux中jdk环境配置 安装MySQL 配置Hadoop伪分布式 配置hive环境》对你有帮助,请点赞、收藏,并留下你的观点哦!