失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > linux中jdk环境配置 安装MySQL 配置Hadoop伪分布式 配置hive环境

linux中jdk环境配置 安装MySQL 配置Hadoop伪分布式 配置hive环境

时间:2019-10-16 00:49:55

相关推荐

linux中jdk环境配置 安装MySQL 配置Hadoop伪分布式 配置hive环境

1.修改虚拟机名称

vi /etc/hostname

进入命令模式输入【:wq】保存退出

2.修改虚拟机映射

vi /etc/hosts

输入端口号+虚拟机名称,保存退出【:wq】

3.重启虚拟机

reboot

双击会话输入账号密码重新链接

4.在opt文件夹下新建soft目录

cd /opt/mkdir soft

5.到xftp中上传文件到soft目录下

cd /opt/softls

切换目录可查看到上传的jar包

7.解压重命名jdk,hadoop,hive压缩包

tar -xzvf jdk-8u112-linux-x64.tar.gzmv jdk-8u112-linux-x64 jdktar -xzvf hadoop-2.7.3.tar.gzmv hadoop-2.7.3 hadooptar -xzvf apach-hive-2.1.0-bin.tar.gzmv apache-hive-2.1.0-bin hive

8.配置jdk,hive,hadoop环境变量

vi /etc/profile

添加:

export JAVA_HOME=/opt/soft/jdkexport PATH=$PATH:$JAVA_HOME/binexport HIVE_HOME=/opt/soft/hiveexport PATH=$PATH:$HIVE_HOME/binexport HADOOP_HOME=/opt/soft/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出【:wq】

9.生效文件

source /etc/profile

10.切换hadoop路径,准备配置hadoop伪分布式

cd hadoop/etc/hadoop/

vi hadoop-env.sh

11.在marped-env.sh文件中添加jdk路径

vi marped-env.sh

添加 export JAVA_HOME=/opt/soft/jdk

12.在yarn-env.sh文件中添加jdk路径

vi yarn-env.sh

添加export JAVA_HOME=/opt/soft/jdk

13.修改core-site.xml文件

vi core-site.xml

添加

<property>

<name>fs.defaultFS</name>

<value>hdfs://anjel:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/soft/hadoop/data/tmp</value>

</property>

14.复制mapred文件

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

添加

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

15.修改hdfs-site.xml文件

vi hdfs-site.xml

添加

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

16.修改yarn-site.xml文件

vi yarn-site.xml

添加

<property>

<name>yarn.resourcemanager.hostname</name>

<value>anjel</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

17.格式化hadoop

hdfs namenode -format

18.启动hadoop

start-all.sh

说明:输入yes回车再输入自己设定的密码再回车,连续输入几次直到返回到hadoop目录(输入的密码不显示)

19.启动完成后输入jps查看进程,出现如下信息,恭喜你hadoop伪分布式配置成功

jps

20.安装mysql服务器之前先删除系统自动的mysql文件

切换到soft目录

cd /opt/soft/

删除mysql

yum remove -y mysql-libs

21.提示缺少perl文件,那就安装perl文件

yum -y install perl*

22.安装perl文件之和再次执行安装mysql命令

rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

提示存在冲突包,冲突包为:最后一行mariadb至最后,需将其删除

23.把冲突包删除

yum -y remove mariadb-libs-1:5.5.68-1.el7.x86_64

24.再一次执行安装mysql服务命令

rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

提示成功!

25.安装mysql客户端

rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

26.启动MySQL

输入mysql启动

27.修改mysql登录密码

set password for 'root'@'localhost'=password('12345678');

flush privileges;

28.授权mysql远程登录(这里设置物理机就可以通过navicat远程访问登录虚拟机的mysql)

注意哦,要关闭虚拟机的防火墙(systemctl stop firewalld)

grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;

输入exit退出数据库

29.切换hive路径,准备配置hive

cd hive/conf/

30.复制文件

cp hive-env.sh.template hive-env.sh

31.修改复制后的文件

vi hive-env.sh

export JAVA_HOME=/opt/soft/jdk

export HIVE_HOME=/opt/soft/hive

export HADOOP_HOME=/opt/soft/hadoop

修改完成后进入esc命令输入【:wq】保存退出

32.复制文件

cp hive-default.xml.template hive-site.xml

vi hive-site.xm

到文中找到对应的值进行修改

说明:改文件太大,我们可以通过进入esc命令后输入【/】再输入对应的关键字回车进行查找

1,可输入:/ConnectionURL关键字回车进行查找

value中修改为:

jdbc:mysql://locahost:3306/hive?createDatabaseIfNotExist=true

2,可输入:/ConnectionUserName关键字回车进行查找

value中修改为:

root

3,可输入:/javax.jdo.option.ConnectionPassword关键字回车进行查找

value中修改为:

12345678

4,可输入:/ConnectionDriverName关键字回车进行查找

value中修改为:

com.mysql.jdbc.Driver

5,可输入:/hive.querylog.location关键字回车进行查找

value中修改为:

/opt/soft/hive/tmp

6,可输入:/scratchdir关键字回车进行查找

value中修改为:

/opt/soft/hive/tmp

7,可输入:/resources.dir关键字回车进行查找

value中修改为:

/opt/soft/hive/tmp

全部修改完成后进入esc命令输入【:wq】保存退出

33.把链接mysql的jar拷贝到hive的lib目录下

切换到soft目录

cd /opt/soft/

34.把链接mysql的jar拷贝到hive的lib目录下

cp mysql-connector-java-5.1.39.jar hive/lib

35.切换到hive的bin目录,然后格式化

cd hive/bin/

./schematool -dbType mysql -initSchema

如图提示则格式化成功

36.启动hive

hive

启动成功!

如果觉得《linux中jdk环境配置 安装MySQL 配置Hadoop伪分布式 配置hive环境》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。