失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > Spark读取HDFS文件报错:java.net.ConnectException: Call From to localhost:9000 failed on connection

Spark读取HDFS文件报错:java.net.ConnectException: Call From to localhost:9000 failed on connection

时间:2022-06-01 11:59:29

相关推荐

Spark读取HDFS文件报错:java.net.ConnectException: Call From to localhost:9000 failed on connection

在Ubuntu启动了spark后进入scala,从HDFS读取已经放入的README.md文件,输入

val textFile = sc.textFile("hdfs://localhost:9000/user/hadoop/README.md")

读取首行时出现报错:

textFile.first().ConnectException: Call From xxx to localhost:9000 failed on connection exception: .ConnectException: 拒绝连接; For more details see: /hadoop/ConnectionRefused

在Ubuntu新终端输入:

telnet localhost 9000

说明9000端口拒绝访问

stop-all.sh

停止Hadoop后修改hadoop的core-site.xml

将配置文件core-site.xml中的fs.defaultFS参数改成

全网访问,改成hdfs://0.0.0.0:9000

后重启hdfs即可

start-all.sh

再次查看端口

telnet localhost 9000

Telnet成功:

重启scala,再次查看文件,发现成功输出

textFile.first()

问题解决。

如果觉得《Spark读取HDFS文件报错:java.net.ConnectException: Call From to localhost:9000 failed on connection》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。