在Ubuntu启动了spark后进入scala,从HDFS读取已经放入的README.md文件,输入
val textFile = sc.textFile("hdfs://localhost:9000/user/hadoop/README.md")
读取首行时出现报错:
textFile.first().ConnectException: Call From xxx to localhost:9000 failed on connection exception: .ConnectException: 拒绝连接; For more details see: /hadoop/ConnectionRefused
在Ubuntu新终端输入:
telnet localhost 9000
说明9000端口拒绝访问
stop-all.sh
停止Hadoop后修改hadoop的core-site.xml
将配置文件core-site.xml中的fs.defaultFS参数改成
全网访问,改成hdfs://0.0.0.0:9000
后重启hdfs即可
start-all.sh
再次查看端口
telnet localhost 9000
Telnet成功:
重启scala,再次查看文件,发现成功输出
textFile.first()
问题解决。
如果觉得《Spark读取HDFS文件报错:java.net.ConnectException: Call From to localhost:9000 failed on connection》对你有帮助,请点赞、收藏,并留下你的观点哦!