最近开始学习hadoop,准备先搭建一个hadoop集群跑起来,发现了很多不错的博文,但是在实际的操作中,总会遇到一些博文中不曾提到的问题,本章博文用于记载这些问题以及问题解决的方式。
在配置SSH免密码登陆的时候,在master机上生成了key,将public key分别复制到slave1机和slave2中,都是用cat命令将public key加入到authorized_keys中,但slave1可以密码登陆而slave2不行,之后slave2删除了.ssh,从文件夹创建到将key加入authorized_keys中从新来了一次,文件夹权限与slave1完全一致(博主有仔细的对比过),但还是不行。
解决方式:
最终使用ssh-copy-id 命令解决了,完整命令如下:
ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 18330 root@192.168.1.253:~/.ssh"
2. hadoop启动的使用,dataNode和taskTracker总是不能启动,到日志中查看出现下面的错误:
org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.56.101:9000 failed on local exception: java.net.NoRouteToHostException: No route to host
解决方式:
关闭master的防火墙,或者修改防火墙配置开始使用的端口