启动Hadoop出现问题:datanode的clusterID 和 namenode的clusterID 不匹配

news/2024/7/7 19:04:51

注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6632047118376780295/

启动Hadoop出现问题:datanode的clusterID 和 namenode的clusterID 不匹配

Java 简单操作hdfs API

 

从日志中可以看出,原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。

打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

验证伪分布环境是否完成

Java 简单操作hdfs API

 

Java 简单操作hdfs API

 

Java操作hdfs

新创建一个maven项目

Java 简单操作hdfs API

 

Java 简单操作hdfs API

 

编写pom文件

Java 简单操作hdfs API

 

编写测试代码

Java 简单操作hdfs API

 

Java 简单操作hdfs API

 

我们运行一下看一看

Java 简单操作hdfs API

 

这种简单的写法是本地模式,所以我们去看下本地文件是不是有了

Java 简单操作hdfs API

 

那么我们怎么上传到我们的虚拟机中呢?即伪分布模式

添加一句配置代码

Java 简单操作hdfs API

 

其中配置部分可以查看core-site.xml文件

Java 简单操作hdfs API

 

然后查看我们的浏览器,文件存在

Java 简单操作hdfs API


http://www.niftyadmin.cn/n/643920.html

相关文章

BlackBerry 应用程序开发者指南 第二卷:高级--第4章 增加设备选项

作者:Confach 发表于2006-04-28 22:18 pm版权信息:可以任意转载, 转载时请务必以超链接形式标明文章原始出处 和作者信息.http://www.cnblogs.com/confach/articles/387946.html 4第4章 增加设备选项 选项API 增加选项 选项APInet.rim.blackberry.api.options 中的BlackBerry选…

cb49a_c++_STL_算法_对所有元素排序_sort_stable_sort

cb49a_c_STL_算法_对所有元素排序_sort_stable_sort sort(b,e) sort(b,e,p) stable_sort(b,e) stable_sort(b,e,p)注意: 不适用于list容器,list有成员函数sort();cb49a_c_STL_算法_对所有元素排序_sort_stable_sort sort(b,e) sort(b,e,p) stable_sort(b…

我的各种帮助记忆的短句

mysql变量类型 : 就要花钱 - 局部变量 、 用户变量 、 会话变量 、 全局变量 mysql列的整形和浮点型: 天使米粉肥嘟嘟 tiny int 、small int 、medium int 、int、float、double、decimal

VirtualPC的网络功能

VirtualPC的网络功能VirtualPC支持联网,它有两种工作模式:共享模式在此模式下工作时,主机相当于一个代理服务器,以动态分配方式(DHCP)赋予虚拟机一个IP地址(即通常所说的内网IP)。虚…

SpringBoot学习笔记三之表述层

注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6803355920697917965/ 首先配置learn-admin-webui中的web.xml文件 配置ContextLoaderListener ContextLoaderListener的作用:加载 Spring 的配置文件,根据 S…

Hadoop上简单运行WordCount

注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6597304814411973128/ 我们先搭建本地环境 准备的两个工具 将winutils中的两个文件拷贝 配置环境变量 将日志文件拷贝到我们新建的Eclipse中的Maven项目中 编写Mapper 编写Reduce 编…

通过了解Servlet和Http之间的关系,了解web中http通信使用(二)

注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6512399401825075719/ 1、《Servlet简单实现开发部署过程》 2、《Servlet部署描述符》 3、《通过了解Servlet和Http之间的关系,了解web中http通信使用》 上一节&#…

mysql 使用 workbench工具【E-R图 -- 数据库】之间相互转换

一、已有数据库,自动生成 E-R 图: ①、首先在你的mysql workbench里选中Database——> reverse engineering ②、然后选择你建立的连接(也就是数据库) ③、接下来一路next,直到最后选择导出的数据库 ④、接下来…