存档

文章标签 ‘维护’

hadoop日常维护汇总

2017年7月26日 没有评论

1 清空回收站
默认情形下被删除数据会在24小时内系统自动清除,手动清除如下：

1
2
hdfs dfs -expunge --做检查点
hdfs dfs -rm -r /user/root/.Trash/201707261056 --把检查点后归集的目录删除

2 杀会话

1
./yarn application -kill application_1416899352676_0008

3 hive解锁

1
2
hive (dw_ods)> show locks community_new extended;
unlock table community_new;

4 利用SecondaryNameNode恢复NameNode
1)确保新的NameNode${dfs.name.dir}目录存在，并移除其内容
2)把SecondNameNode节点中fs.checkpoint.dir的所有内容复制到新的NameNode节点的
fs.checkpoint.dir的所有内容复制到新的NameNode节点的
{fs.checkpoint.dir}目录中。
3)在新NameNode上执行命令：
hadoop namenode -importCheckpoint
该步会从fs.checkpoint.dir中恢复
fs.checkpoint.dir中恢复
{dfs.name.dir}，并启动NameNode
4)检查文件块完整性，执行命令：hadoop fsck /
5)停止NameNode
6)删除新NameNode ${fs.checkpoint.dir}目录下的文件
7)正式启动NameNode，恢复工作完成

5 hdfs坏块修复
1)列出坏块文件

1
hdfs fsck -list-corruptfileblocks

2)修复方法
方案一：hadoop会在6个小时候自动检测并修复

1
dfs.datanode.directoryscan.interval : 21600

方案二：手工重启hdfs服务后会自动修复
方案三：手工修复（推荐使用）

1
hdfs debug  recoverLease  -path /user/hive/warehouse/sdata.db/s002_lm_pm_shd/dt=20191019/000106_0.snappy -retries 10

若文件不重要

1
2
3
4
# 退出安全模式
hdfs dfsadmin -safemode leave
#删除损坏（丢失）的BLOCK
hdfs fsck  /path  -delete
分类: Hadoop 标签: ,