首页 › 日存档 › 2016年5月17日

Hadoop 2.6 日志文件和MapReduce的log文件研究心得

Hadoop 2.6包含两个大部分:DFS和Yarn,而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统(不考虑加装ZooKeeper的HA的情况)的log是分别放在3个log里面的。

1. 对于DFS的lo[......]

Read more

MapReduce的jobstatus分析

下面是一个完整的mapreduce job status,现通过文字来说明mapreduce消耗的资源情况及名词含义。

2016-01-07 15:37:06  INFO Job:1383 – Job job_1443106373325_140563 completed successfull[......]

Read more

HBase 定期备份

转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份,每天进行一次增量备份。

import time
import datetime
from datetime import date
import sys
import os

tablena[......]

Read more