以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并[......]
Read more
hadoop环境介绍：
master服务：node1
slave服务器：node2，node3，node4
mysql服务器：node29
Thrift安装在node1服务器上！
相关软件版本：
hadoop版本：hadoop-0.20.2
sqoop版本：[......]
Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统（不考虑加装ZooKeeper的HA的情况）的log是分别放在3个log里面的。
1. 对于DFS的lo[......]
下面是一个完整的mapreduce job status，现通过文字来说明mapreduce消耗的资源情况及名词含义。
2016-01-07 15:37:06 INFO Job:1383 – Job job_1443106373325_140563 completed successfull[......]
转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。
import time import datetime from datetime import date import sys import os
tablena[......]
近期评论