大数据技术 使用bulkload向hbase中批量写入数据
沉沙
2018-10-11
来源 :
阅读 1676
评论 0
摘要:本篇教程探讨了大数据技术 使用bulkload向hbase中批量写入数据,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
本篇教程探讨了大数据技术 使用bulkload向hbase中批量写入数据,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。
<
1、数据样式
写入之前,需要整理以下数据的格式,之后将数据保存到hdfs中,本例使用的样式如下(用tab分开):
row1 N
row2 M
row3 B
row4 V
row5 N
row6 M
row7 B
2、代码
假设要将以上样式的数据写入到hbase中,列族为cf,列名为colb,可以使用下面的代码(参考)
1 package com.testdata;
2
3 import java.io.IOException;
4 import org.apache.hadoop.conf.Configuration;
5 import org.apache.hadoop.fs.Path;
6 import org.apache.hadoop.hbase.HBaseConfiguration;
7 import org.apache.hadoop.hbase.client.HTable;
8 import org.apache.hadoop.hbase.client.Put;
9 import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
10 import org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2;
11 import org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles;
12 import org.apache.hadoop.hbase.mapreduce.PutSortReducer;
13 import org.apache.hadoop.hbase.util.Bytes;
14 import org.apache.hadoop.io.Text;
15 import org.apache.hadoop.mapreduce.Job;
16 import org.apache.hadoop.mapreduce.Mapper;
17 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
18 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
19
20 public class TestBulkLoad {
21
22 public static class LoadMapper extends Mapper
本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!
本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢
快给朋友分享吧~
评论(0)