MapReduce读写mysql

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

hadoop的API提供了DBOutputFormat和DBInputFormat这两个类,来进行与数据库交互,除此之外,我们还需要定义一个类似JAVA Bean的实体类,来与数据库的每行记录进行对应,通常这个类要实现Writable和DBWritable接口,来重写里面的4个方法以对应获取每行记录里面的各个字段信息。

参考:

http://blog.csdn.net/aaa1117a8w5s6d/article/details/37603311

http://www.iteye.com/topic/1133716

更多MapReduce实例:

http://my.oschina.net/itblog/blog/275294?fromerr=yfYjsFxl

http://www.aboutyun.com/thread-15605-1-1.html

http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html

针对那个多表关联,我认为可以设计成key value地址编号——工厂名,地址编号——地址名;最后分组的时候自然分在一起了,把value合并一下就行了,个人思路,仅供大家参考

转载于:https://my.oschina.net/u/2000675/blog/654724

你可能感兴趣的:(数据库,大数据)