如何spark高效读取hbase数据据给reduce

来源：蜘蛛抓取(WebSpider) 时间：2016-12-25 05:02 标签： spark高效读取hbase数据

最近两天研究spark直接spark高效读取hbase数据據并将其转化为dataframe。之所以这么做

1、公司的数据主要存储在hbase之中

2、使用dataframe，更容易实现计算

尽管hbase的官方已经提供了hbase-spark 接口，但是并未对外發布而且目前的项目又有这方面的需求，且网上关于这么方面的参考比较少

故贴出来，代码如下仅供参考

// 本地模式运行,便于测试 // 从數据源获取数据 
2、配置了Hbase-site.xml ，并将其放在工程的根目录下

我要回帖

更多关于 spark高效读取hbase数据 的文章

 

随机推荐