spark 将处理的结果保存到 scala解析json字符串文件中,要如何修改那个文件名称!
来源:蜘蛛抓取(WebSpider)
时间:2017-07-24 09:55
标签:
scala解析json字符串
"content":"程蹦宇笋匪旦超方捆式陕集汲勾"
這些数据存放在日志中都是在一行中的可以看到各个数据对应的key value;
规划拆分后的schema字段名称
根据一开始展示的数据格式,我们需要将cmap,et從content中拆解出来以便于下一步拆解
进一步将cm中各个键值对拆分出来并起别名
进一步将et(各种事件)中不规则的scala解析json字符串拆分为数组的形式,最後再行转列去存储
将行转列的结果直接提取出来
至此,所有的KV我们都解析出来了接下来就可以落盘或者写入hive表中了。
一、主题:使用Scala的类库解析scala解析json芓符串字符串避免引入第三方依赖包
测试通过,可以按需求修改!