spark 将处理的结果保存到 scala解析json字符串文件中,要如何修改那个文件名称!

"content":"程蹦宇笋匪旦超方捆式陕集汲勾"

這些数据存放在日志中都是在一行中的可以看到各个数据对应的key value;

规划拆分后的schema字段名称



 

根据一开始展示的数据格式,我们需要将cmap,et從content中拆解出来以便于下一步拆解


进一步将cm中各个键值对拆分出来并起别名

进一步将et(各种事件)中不规则的scala解析json字符串拆分为数组的形式,最後再行转列去存储

将行转列的结果直接提取出来

至此,所有的KV我们都解析出来了接下来就可以落盘或者写入hive表中了。

一、主题:使用Scala的类库解析scala解析json芓符串字符串避免引入第三方依赖包

测试通过,可以按需求修改!

我要回帖

更多关于 scala解析json字符串 的文章

 

随机推荐