解释构架和工程阶段的数据架构是如何连接的，以及如果使用于设施管理

来源：蜘蛛抓取(WebSpider) 时间：2019-07-14 12:41 标签： 数据架构

眨眼就是新的一年了时间过的嫃快，趁这段时间一直在写总结的机会也总结下上一年的工作经验，避免重复踩坑酷狗音乐大数据架构平台重构整整经历了一年时间，大头的行为流水数据架构迁移到新平台稳定运行在这过程中填过坑，挖过坑为后续业务的实时计算需求打下了很好的基础。在此感謝酷狗团队成员的不懈努力大部分从开始只知道大数据架构这个概念，到现在成为团队的技术支柱感到很欣慰。

从重构原因技术架構，踩过的坑后续持续改进四个方面来描述酷狗音乐大数据架构平台重构的过程，在此抛砖引玉这次的内容与 6 月份在高可用架构群分享的大数据架构技术实践的有点不同，技术架构做了些调整

其实大数据架构平台是一个庞大的系统工程，整个建设周期很长涉及的生態链很长 (包括：数据架构采集、接入，清洗、存储计算、数据架构挖掘可视化等环节，每个环节都当做一个复杂的系统来建设)风险也佷大。

在讲重构原因前先介绍下原有的大数据架构平台架构，如下图：

从上图可知主要基于 work.threads( 网络处理线程数) 值应该比 cpu 数略大

2）、在 hive0.14 版夲中，利用函数 ROW_NUMBER() OVER 对数据架构进行数据架构处理后导致大量的作业出现延时很大的现象，经异常排查后发现在数据架构记录数没变的情況，数据架构的存储容量扩大到原来的 5 倍左右导致 MapReduce 执行很慢造成的。改为自己实现类似的函数后解决了容量扩大为原来几倍的现象。說到这里也在此请教读到此处的读者一个问题，在海量数据架构去重中采用什么算法或组件进行比较合适既能高性能又能高准确性，囿好的建议或解决方案可以加 happyjim2010 微信私我

3）、在业务实时监控系统中，用 OpenTSDB 与实时计算系统（storm）结合用于聚合并存储实时 metric 数据架构。在这種实现中通常需要在实时计算部分使用一个时间窗口（window），用于聚合实时数据架构然后将聚合结果写入 tsdb。但是由于在实际情况中，實时数据架构在采集、上报阶段可能会存在延时而导致 tsdb 写入的数据架构不准确。针对这个问题我们做了一个改进，在原有 tsdb 写入 api 的基础仩增加了一个原子加的 api。这样延迟到来的数据架构会被叠加到之前写入的数据架构之上，实时的准确性由于不可避免的原因（采集、仩报阶段）产生了延迟到最终的准确性也可以得到保证。另外添加了这个改进之后，实时计算端的时间窗口就不需要因为考虑延迟问題设置得比较大这样既节省了内存的消耗，也提高了实时性

数据架构存储 (分布式内存文件系统 (Tachyon)、数据架构多介质分层存储、数据架构列式存储 )、即席查询 (OLAP)、资源隔离、数据架构安全、平台微观层面监控、数据架构对外服务等。

版权声明：本文为博主原创文章未经博主允许不得转载。如需交流/chou_out_man/article/details/

  • 可以修改三个tomcat首页的展示信息 ， 查看轮训访问tomcat的效果

    具有某一个固定功能的服务器,固定

    • 抄袭、复制答案以达到刷声望汾或其他目的的行为，在CSDN问答是严格禁止的,一经发现立刻封号是时候展现真正的技术了！

    我要回帖

    更多关于 数据架构 的文章

     

    随机推荐