ITBA运维大数据分析系统是一套深度分析和挖掘多种异构数据源运维数据的大数据平台。通过对运维过程中每分每秒产生的亿万条海量数据进行挖掘，它可以提取和生成有价值的运维分析数据，帮助企事业单位用户找到问题根源和优化改进的关键点，从而对当前业务系统及运维系统多角度精准评估和把控。随着运维精细化要求的日益提升，企事业单位需要积累更多的能力辅助智能化运维场景和策略，实现更多管理途径的扩展。异构化环境的复杂化，导致企事业单位用户对数据分析的要求越来越高。借助海量的运维数据优化改进当前工作方法，建立在大数据分析基础上的智能化运维时代已经来临。勤智ITBA将大数据技术与运维管理系统无缝结合，对运维过程中产生的大量数据进行关联挖掘、周期预测、行为学习、规律分析等，为用户提供更加精确且符合企业业务的解决方案，提前定位和预知各类故障，从而进行趋势预测、业务分析和多角度评估。传统的运维，通过各类运维工具或网管软件来实现日常管理，数据格式各不相同，告警内容及规则各异。勤智ITBA运维大数据能够将各个独立分散的系统进行整合，并提供标准接口。运维整合，体现在数据的采集、分析、汇总、处理、总结、预案等几个层面。勤智运维以“让运维更智能，让业务更高效”为理念，在业界率先提出基于运维大数据的智能化解决方案，通过OneCenter平台中的ITBA运维大数据分析系统，帮助运维人员预防故障发生和快速解决故障，也可为运维决策提供预测依据。TTBA运维大数据的价值1. 作为统一运维监控的工具，可以采集各家数据，将非标准数据变为标准数据。2. 提炼系统运行过程中产生的数据，进行数据检索，做日志分析。3. 对数据进行深度挖掘和智能分析，从而从海量离散的数据中提取和分析各类客户关注的指标和内容。ITBA运维大数据解决方案ITBA运维大数据分析系统内部整合了Hadoop、Spark、Kafka、MongoDB、Solr、Flume等多种大数据架构技术，提供多种类型数据接口的采集方式，实现多平台/多业务的监控、流程等运维工具的数据整合和统一管理。同时，提供对于其他业务平台的数据展现、数据统计、告警分析和业务分析功能，可以将多个系统在门户内进行统一登录展现;也可以与其他系统对接，从第三方系统登录至运维系统平台。运维大数据平台架构OneCenter 运维大数据-应用方案运维大数据应用方案OneCenter 智能健康评估-评估指标IT基础设施多维度健康评估OneCenter智能健康评估-智能健康评估对象智能监控评估对象系统提供多种数据接入方式，除传统的数据接口方式接入外，还提供文件批量导入、网络端口同步、数据库脚本抓取、Kafka通道监听等多种便捷的接入方式，也可录入告警数据、性能数据、日志数据、工单数据等不规则格式的动态数据，以实现运维数据的海量存储和集中化检索分析。OneCenter 智能分析挖掘-相关性挖掘相关性挖掘基于运维健康评估结果，深层次挖掘引起问题发生的设备及指标之间的内部潜在关系，寻找问题根源及解决方案，以防止故障再次发生。u 指标故障关联性分析(同时发生概率)u 指标运行相关性分析(运行趋势正负相关性)u 故障根源分析、故障影响分析周期性挖掘基于相关性分析结果，深层次排查引起问题相关性指标的潜在发生规律，预测未来可能出现的问题时间范围及解决建议，以便提前做好预防措施。如寻找指标高峰区间、故障发生频率的等差数列。相关性及周期性挖掘OneCenter 智能分析挖掘-运行风险预测OneCenter 智能学习处理-自动学习及处理OneCenter 运维大数据应用场景-大数据日志分析OneCenter 运维大数据应用场景-业务系统健康分析运维大数据系统提供构建运维指数评估分析的模型，根据历史数据变化规律，挖掘业务、指标、故障等关联信息，为用户真正建立一套完整的运维数据分析和数据挖掘展现平台。通过运维大数据系统，用户可以轻松管理全网各业务资源状态、告警及运维和资产，并根据数据分析模型了解运维工作整体情况和资源运行使用情况，为用户运维工作优化和IT业务发展提供依据。1. 聚焦业务系统长期运行变化数据，自动化学习构建业务个性化健康标准。2. 定期“体检”，及时发现业务系统潜在“短板”，可能影响业务的“亚健康”设备。3. 360°全方位通过相关性、周期性等挖掘算法，协助排查影响健康的问题指标根源。OneCenter 运维大数据应用场景-IDC业务流量分析网络流量流向分析：对指定对象进行基于IP地址定位的流量流向分析。业务违规分析：对IDC接入客户使用IDC带宽从事非法转接以及搭建VPN业务进行分析。应用协议分析：针对各类应用流量进行统计分析。主要特点1.Hadoop+Spark大数据分布式架构，支持T级以上数据存储计算2.运维数据上下文搜索，排查定位问题发生的前因后果3.跨数据故障关联分析，提升对故障精确判断能力4.运行周期性规律预测，摆脱传统“救火式”运维模式5.动态预警基线自学习，减少繁琐的人工阈值设定6.海量应用日志监测，彻底消除运维排查的“盲点”7.自动化建立健康标准，及时发现“亚健康”设备勤智(北京)科技有限公司，是勤智数码旗下运维业务独立出来的子公司，专业提供运维产品和方案，简称“勤智运维”。作为ITSS副组长单位，“勤智运维”十多年来为教育、政府、金融、电力、互联网、能源、通信、医疗、交通等20多个行业的1000多个企业用户提供了优质的IT运维方案和服务。OneCenter 一体化智能运维服务管理平台，以统一运维为基础，以hadoop+spark大数据分析为核心，提供基础监控、视频监控、应用监控分析、云平台管理、动环监控及可视化3D机房管理、第三方系统平台集成等运维管理方案，是勤智结合国内外ITSS/ITIL/ISO 20000等IT标准和最佳实践，自主研发的一体化智能运维管理平台。 (杨茜、尹元)
文章来源:中华网勤智运维：浅谈运维自动化的那些事儿
发表于 15:54|
来源社区供稿|
摘要：一千个读者就有一千个哈姆雷特，一千个运维就有一千种运维自动化想法或构建思路，今日且来聊聊“运维自动化”的那些事儿......
运维管理兜兜转转十几余载，大家的运维管理再也不是小米加步枪、人工费力拉线扛服务器的传统时代，如你所知，这些年大家张口闭口谈的都是运维自动化如何如何。一千个读者就有一千个哈姆雷特，一千个运维就有一千种运维自动化想法或构建思路，今日且来聊聊&运维自动化&的那些事儿......
运维自动化到底干个啥?
据度娘之意，IT运维自动化是将日常IT运维中大量的重复性工作，小到简单的日常检查、配置变更和软件安装，大到整个变更流程的组织调度等，由过去的手工执行转为自动化操作，从而减少乃至消除运维中的延迟，实现&零延时&的IT运维。其本质是运维方式的转变，由手动逐渐演变为自动化操作!那运维自动化应该包含哪几个层面?鉴于IT运维五个维度&效率、稳定、安全、体验、成本&范畴，运维自动化统筹起来就有监控自动化、服务流程自动化、运维操作自动化等等。
IT监控自动化
监控自动化是运维自动化的起点之一，利用监控自动化平台对各类IT资源(包括服务器、数据库、中间件、存储备份、网络、安全、机房、业务应用、操作系统、虚拟化等)进行实时监控，再做故障根源告警归并处理，以解决特殊情况下告警泛滥的问题，例如机房断网造成的批量服务器报警。当然，监控自动化的范畴很广，除了监控告警响应，系统各个服务如Nginx、Java、PHP、DB或网络等的性能优化、资产关系的梳理以及业务系统的实时健康评估监测也是应该包含在里面。
服务流程自动化
监控自动化发现了问题就应该接入相应的流程进行处理，这时候故障事件自动触发问题处理跟踪流程，并在自动化工单式流程的指引下通知到相关责任人，并利用知识库自动化完成整个故障处理协调过程。
运维操作自动化
这个层面的自动化运维工具，主要是把运维一系列的手工执行繁琐的工作，按照日常正确的维护流程分步编写成脚本，再由自动化运维工具按流程编排成作业自动化执行。简单来说，就是把多个Shell、python、PowerShell、Bat等脚本串在一起执行实现某个特定的操作目的，以此来替代一些日常需要批量或者大量重复性的操作，比如变更、部署、配置下发等操作。
以前，传统的运维方式是监控系统触发阈值产生告警后，走工单方式人工处理。现在，使用自动化运维平台，可以让产生的告警和知识关联，自动化处理故障。IT运维自动化工具是监控自动化和流程自动化工具的完善和补充，三者结合相得益彰。
总体来说，运维自动化不是写写脚本，再用开源软件东拼西凑就完了，这只能叫辅助运维，不叫自动化。真正的自动化需让运维平台工具帮你&监测&&发现&&处理&&解决问题&，集&自我修复、自我维护&为一体，各模块之间尽量低耦合、可扩展、可插拔，最终实现运维智能化;同时也能真正能帮企业降低IT运成本，使运维管理可视化、可测量、可对比，进而将运维人员从繁琐的、例行、容易发生人为事故的工作中脱离出来，做更有价值的运维工作。
运维自动化怎么做?
很多运维人员在筹建IT运维自动化架构体系时，妄图一口吃个大胖子，谋求一个完整的系统来自动化完成所有的运维工作，殊不知自动化是一个循序渐进持续发展的过程。在思考如何做运维自动化之前，应该认识到3个根本的原则问题：
正所谓无规矩不成方圆，实施自动化前提需要标准规范与流程化。这包括资源标准化、OS的基础配置标准化、基础软件(如Tomcat、JVM)配置标准化、应用配置标准化、流程规范标准化......比如，如Ngnix/JAVA/PHP/MySQL这些常见服务的应用初始化流程、部署更新流程等，可以提前固化下来，做到了标准化，消除了各种差异，才能为后续的自动化开发铺平前进的道路。
与此同时，随着ISO20000、ITIL v3.0的持续推广，它们已成为实际的某种标准，尤其是ISO20000的认证要求，也是企业的普遍需求，而ITIL v3.0包含了对IT运维从战略、设计转换、运营、改进的服务全生命周期的管理，也为企业的服务流程管理自动化提供了更多思路。
大家常说，&公司的系统架构不是设计，而是演变而来的。&一般而言，企业要做运维自动化都不是一蹴而就，也不太可能一次性建好，都是分阶段来做以解决自身实际问题。首先应该明确自身处于&手动支撑 && 线上标准规范化&&运维工具化&&平台自动化&的哪个阶段，然后先找准现阶段的痛点，对症下药。
说到实用，不得不提到&&CMDB。关于&CMDB是不是运维自动化的基石&，不少运维还在疑惑，到底要不要建立CMDB呢? CMDB即配置管理数据库，一般用于统一管理IT数据、服务器数据资产等。它不仅是硬件和资源的信息记录，更重要是要建立起应用与资源之间的对应关系，并以此为基础，配套着应用配置管理、监控、发布、稳定性等系统的建设，才能最终形成体系化的运维平台，否则只是碎片化的运维模式。当然，这里只是让CMDB提供最基础的资源信息和应用资源的关联关系，不期望把基础的CMDB做得过重，不然后期会不堪重负。
运维安全是企业安全保障的基石，不同于Web安全、移动安全、业务安全，随着自动化运维管理体系的不断融合与统一，运维安全环节任何一个代码、一次部署出现问题往往会比较严重，很多时候说&牵一发而动全身&都不为过。此外，运维自动化平台关联的资源越来越多且复杂，甚至都涉及到了root权限，为广大黑客朋友创造更多空间，所以加强自身安全防御势在必行。最基本的是加强权限和基线控制，是否针对运维自动化平台的服务器账号做了特殊限制?是否做了超限检查?是否做了关键操作的双保险?是否做了作业执行脚本、数据传输的加密控制?通通都得考虑，而堡垒机、安全审计、防火墙控制等措施更是不在话下了。
运维自动化安全建设牵扯面广，这里就不一一赘述了。再提醒一点，在运维自动化操作层面，如何缓解自动化操作条件变化而引发的巨大运维压力，也需提前谋划应对。
关于&勤智运维&：ITSS副组长单位，&勤智运维&扎根行业、立足用户、深入场景进行产品创新和研发，规范和引导信息技术服务标准体系建设，为教育、政府、金融、电力、互联网、能源、通信、医疗、交通等20多个行业的1000多个企业用户提供了优质的IT运维方案和服务。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章