安徽农信：数据库智能管控系统

泉源：安徽农信 作者：胡鹏一、项目配景及目的 随着省联社各项业务不停生长，信息系统不停增加，需要治理的数据库数量和种类也日益增多，系统运行发生大量应用监控、日志分析、快速部署、性能诊断、故障处置惩罚等事情，只依靠人工运维存在事情量大、重复操作多、运营成本高等问题；同时，为满足业务一连性要求，数据库实时性能分析和优化的需求连续增加，实时性能的事后诊断和干预方式效率低下的问题也逐渐袒露；而且，传统的数据库治理和监控系统缺少高效直观的分析工具，数据库指标的收罗笼罩面较窄，数据的分析手段相对单一，告警计谋庞大、批量监控匹配性差、告警自动化处置惩罚手段匮乏等诸多缺陷急需优化。为解决上述问题，安徽省联社集中气力研发数据库智能管控系统（以下简称“管控系统”），解决了数据库运维事情量繁琐、数据库运行指标展示庞大、数据库性能分析难度大等突出问题，提升数据库治理效率，逐步完善省联社数据库一体化、平台化、自动化、智能化的治理体系。二、创新点 （一）监控巡检自助化 管控系统内置自助化数据库监控、告警、分析设计等功效模块，用户可凭据页面提示按需调整监控维度、告警频率、场景分析等参数；同时，管控系统提供自助化的数据库检查工具，例如巡检陈诉、参数检查、性能报表等，系统深度分析从目的数据库收罗的监控指标，全流程自助化生成数据库深度巡检陈诉、数据库汇总陈诉、数据库性能容量报表等多种类型报表，快速排查和准确定位数据库问题。

对于开发测试情况中经常遇到的数据库异常问题，管控系统提供SQL和数据库工具性能分析功效，可以快速定位高消耗SQL语句和工具，并提供数据库审核功效，定期对捕捉的监控数据举行分析，主动提示监控规模内SQL语句和工具的关键问题，同时将审核报表推送给开发人员，有效推进问题排查。（二）操作治理智能化 管控系统引入大数据的机械学习算法，并与实际应用场景深度融合，实现对数据库问题的智能诊断、分析和处置惩罚，可控规模内常见的数据库问题可实现自动修复。管控系统支持基于运维趋势设计的高宁静SQL执行治理，提供数据库SQL操作统一治理、SQL执行流程化、快速紧迫查询界面化、变换SQL自动备份掩护等功效，有效规避运维操作风险，实现数据库操作治理智能化。

（三）运维任务自动化 管控系统加入可控的自动化设计，通过简朴页面设置即可实现数据库通例操作自动化部署、变换、执行、审核等功效；同时，系统提供尺度自动化服务，对于数据库部署、数据库备份、数据库移除与扩容等任务可预先设置自动化处置惩罚并在系统中生存任务，显著降低运维难度。三、技术实现特点 （一）无侵入式设计 管控系统接纳无署理的监控数据收罗方法，通过JDBC方式远程毗连目的数据库，操作简朴、维护成本低，监控数据收罗用户仅需在相应的监控表函数或视图的检察和执行权限，确保业务数据宁静。数据盘算处置惩罚的全部任务在管控系统服务器上完成，不占用目的数据库资源，对目的数据库的平均性能影响低于1%。（二）前后端分散架构部署 管控系统接纳微服务架构模块化设计，模块间独立运行、互不影响，支持横向扩展、漫衍式部署、模块的在线扩容与缩容以及负载平衡高可用部署方式，实现功效模块灵活调整，并为其他智能化功效预留集成途径；通过横向扩展可同时支持数千个目的数据库，大大提高系统支撑的笼罩面。

管控系统前端接纳响应式结构Bootstrap和构建用户界面渐进式VUE等主流框架，后端使用springcloud技术，实现前后端分散，保证了开发效率。（三）全方位信息收罗和分析 管控系统从主机、数据库信息、性能、备份、存储、异常、TOP SQL、大表等几个关键偏向着手，联合已收集的历史数据，可动态展现变化曲线，并凭据专家履历反馈，预设关键指标的履历阈值，通过发送告警信息的方式实现监控系统实时告警，资助系统治理员尽早发现系统隐患。四、项目历程治理 （一）需求分析和开端设计阶段 本阶段项目时间为2020年1月，期间主要完成了运维监控需求分析和开端设计，并提交相应的需求分析陈诉、系统设计文档和技术支持陈诉。

（二）部署实施和定制化开发阶段 本阶段项目时间为2020年2月至2020年5月，期间主要完成了系统开端安装部署，提交了相关的部署实施文档和运维文档，并针对需求完成了定制开发、开发设计文档增补以及对接行内Tivoli与ITSM系统测试事情。（三）试运行上线阶段 本阶段项目时间为2020年5月至2020年6月，期间完成了系统部署后的调试、定制开发内容的升级调整、首批数据库的纳管测试、行内Tivoli与ITSM系统的对接，并制定了详细的上线方案和应急手册。（四）运维培训阶段 本阶段项目时间为2020年6月至2020年7月，期间完成了全行数据库的监控纳管接入、监控诉警功效的调整以及系统使用和维护的相关技术培训。

五、运行情况 现在，管控系统已纳管省联社122套数据库系统，包罗118套DB2数据库、2套Oracle数据库、2套Mysql数据库，实现了数百个监控指标项的自动收罗，天天收罗数据多达数十万条，月均主动告警300余次。其中，数据库日志使用率、锁超时、表空间使用率、sequence使用量等多种重要监控指标项让系统治理员提前介入问题处置惩罚，实时规避了数据库异常。管控系统在提升数据库日常运维效率的基础上创新性实现多项功效： （一）仪表盘和大屏动态展现数据库运行状况，确保运维人员实时掌握运行情况。

（二）记载数据库各项KPI历史动态曲线，实时展示数据库各项关键性能指标。（三）直观展现数据。

本文来源：开云体育官网-www.liangqiandu.com