一、项目名称

运维数据平台

二、项目背景

随着IT运维架构的日趋复杂化，传统的IT运维管理方式更多关注的是对资源故障预警的时效性、监控指标种类的全面性、运维流程执行的规范性等，现阶段我行已借助相应的自动化运维工具来满足日常运维管理需要。各运维工具收集的运行数据和日志记录量每月呈TB级以上的增长趋势，但是这些工具日常使用到的历史数据还不到10%，归其原因，一方面，传统的自动化工具均以轻量级架构为主，其无法支撑T级以上的海量数据分析处理和并行计算，特别是庞大的日志、性能和告警等数据；另一方面，许多自动化工具为保证其查询统计效率往往会对较长的历史数据采用一些压缩策略而丢弃一部分，让很多有用的运维数据无法为未来管理发挥作用。

三、项目要求

根据我行现有的运维架构，结合自动化、智能化运维的要求，科技信息部运维中心拟建立运维数据平台，将大数据技术与运维管理结合，对运维过程中产生的大量数据进行关联挖掘、周期预测、行为学习、规律分析等，为运维人员提供更加精确且符合业务的解决方案，提前定位和预知各类故障，从而进行趋势预测、业务分析和多角度评估。

系统需满足以下需求：

1.系统业务功能

通过建立运维数据平台，专注于运维领域的低门槛使用要求，提供数据接入、清洗、计算、存储、查询、分析的全流程自助化大数据服务。通过自助化数据接入，基于SQL的计算配置，多场景异构化存储，以及多维度分析等功能，低成本，高效率的构建智能化，可视化的支撑工具和运营系统。

1.1数据集成

运维数据平台需包含完善的数据采集程序，数据集成支持多样化的数据接入，并提供可自定义扩展数据采集程序框架，能够面向主机、中间件、数据库、应用程序等多个技术领域中的设备日志、系统日志、中间件日志、性能指标、监控告警等结构化及非结构化数据，能够以在线配置方式完成功能、性能参数的设置。

运维数据平台能采集我行现有监测系统（包含而不限于统一运维平台、日志易、应用级监控、数据库监控等系统）数据，高效安全地采集性能指标、监控告警等数据，将其作为原始数据或指标数据进行分析和处理。

1.2数据清洗

运维数据平台可自定义配置数据的清洗规则，实现在数据集成过程中的预处理，包括但不限于：JSON反序列化、CSV反序列化、URL反序列化、遍历、切分、替换、取值、赋值、去噪、KV提取等，从而为后续的存储、处理和分析提供高质量的数据。

1.3数据处理

1）实时计算

运维数据平台需提供流式数据处理引擎，以实现对在线运维数据的实时和准实时分析，支持秒级和分钟级的计算粒度。提供多种流式计算中的窗口类型，包括但不限于滚动窗口、滑动窗口、累加窗口等，每个窗口可灵活定义统计频率和延时统计时间，以尽量避免数据乱序造成的数据丢失。

2）离线计算

运维数据平台需提供离线数据处理引擎，以实现对保存在离线数据存储的历史运维数据的跨时域、跨地域统计算。离线计算支持的窗口类型包括但不限于：固定窗口和累加窗口。

1.4数据查询

运维数据平台需提供数据检索引擎，支持多种数据存储类型统一查询，实现对结构化和非结构化数据的高效快速和跨系统分区、跨技术领域的实时检索。

1.5数据存储

运维数据平台需为不同类型的数据应用提供丰富的持久化存储能力，可以根据实际需要将采集、计算得到的时序、离散数据存到所有引擎、文件系统、关系型数据库、离线数据仓库等当中，并能够准许用户已参数化方式对数据保留周期等指标参数进行配置。支持的数据存储系统包括但不限于离线存储、日志检索和关系数据库。

1.6数据开发套件

运维数据平台通过可视化配置的方式实现数据开发过程，将数据源、数据处理、数据存储等不同的数据处理节点封装成原子组件，可通过拖拽组件和连线的完成数据开发。

（1）数据源类节点：至少包括实时数据源和离线数据源两种；

（2）数据处理节点：至少包括实时计算和离线计算两种，支持通过编写标准SQL的方式配置计算逻辑，

（3）数据存储节点

运维数据开发套件还需支持在线调试，可以快速发现数据源，数据处理的数据质量问题和计算逻辑问题。

1.7数据建模和训练

运维数据平台需提供低门槛、标准化、平民化的数据挖掘建模和训练的功能，实现从模型构建评估到模型发布管理的完整功能链路，包含拖拽式建模、交互式测试调优、自动化模型评估、模型训练运行管理等功能模块。同时，构建完成的数据模型，可以直接在实时或离线计算引擎的节点使用，完成模型应用部署闭环。

1.8数据可视化

1）数据仪表版

运维数据平台需提供满足无需编写代码的仪表板设计组件，内置多种风格多种类型的图表组件，支持拖拽式的自适应布局，并且可以进行整体样式设计。利用可视化组件的组合，直观、明了的展示各类数据，满足业务的不同统计分析需求以及数据服务提供情况的展示分析。

2）数据报表

运维数据平台需提供可灵活定义的报表服务，从数据库选择数据和外部API接入的方式生成报表，具备对数据的简单统计、计算和过滤等功能，同时具备报表导出、发布等功能。

1.9数据管理

1）全链路监控

运维数据平台需满足全链路实时数据监控，提供节点之间的数据对账，同时每个节点还有历史数据趋势曲线，实时计算还有计算延迟和计算丢失等监控指标，离线计算最近24小时调度成功与失败的记录。

2）权限管理

运维数据平台应需保证数据的机密性，能够根据配置的用户角色和数据访问权限，进行相应的访问隔离。支持权限按项目、按原始数据、结果数据等粒度划分。用户角色至少包括数据管理员、数据开发员、任务开发员等角色。

2.数据分析场景需求

2.1系统容量预测

通过对容量相关指标历史数据的挖掘分析，建立对应时序数据的预测机器学习模型，实现容量指标的趋势分析，从而预测系统容量是否会在将来某时间点产生容量瓶颈或是较大冗余，自动生产预警信息，协助运维管理人员规避故障或尽早采取容量扩缩容操作

2.2单指标异常检测

通过对系统关键性能或日志等数据的持续接入、清洗、计算，实现对KPI的监控、分析和展示，并能够基于对KPI指标历史数据的挖掘分析，建立单指标异常检测机器学习模型，通过指标时序数据趋势分析绘制动态基线，并基于动态基线趋势进行预测，在数据偏离基线正常范围时进行异常告警。

2.3运维数据画像

针对单个运维主体（数据库和业务应用）采集的的各类指标数据，通过智能分析算法，从不同的维度标签向运维管理人员直观提供客观分析内容，画像的维度数据画像的维度可以由用户进行自定义。

3．性能要求

3.1并发性要求

本系统要求不受总用户数量和数据量限制，并发在线操作用户数不可低于100，在并发量快速增长的情况下，系统仍可以稳定提供服务，性能不会出现几何级衰减的情况。

3.2扩展性要求

系统结构具备灵活的扩展性，可以随业务量的增加，通过增加物理资源来扩充系统的整体处理容量，满足业务不断发展的要求。而不是一开始就需冗余大量的硬件投资。

3.3安全性要求

本系统要求采用非嵌入数据采集方式，不能影响原系统稳定性。

3.4易用性要求

本系统要求全中文界面，应具备完全图形化的、一致性的友好用户界面，界面布局简洁，平台操作流程规范统一。

五、潜在供应商资格要求

（一）潜在供应商资质和能力要求，包括但不限于以下内容：

1、具备独立法人资格，具有完成项目所必须的设备和专业技术能力，具有良好的商业信誉和财务能力；

2、有专门的专家团队可对服务实施提供咨询及后期维护服务；

3、2017年至今（以合同签署时间为准），公司有2个及以上同类项目在国内金融业已投产的案例；

4、与其它报名的供应商不存在任何关联关系。

（二）潜在供应商在合同、安全和保密方面的责任，包括但不限于以下内容：

1、签订合同后，不得再与我行签订背离合同实质性内容的其他协议或声明。未经我行事先给予书面同意，不得将本项目服务转包、变相转包和分包，不得将合同全部及任何权利、义务向第三方转让。

2、潜在供应商要承诺保证技术服务人员的稳定，保证在服务期间不随意更换工程师，如遇特殊情况不得不更换工程师时，需提供响应性承诺。

3、未经我行书面同意的情况下，潜在供应商不得将本项目、与项目中相关的任何内容、资料（包括书面和磁介质资料）透露给任何人。否则，潜在供应商必须承担因此给我行造成的一切经济损失，我行保留追究其法律责任的权利。潜在供应商提供的技术服务人员入场后需根据我行要求，签订相应的保密协议。

4、全部及/或任何部分的相关知识产权，包括相关权益，均归我行所有。潜在供应商有不可争议的义务确保我行依据本次项目外包所获得的知识产权不存在任何瑕疵并且可以不受限制地行使相关权利，包括各项延伸权利。若因此发生任何争议应当由潜在供应商独自承担全部及/或任何责任，包括但不限于应当承担其自身及为排除任何争议及/或瑕疵所应当或所需要支付的一切相关及/或由此引起的费用。

5、潜在供应商应当保证其有关参与本次项目外包相关的活动包括履行本次项目外包的任何行为，以及本次项目外包结束之后的任何涉及到本次项目外包的行为，均不会侵犯任何第三方的知识产权。若因此发生任何争议、侵权，均应当由潜在供应商独自承担全部及/或任何责任，包括但不限于应当承担其自身为排除任何争议及/或赔偿侵权所应当或所需要支付的一切相关及/或由此引起的费用。

（三）其它要求，包括但不限于以下内容：

1、服从我行项目开发、人员管理、财务管理的相关规定；

2、响应我行签订项目管理协议的要求，提供项目服务的范围、服务内容、工作时限及安排、责任分配、交付物要求以及后续合作中的相关限定条件，包括但不限于保密协议、服务承诺书、工作计划任务书；

3、合规与内控要求，对法律法规及我行内部的遵从要求、监管政策的通报贯彻机制、服务提供商的内控措施，应当配合内、外部审计机构检查及配合银行业监管机构检查的责任。我行保留对潜在供应商进行审计与检查的权利；

4、项目服务的业务连续性要求。在发生银监会规定的信息科技突发事件，或发生可能引发系统性、区域性银行信息科技风险类事件时，潜在服务商应及时向我行报告，包括事件的影响以及处置和纠正措施；

5、政策或环境变化因素等在内的合同变更或终止的触发条件，潜在供应商在过渡期间应该履行的主要职责及合同变更或终止的过渡安排，包括信息、资料和设施的交接处置等过渡期间相关服务的安排。

六、潜在供应商需提交的材料及方式、时间

1、需提交材料：

（一）营业执照、税务（国税、地税）登记证、组织机构代码证副本或统一社会信用代码证；

（二）企业及服务团队简介；

（三）2017年至今(以合同签署时间为准)，公司或实施团队所承接的2个相关案例清单、简介、合同等证明材料；

（四）提供公司联系人、电话、电子邮箱、地址等。

注：上述资料均需提供加盖公章的扫描件。

2、提交方式：电子邮件cuixiaokang@jshbank.com，邮件名称：晋商银行运维数据平台项目+供应商名称；

注意：

1）、请按下表提供相关信息，并形成:附件1、项目名称+供应商全称.DOC格式文件，作为邮件附件与其他资料一并提供；

2）、其他提交材料要求将相关资料文件统一为一个文件发送，文件名为：项目名称+公司全称.PDF格式文件，邮件附件总容量不得超过10M；

3)、邮件必须用公司代表的企业邮箱发送；

4）、不合格的提交资料，将作为初审不合格公司，不予参与后续项目交流及供应商推荐。

3、提交时间：2020年10月12日—2020年10月16日。

4、我行将根据潜在供应商报名情况安排后续商务、技术交流时间。

七、联系方式

商务联系人：崔小康

联系电话：186*****230

邮箱地址：cuixiaokang@jshbank.com

技术联系人：朱德龙

联系电话：183*****539

邮箱：zhudelong@jshbank.com