服务类

名称：安徽省一体化数据基础平台芜湖市级节点及数据工程项目一包

服务范围：1、云管平台的开发、实施；2、数据管控-省市级联系统的数据集成系统、数据交换系统、数据架构级联、数据标准级联、指标级联、数据共享级联、数据传输级联；3、用管平台的组件网关核心控制；4、数据工程实施的数据架构实施、数据探查分析、数据湖分层设计与实施、数据入湖实施、数据质量实施、数据规整实施、作业调度实施

服务要求：

一、云管平台的开发、实施

1、服务目录定制开发、计量计费定制开发、资源表单定制开发、云接入适配引擎定制开发；

2、包含部署、流程配置、角色配置、目录配置、咨询指导等实施工作；

二、数据管控-省市级联系统

1、与省平台数据架构相关接口对接联通，接收省平台下发的数据架构相关数据，针对省级下发的我市数据架构信息，基于本地数据架构信息库，提供基本信息查询和查看功能；

2、模块与市元数据对接，支持我市数据架构与本地统一数据库和统一数据湖中物理视图的关联管理，同时将关联关系通过调用省平台接口上报省平台；

3、接收省级下发我市数据架构信息，支撑我市数据治理、数据共享和数据开发利用；

4、包含数据架构接收服务、数据架构查询服务、数据架构核验服务、数据架构关联信息查询服务等；

5、业务系统数据架构梳理进度、数据架构关联进展、数据架构对外发布情况、数据架构治理情况、数据架构应用情况；

6、与省平台数据标准相关接口对接联通，接收省平台下发的数据标准相关数据，针对省级下发的我市数据标准信息，基于本地数据标准信息库，提供基本信息查询和查看功能；

7、建设我市数据标准信息库，接收省级下发我市数据标准信息，支撑我市数据治理、数据共享和数据开发利用；

8、包含数据标准接收服务、数据标准查询服务、数据标准核验服务等；

9、与省平台指标相关接口对接联通，接收省平台下发的我市指标相关数据，针对省级下发的我市指标信息，基于本地指标信息库，提供基本信息查询和查看功能；

10、建设我市指标信息库，接收省级下发我市指标信息，支撑我市指标运算；

11、包含指标接受服务、指标查询服务、指标核验服务等；

12、与省平台数据共享相关接口对接联通，接收省平台下发的待补全的目录、待补全的资源、待审批的申请单信息等，用于管理者统一管理本地数据目录、资源、审批进度。与我市数据共享系统对接，上报部门已补全的目录资源信息，已审批的申请单结果信息，便于管理者统一管控数据申请、审批进度，数据共享应用情况;

13、与省平台数据传输相关接口对接联通，接收省平台下发的数据回流任务信息，同时上报数据传输任务信息。支持查看省下发数据回流任务信息，同时对任务量进行跟踪，同时支持查看上报的数据传输任务信息以及任务量。与地市数据交换系统对接，同步省数据回流信息，触发数据入湖。）

三、用管平台的组件网关核心控

1、提供防攻击、请求加密、流量控制、API黑名单、应用白名单等多重安全手段；

2、每个服务都应有且仅有一个服务提供方提供服务，如果出现同一个服务有两个或多个系统提供，那就需将服务分版本管理，采用不同的服务名；

3、可以接入多种协议的API服务，支持http、WebSocket等协议或服务的接入；

4、在定义API服务的时候可以根据定义的服务的参数设定校验规则，校验规则支持正则匹配；

5、根据管理控制台定义的网关流控规则，自动计数，当服务请求数到达流控阈值、并发数阀值、已失效、传输数据量超过总数据量的时候自动拒绝后面的请求；

6、支持服务配置负载策略，负载支持轮询、IP-Hash方式，同时轮询支持配置节点权重，满足分布式服务调用需要；

7、为了便于管理API，增加分组管理功能。同一个分组下的API使用相同的环境变量及负载策略；

8、提供API注册定义、调试、发布、下线等全生命周期管理，以及API调用统计分析；

9、提供安全相关的策略管理，如：签名策略、流量策略、IP黑名单、应用白名单管理等；

10、通过绑定黑名单来限制访问，业务终端每次访问首先判断API网关的黑名单，再判断API绑定的黑名单；

11、为进一步增加应用的安全性，应用通过绑定白名单来限制访问IP；

12、代理管理为页面静态资源代理；

13、应用管理为市级平台对外提供的API集合；

14、日志管理包括API调用日志、审计日志两大类；

15、告警管理用于监控API调用频率，结果状态，延时时间，流入流量，并在一定的规则下，产生相应的告警；

16、在应用开发和使用过程中，由于接入网关调用逻辑复杂，导致应用在开发的过程中需要适配不同序列化方式和签名算法的接口形式，导致的应用开发难度大、开发效率低等问题；

17、版本管理引擎支持对组件不同版本的API进行精细化管理，API版本升级过程中，组件版本管理引擎会自动检测升级版本的接口数量，接口类型，接口参数等信息。组件API升级后，可通过SDK生成引擎自动化生成对应的SDK。）

四、数据工程

1、基于梳理好的业务对象、数据架构、数据源等内容，形成部门数据资产目录。数据资源目录分为5层，包括业务域层、主题域层、业务对象层、逻辑数据实体层、属性层，涵盖部门所有业务数据资产；

2、对入湖数据的数据源、库、数据集、信息项等进行多维度探查，以达到认识数据的目的，并了解使用该数据的质量风险，为数据治理提供依据。通过数据探查，了解来源数据的数据情况，可以根据数据探查分析的情况，推动源头数据质量的提升，满足数据的使用要求；

3、将数据湖设计分为数据贴源层、数据整合层、数据报告层、数据集市层。按照业务主题进行组织、并有序的进行清洗、过滤、实现数据标准化；

4、依据数据入湖方案，遵照入湖标准要求，通过工具实现数据的入湖，主要包括入湖作业设计、入湖作业调度；

5、实施内容包括规则制定、规则配置、质量监控、问题处理等，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值；

6、对入湖的数据进行规整，将入湖以后的数据进行格式、内容、字段名称等标准化处理后存储在标准库中的过程，数据规整规则可根据数据治理场景需要，选择使用通用规整规则或定制化规整规则；

7、根据数据架构设计和数据物理模型设计，数据ETL开发作业和脚本。包括贴源层到明细层数据提取、转换、加载及脚本开发，再到DWS进而到DM层的物理数据模型设计，以及数据指标的开发，完成作业流开发、调度配置。

服务时间：本项目建设期6个月，维保2年

服务标准：

一、云管平台的开发、实施

1、服务目录定制开发、计量计费定制开发、资源表单定制开发；

2、包含部署、流程配置、角色配置、目录配置、咨询指导等实施工作；

二、数据管控-省市级联系统

1、与省平台数据架构相关接口对接联通，接收省平台下发的数据架构相关数据，针对省级下发的我市数据架构信息，基于本地数据架构信息库，提供基本信息查询和查看功能；

2、模块与市元数据对接，支持我市数据架构与本地统一数据库和统一数据湖中物理视图的关联管理，同时将关联关系通过调用省平台接口上报省平台；

3、接收省级下发我市数据架构信息，支撑我市数据治理、数据共享和数据开发利用；

4、包含数据架构接收服务、数据架构查询服务、数据架构核验服务、数据架构关联信息查询服务等；

5、业务系统数据架构梳理进度、数据架构关联进展、数据架构对外发布情况、数据架构治理情况、数据架构应用情况；

6、与省平台数据标准相关接口对接联通，接收省平台下发的数据标准相关数据，针对省级下发的我市数据标准信息，基于本地数据标准信息库，提供基本信息查询和查看功能；

7、建设我市数据标准信息库，接收省级下发我市数据标准信息，支撑我市数据治理、数据共享和数据开发利用；

8、包含数据标准接收服务、数据标准查询服务、数据标准核验服务等；

9、与省平台指标相关接口对接联通，接收省平台下发的我市指标相关数据，针对省级下发的我市指标信息，基于本地指标信息库，提供基本信息查询和查看功能；

10、建设我市指标信息库，接收省级下发我市指标信息，支撑我市指标运算；

11、包含指标接受服务、指标查询服务、指标核验服务等；

12、与省平台数据共享相关接口对接联通，接收省平台下发的待补全的目录、待补全的资源、待审批的申请单信息等，用于管理者统一管理本地数据目录、资源、审批进度。与我市数据共享系统对接，上报部门已补全的目录资源信息，已审批的申请单结果信息，便于管理者统一管控数据申请、审批进度，数据共享应用情况;

13、与省平台数据传输相关接口对接联通，接收省平台下发的数据回流任务信息，同时上报数据传输任务信息。支持查看省下发数据回流任务信息，同时对任务量进行跟踪，同时支持查看上报的数据传输任务信息以及任务量。与地市数据交换系统对接，同步省数据回流信息，触发数据入湖。）

三、用管平台的组件网关核心控

1、提供防攻击、请求加密、流量控制、API黑名单、应用白名单等多重安全手段；

2、每个服务都应有且仅有一个服务提供方提供服务，如果出现同一个服务有两个或多个系统提供，那就需将服务分版本管理，采用不同的服务名；

3、可以接入多种协议的API服务，支持http、WebSocket等协议或服务的接入；

4、在定义API服务的时候可以根据定义的服务的参数设定校验规则，校验规则支持正则匹配；

5、根据管理控制台定义的网关流控规则，自动计数，当服务请求数到达流控阈值、并发数阀值、已失效、传输数据量超过总数据量的时候自动拒绝后面的请求；

6、支持服务配置负载策略，负载支持轮询、IP-Hash方式，同时轮询支持配置节点权重，满足分布式服务调用需要；

7、为了便于管理API，增加分组管理功能。同一个分组下的API使用相同的环境变量及负载策略；

8、提供API注册定义、调试、发布、下线等全生命周期管理，以及API调用统计分析；

9、提供安全相关的策略管理，如：签名策略、流量策略、IP黑名单、应用白名单管理等；

10、通过绑定黑名单来限制访问，业务终端每次访问首先判断API网关的黑名单，再判断API绑定的黑名单；

11、为进一步增加应用的安全性，应用通过绑定白名单来限制访问IP；

12、代理管理为页面静态资源代理；

13、应用管理为市级平台对外提供的API集合；

14、日志管理包括API调用日志、审计日志两大类；

15、告警管理用于监控API调用频率，结果状态，延时时间，流入流量，并在一定的规则下，产生相应的告警；

16、在应用开发和使用过程中，由于接入网关调用逻辑复杂，导致应用在开发的过程中需要适配不同序列化方式和签名算法的接口形式，导致的应用开发难度大、开发效率低等问题；

17、版本管理引擎支持对组件不同版本的API进行精细化管理，API版本升级过程中，组件版本管理引擎会自动检测升级版本的接口数量，接口类型，接口参数等信息。组件API升级后，可通过SDK生成引擎自动化生成对应的SDK。）

四、数据工程

1、基于梳理好的业务对象、数据架构、数据源等内容，形成部门数据资产目录。数据资源目录分为5层，包括业务域层、主题域层、业务对象层、逻辑数据实体层、属性层，涵盖部门所有业务数据资产；

2、对入湖数据的数据源、库、数据集、信息项等进行多维度探查，以达到认识数据的目的，并了解使用该数据的质量风险，为数据治理提供依据。通过数据探查，了解来源数据的数据情况，可以根据数据探查分析的情况，推动源头数据质量的提升，满足数据的使用要求；

3、将数据湖设计分为数据贴源层、数据整合层、数据报告层、数据集市层。按照业务主题进行组织、并有序的进行清洗、过滤、实现数据标准化；

4、依据数据入湖方案，遵照入湖标准要求，通过工具实现数据的入湖，主要包括入湖作业设计、入湖作业调度；

5、实施内容包括规则制定、规则配置、质量监控、问题处理等，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值；

6、对入湖的数据进行规整，将入湖以后的数据进行格式、内容、字段名称等标准化处理后存储在标准库中的过程，数据规整规则可根据数据治理场景需要，选择使用通用规整规则或定制化规整规则；

7、根据数据架构设计和数据物理模型设计，数据ETL开发作业和脚本。包括贴源层到明细层数据提取、转换、加载及脚本开发，再到DWS进而到DM层的物理数据模型设计，以及数据指标的开发，完成作业流开发、调度配置。