生态大数据工程研究中心数据存储治理平台采购竞价结果公告
生态大数据工程研究中心数据存储治理平台采购竞价结果公告
| 项目名称 | 生态大数据工程研究中心数据存储治理平台采购 | 项目编号 | JJ****** |
|---|---|---|---|
| 公告开始日期 | 172*****56000 | 公告截止日期 | 172*****00000 |
| 采购单位 | 内蒙古大学 | 付款方式 | 货到验收合格后付款 |
| 联系人 | 中标后在我参与的项目中查看 | 联系电话 | 中标后在我参与的项目中查看 |
| 签约时间要求 | 成交后1个工作日内 | 到货时间要求 | 无 |
| 预 算 | ******.0 | ||
| 收货地址 | 无 | ||
| 供应商资质要求 | 符合《政府采购法》第二十二条规定的供应商基本条件 | ||
| 采购商品 | 采购数量 | 计量单位 | 所属分类 |
|---|---|---|---|
| 生态大数据数据资产服务平台研发项目 | 1 | 项 | 支撑软件开发服务 |
| 品牌 | 无 |
|---|---|
| 型号 | 无 |
| 品牌2 | 无 |
| 型号 | 无 |
| 品牌3 | 无 |
| 型号 | 无 |
| 预算 | ******.0 |
| 技术参数及配置要求 | 一、项目研发内容 研发数据资产服务平台，实现对内蒙古“山水林田湖草沙”生态领域大数据的高效存储与综合治理，利用人工智能技术对数据进行多维度分析，提供数据层面分析结果的可视化展示，并通过微服务架构，实现平台的可扩展性、高可用性和易维护性，满足多样化的应用需求。具体包括如下功能需求。 （1）数据采集接入模块 实现内蒙古“山水林田湖草沙”生态领域多源异构数据接入和汇聚，数据类型包括但不限于：关系型记录数据，文本、图片、遥感、图像、视频、音频等非结构化数据等，以及通过无人机、传感器等多种边端采集设备获得的各类数据。数据采集支持全量、增量、实时采集，支持对大数据量采集时的调优功能。通过平台实现数据批量采集，支持库表类型数据资源增量、全量两种方式进行数据同步。平台需要提供多种数据源之间转换的方式，支持 MySQL、Kafka、Clickhouse、hbase等主流格式之间的转换。支持多种异构数据源间同步，提供数据安全传输机制。 （2）元数据管理模块 从数据源同步过来的元数据通过元数据管理按照元模型定义的标准进行维护，让数据更容易理解和使用。每个数据源类型对应一个元模型。每个元模型包含技术属性，即自动从数据源采集的表信息（表名、所属数据库、创建时间、DDL最后变更时间、存储位置、存储大小、最近同步时间）；通用业务属性，即属性说明，描述该数据源类型中所有表的业务属性，有主题域、数仓层级等。元数据管理支持完整度分析，即统计每张表的业务属性(必填项)，是否均已完成维护。以资产平台、各数据源类型为维度，统计完整度百分比。按数据源、数据库、业务属性等维度分别统计元数据完整度。血缘分析应用场景为了及时发现一些肯定存在血缘关系，但是血缘关系缺失的表。平台实现Flink Table的管理服务，将创建的Flink Table沉淀为元数据服务，可在多个实时任务中重复引用，提高开发人员的工作效率。 （3）数据标准与质量模块 数据标准是指保障数据定义和使用的一致性、准确性和完整性的规范性约束，是对数据(字段)的命名、数据类型、长度、业务含义、计算口径、归属部门等，定义一套统一的规范，保证各业务系统对数据的统一理解、对数据定义和使用的一致性。支持数据标准维护机制。数据质量指对数据进行质量校验以及帮助企业及时发现数据问题。通过事前规则配置、事中规则校验、事后分析报告流程化，对数据及时性、完整性、一致性、有效性、准确性进行多维度评估。主要校验包括完整性校验、准确性校验、规范性校验、唯一性校验、自定义SQL等。其中完整性校验包含但不限于空值数、空值率、空串数、空串率；准确性校验包含但不限于求和、求平均、负值比、零值比、正值比；规范性校验包含但不限于数值-取值范围、数值-枚举范围、数值-枚举个数、格式-身份证号、格式-手机号、格式-邮箱、字符串-最大长度、字符串-最小长度；唯一性校验包含但不限于重复数、重复率、非重复个数、非重复占比；自定义SQL指用户自行编写校验逻辑。 （4）数据存储与共享模块 在AI场景中，数据存储和访问基本具备以下几个特点：海量数据、小文件、读多写少。结合AI场景中数据存储和访问的特点，平台选用分布式文件系统HDFS及Spark来进行业务数据的存储。对于日常建模过程中产生的数据元信息，平台采用主流的关系型数据库对数据存储和访问。在缓存层的设计上，平台采用的是高性能内存数据库Redis，满足平台数据管理服务的高效存储和访问的需求。支持通过数据信息资源目录展示服务能力，并且支持与其他信息资源目录上下级级联，支持进行数据共享交换对接。支持数据鉴权服务，具备用户鉴权、网络鉴权能力。对于地图数据（矢量、影像等数据）支持图层和要素的筛选操作和WEB地图数据服务的编辑和发布（可以发布为maps/images或者是实际的数据）；对于结构化数据支持表级和实体级的rest服务生成和发布，并针对不同的服务接口设定相应的权限以确保数据的安全。 （5）数据可视化展示模块 数据可视化展示模块结合数据仓库理论，通过维度逻辑表、事实逻辑表和汇总逻辑表，对生态大数据进行系统化的数据建模与展示。不仅能够处理多源异构的生态数据，还需要通过灵活的可视化工具，帮助用户深入理解生态系统的变化，为生态保护和资源管理提供科学依据。 维度逻辑表在数据管理中用于分类和标准化生态要素，如山、林、田、湖、草、沙等，系统通过维度逻辑表列举这些生态维度，确保数据在不同生态要素和时间节点下能够被统一管理与分析。比如，气候指标（温度、降水、湿度）和生态类别（如植物、动物、土壤类型）通过标准化后，可以更好地分析不同生态单元的变化趋势和相互作用。 事实逻辑表用于描述生态业务活动中的多维属性。内蒙古的生态系统复杂多样，业务过程如生态保护项目、资源利用活动等，都可以通过事实逻辑表进行建模。该表包含主键、度量和事实属性字段，能够记录生态保护区内的生物多样性变化、植被恢复面积等关键指标。管理者可以评估不同保护措施的成效，并为未来的生态恢复项目提供数据支持。例如，事实表可以详细记录某一区域的湿地面积增长情况或草原恢复状况，进而为生态保护决策提供数据依据。 汇总逻辑表通过对不同维度和粒度的生态数据进行综合分析，帮助用户从全局视角掌握生态资源的动态变化。基于生态主题的汇总逻辑表，系统能够生成生态资源分布报告，如草原覆盖率、森林面积的历史变化情况。通过这些统计数据，管理者可以全局掌握不同区域的生态资源利用情况，有效制定资源管理和保护政策。例如，汇总逻辑表可用于展示生态恢复项目的进度，帮助评估修复效果，如沙漠化地区的植被恢复率或湖泊水位的变化。 此外，数据可视化展示模块集成了地理信息系统（GIS），通过可视化地图展示不同生态要素的空间分布和动态变化。GIS不仅能够展示静态的生态数据，还支持动态变化的可视化，如物种迁徙路线、气候变化趋势等。结合热力图和地理标记图，用户可以直观了解生态系统的区域差异与动态变化，特别是在不同时间和季节中，系统还支持时序分析，展示生态要素的长期趋势和短期波动。例如，草地退化的季节性变化、湖泊水位的季节性波动等，都能通过动态可视化得以呈现。 在应对生态灾害方面，数据可视化展示模块提供了实时监测和预警功能。用户可以通过事实表和汇总表，实时监控森林火灾、沙尘暴等灾害的发生情况，并通过时序分析评估灾害对生态系统的影响。此外，平台还能根据历史数据生成风险地图，帮助管理者提前部署应急措施。 最后，模块还具备强大的决策支持功能，通过多维度的数据分析帮助生态管理者制定科学的管理策略。管理者可以通过可视化图表了解生态资源的利用率、生态灾害的风险等级，以及生态保护成效等关键信息，进而制定更具针对性的生态管理和保护政策。例如，通过分析不同地区的生态健康指数，系统能够帮助管理者识别生态脆弱区域，优化资源配置，提升生态保护效率。 （6）模型管理模块 模型管理模块用于模型的全生命周期的管理，从模型的创建、训练到部署、监控、更新和维护，确保模型在实际应用中的有效性和稳定性。该模块支持模型的创建和版本管理，允许用户根据业务需求自定义模型结构，设置超参数，并对不同版本进行管理，方便模型迭代时的回滚与对比。模型管理模块提供自动化训练和超参数优化功能，支持多种深度学习框架，并通过自动调参提升模型的性能。同时，模块支持模型的评估，生成准确性、召回率等指标，帮助用户选择最佳模型。 在部署方面，模块支持将模型一键部署到生产环境，提供微服务架构，使不同业务系统能够通过API调用模型，实现高效集成。模块还具有强大的实时监控功能，能够监控模型的推理速度、资源占用及结果稳定性，并在性能下降时提供预警。模型管理模块还支持自动化更新和持续学习，能够基于新数据自动再训练和生成新的模型版本，确保模型持续适应业务需求。 此外，模块集成了模型安全与权限管理，支持用户权限分配和操作审计，确保管理过程的安全性和可追溯性。模块支持与第三方大数据平台和监控工具的集成，确保在大规模数据处理场景下的高效应用。 二、研发目标要求 （1）通用服务要求 应支持数据存储及管理、数据分析、数据仓库、数据查询检索、权限控制、元数据管理等通用组件和服务，应支持可视化作业监控界面，支持可视化的基于组态的作业管理与控制、历史作业查询等通用管理、数据加密、数据溯源、数据管控组件、身份认证、统一授权、权限控制等管理组件及服务。应支持自动化安装/部署/升级、资源监控和管理、可视化界面参数、事件诊断及管理、第三方工具集成等运维组件及服务。应具备良好的可复用性，通过组件化设计，实现业务过程组件与业务流程的分离，实现业务过程组件的复用。应具备高横向扩展性，满足业务数据量增大时的系统扩展要求，增加或减少物理资源时，原有应用可以不受影响，平滑扩容，无需修改应用。 （2）性能指标要求 在网络异常的情况下，平台应支持数据断点缓存功能，待网络恢复后将数据断点补充和存储，保证数据的完整性。应便于功能和硬件的扩充，同时充分保护应用资源，使系统能适应功能的增加和规模的扩充，并支持自诊断和恢复。应具备人机接口界面友好、操作方便、简洁、灵活的应用能力，同时便于维护及二次开发。HDFS全量数据磁盘扫描速度单个节点≥300MB/s。HDFS每节点写速度≥250MB/s（3副本）。满足磁盘存储利用率≤85%。物理服务器CPU利用率≤70%。内存利用率≤70%。应提供优化的MapReduce运行环境，可支持不少于集群CPU逻辑内核总数相同的并发任务执行能力，并能随着CPU核数增加线性增加并发数。流处理单节点吞吐量≥10万条记录/s。流处理的数据框架延迟≤2秒。单节点并发调度作业数量>50个。支持调度作业总数>*****。调度响应时间<100ms。单节点作业全量分发时间<2s。 （3）兼容性与安全性要求 兼容主流的Mysq等数据库工具、报表工具、主流数据抽取ETL工具等。可以监控系统的运行情况，提高平台的可靠性。应保证系统在运营过程中所管理的各种资料的信息安全。应保证系统与其它相关系统信息交换过程的安全。应支持统一集中的用户账户管理，账户存储具备HA高可用机制。应支持分层的资源和负载管理，支持整个集群的监控和管理，支持基于Web的管理。应具备对系统进行状态的实时监控，掌握系统状况。应具备日志记录能力，详尽记录操作信息，同时支持日志分类过滤和搜索。 三、研发服务内容 （1）产品验收时需提供用户界面良好、具有基本功能的原型系统。自验收合格之日起，后续研发期（即质保期）为12个月，质保期需要持续开展系统研发合作，包括但不限于缺陷修复、功能完善、性能优化、免费升级等，使本系统能够满足既定所有的目标要求，质保期结束时需提供用户界面良好、具有全部完备功能的系统平台及研发相关资料。质保期结束后24个月为保修期，保修期内对所有产品提供持续技术支持（包括缺陷修正和系统升级等）和售后服务。质保期和保修期内服务支持时间为6天×8小时；服务及时迅速，应用系统收到用户要求现场技术服务电话后，2小时之内做出响应，如不能远程解决则到达用户现场的响应时间在24小时之内。故障排除及系统恢复不超过72小时(法定节假日除外)。质保期和保修期内分别向客户各提供不少于2人日的系统相关免费技术培训。对客户的各类资料、成果严格保密，不泄漏客户认为需要保密的事项。 （2）服务方式包括但不限于：电话咨询、电子邮件、现场服务（电话咨询无法解决的，将根据需要到客户指定现场进行处理）。此外，服务方提供数据开放性，包括但不限于数据库结构、数据字典、数据表逻辑关系，项目实施方案和文档，数据、业务流程图等技术资料。 （3）服务方将验收所需产品原型系统部署在采购方设备上并成功运行后，采购方应于5个工作日内以书面形式指出其中问题，服务方及时将交付物内容更新并提交给采购方，经采购方认可后可实施验收。产品保质期（自验收合格日之后24个月）到期后，服务方将具备完整功能、提供良好运行性能和安全性的产品系统部署在采购方设备上并成功运行后，采购方应于5个工作日内以书面形式指出其中问题，服务方及时将交付物内容更新并提交给采购方，经采购方认可后项目才算正式完成。 |
| 售后服务 | 技术支持:7x8小时;保修期:二年;服务响应时限:报修后2小时;质保期:一年;培训要求:培训两次;是否含税:国产含税;服务期限:产品验收时需提供用户界面良好、具有基本功能的原型系统。自验收合格之日起，后续研发期（即质保期）为12个月，质保期需要持续开展系统研发合作，包括但不限于缺陷修复、功能完善、性能优化、免费升级等，使本系统能够满足既定所有的目标要求，质保期结束时需提供用户界面良好、具有全部完备功能的系统平台及研发相关资料。质保期结束后24个月为保修期，保修期内对所有产品提供持续技术支持（包括缺陷修正和系统升级等）和售后服务。; |
标签: 数据存储治理
0人觉得有用|
招标
|
- 关注我们可获得更多采购需求 |
关注 |
内蒙古
内蒙古
最近搜索
无
热门搜索
无
