A3包、数据处理系统开发一、供应商资格要求1、符合《中华人民共和国政府采购法》第二十二条的规定。2、供应商的资质要求：无二、项目需求采用分布式文件系统、分布式计算、并行计算及NOSQL数据库等大数据处理与管理技术，在省中心和潍坊、泰安、菏泽三分中心，统一建立地震数据存储与管理平台。平台存储容量为180TB,其中省中心90TB，三个分中心每中心30TB。省中心：存储山东地震台网的实时地震波形、历史地震波形数据；分中心：三个分中心分别存储所管辖范围内连续地震数据，三个分中心的数据总和为省中心的数据。数据平台在实时接收地震数据时，将全部地震数据实时存储到省中心和3个数据分中心。三、技术要求1、概述鉴于地震观测数据的独特性和复杂性，需要采用大数据管理的思路和方法，解决地震数据的存储和管理。海量数据进行分布式处理的软件框架，采用高可靠性、高扩展性、高效性、高容错性的HADOOP技术框架，实现对海量地震数据的管理。采用 HDFS分布式文件存储方式，实现数据的存储管理，采用MapReduce技术，实现分布式计算、并行处理，采用Hbase数据库，实现大规模数据的随机，实时读写。2、系统架构地震数据管理平台的软件架构采用大数据/云计算平台的技术架构实现（图3-1）。 图3-1：整体架构 图3-2：大数据/云计算平台框架1、系统功能性指标要求如下：（1）历史地震波形数据存储将山东台网产出的数字光盘数据，统一纳入到该数据平台管理。实现历史地震波形数据的存储与管理。采用300DPI真彩色扫描我局7万张有震图纸，图片文件存入数据库，通过web页面查询下载图纸信息。（2）实时地震波形数据接收与存储从山东地震台网LISS服务器，实时接收山东地震台网产出的波形数据，并将数据统一存储在地震数据云存储平台。（3）地震数据实时存储备份在省中心，存储山东台网产出的全部地震波形数据。在菏泽、泰安、潍坊3个分中心，分别存储所管辖区域的地震波形数据。3个分中心的数据总和为省中心的数据。（4）数据存储支撑平台省中心数据存储能力为90TB（报价含一套满足台网需求的数据计算、存储硬件平台），3个分中心的存储容量分别为30TB（报价各含一套满足台网需求的数据计算、存储硬件平台），数据存储硬件平台支撑地震数据的分析、处理、存储、备份和服务等功能。数据处理平台技术要求节点名称主要技术指标数量省中心1、数据计算存储处理能力（1）★满足10MB/秒的地震连续波形数据处理存储能力，每节点处理能力不低于1M/秒。（2）数据存储管理节点不低于2个。2、数据存储容量（1）支持PB级的存储容量；（2）存储容量（实配）90TB。（3）数据存储吞吐量：分布式文件存储吞吐量在100%读写的情况下，存储容量在1GB的情况下，不低于60MBPS。（4）系统响应时间指标：网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于50ms。3、数据查询分析计算性能：地震连续波形6-12个月内的历史查询返回和结果读出在10秒内完成。1套数据分中心1、数据计算存储处理能力（1）满足4MB/秒的地震连续波形数据处理存储能力，每节点处理能力不低于1M/秒。（2）数据存储管理节点不低于2个。2、数据存储容量（1）支持PB级的存储容量；（2）存储容量（实配）30TB。（3）数据存储吞吐量：分布式文件存储吞吐量在100%读写的情况下，存储容量在1GB的情况下，不低于60MBPS。（4）系统响应时间指标：网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于50ms。3、数据查询分析计算性能：地震连续波形6-12个月内的历史查询返回和结果读出在10秒内完成3套（5）地震数据平台提供多接口访问包括但不限于如下访问形式：1）SQL形式的HIVE访问；2）API的多语言访问（如JAVA /C/Python等）；3）PIG形式的数据流访问；4）Sqoop、Flume等ETL工具访问；5）命令行形式的访问6）支持JDBC通用接口的访问2、系统可靠性指标要求如下：（1）负载均衡机制管理数据。监控所有集群机器负载情况，动态分配地震波形数据。监控所有集群机器，如果发现问题，那么就把分配给这台机器的地震波形数据重新分配到其他机器，去除单点故障，提高系统可靠性。（2）单一节点宕机不影响系统业务处理集群所有机器任意节点宕机，都不影响整个系统业务处理准确性和稳定性。（3）数据入库异地修复机制数据异地修复能够提供在线检验入库数据的完整性，并能够自动修复损坏的数据。（4）系统扩展机制地震数据管理平台必须具备平滑扩展能力，系统在不停机的情况下，任意增加、减少节点都不影响地震数据，性能随处理节点的增加而线性增长。（5）地震波形数据处理、存储及分析能力能理解、并解析波形观测数据；能完全存储历史波形观测数据；能实时收集、存储即时产生的波形观测数据；能对极少数据进行快速检索，极大数据的进行有效分析；3、系统性能指标要求如下：（1）地震波形数据流量入库处理能力全省每天产生的地震波形数据文件约有4GB，解压后的文件约有24GB。加上地震波形数据的其他辅助信息，每年需提供15TB的原始数据存储量，因此地震波形数据流量必须满足8MB/S的入库处理能力（2）系统响应时间指标千兆网络环境下，局域网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于300ms。（3）地震波形数据存储采用HDFS性能指标数据读取性能：40~80MB/s节点；数据规模：能够满足10PB规模数据处理；集群重新启动时间（10PB规模）：分钟级别；4、非功能性要求中标人在详细了解地震观测数据现有流程的基础上，将历史数据和实时观测数据接入到地震数据管理平台，实现地震数据的管理、存储和服务。投标人应具备云计算、云储存、大数据等相关技术背景；对海量数据处理的分布式软件框架—Hadoop，及生态圈中的HBase、Hive、Sqoop等提供技术支撑；中标人最终应以文本和电子文档的形式提交的产品包括但不仅限于以下内容：需求分析及其说明书；数据要求及其说明书；概要设计及其说明书；详细设计及其说明书；源代码及其注释说明书；测试大纲和测试文档；试运行文档；程序与软件；用户手册、使用说明和操作手册；后续技术支持与维护计划。注：以上加“_________”部分为★条款内容，如不满足，按无效投标处理。四、服务要求1、投标人在软件交付使用后，须提供1年的免费提供现场技术支持，硬件部分为3年免费质保服务。2、应用软件保修期后，投标人必须对本项目提供的产品提供继续支持，支持时间最少不得短于保修期满后2年，并在投标文件中列明服务支持方式和费用。3、7*24小时响应，8小时内到达现场。五、其他要求投标人提供现场演示，演示时间5分钟，演示设备自带。六、投标保证金1、投标保证金数额：人民币壹万叁仟肆佰圆整(￥13400.00)。2、投标保证金交纳采用下列形式之一：电汇、银行本票、银行汇票、现金、投标担保函。投标保证金为电汇形式的，汇款单上须注明采购项目编号、包号。若交款人名称与投标人名称不一致，投标人须出具加盖公章的书面材料，退款时，款项退至投标人帐户。收款单位：山东省省级机关政府采购中心开户银行：建行济南市高新支行黄金时代分理处银行帐号：****************9999大额联行号：********1046采用投标担保函形式交纳的，按山东省财政厅《关于印发（山东省政府采购信用担保试点方案）的通知》（鲁财采[2011]49号）规定执行。