高效煤矿安全数据联网存储技术
高效煤矿安全数据联网存储技术
随着煤业并入,公司业务管理范围需要延伸、扩充,需要对安监、人员等数据进行接入监测并进行分析,以满足公司全面监管的需要。由于下辖生产单位较多,采集频率高,数据量较大,急需要一种新的数据压缩技术,以优化数据存储,减少数据复杂性,提高响应速度,提高开发效率,降低硬件投入成本、降低开发及维护成本。
(一)高效数据联网存储方案设计
联网架构优化:设计融合有线与无线的混合通信网络架构,综合光纤、电缆及无线通信优势,如在巷道稳定区域铺设光纤保障高速稳定传输,在移动设备区域采用低功耗无线技术,提高数据采集灵活性。
数据处理融合:探讨边缘计算在煤矿安全数据处理的应用,在靠近数据源的设备端完成部分数据预处理,减少数据传输量与延迟,如在传感器节点实时处理数据,仅上传关键结果。
存储系统集成:研发适应煤矿安全数据存储管理系统,整合不同存储设备与技术,实现数据高效存储与快速检索,具备友好操作界面方便管理人员使用。
(二)性能测试与评估
测试指标设定:确定数据传输速率、存储读写速度、系统可用性、数据丢失率等关键性能指标,分析选择原因,如数据传输速率直接影响实时监测效果。
模拟实验:构建模拟煤矿数据生成环境,模仿实际数据产生速率与规模,对设计方案进行模拟测试,观察测量各项性能指标数值变化。
实际应用测试:选取部分矿井作为试点实施设计方案,对比传统方式进行实际应用效果评估,收集反馈意见改进完善方案。
共享拼接压缩算法SSE。共享拼接压缩算法是把数据中相似度较高的数据块,即相同信息共享(删除重复数据),不同信息拼接处理的一种技术。SQL重构、常规压缩算法需要重构后才能使用。共享拼接压缩算法,具有SQL直接数据重构、压缩后(重构前)直接SQL操作等特点。使其满足其灵活多变的数据共享和数据应用分析的需要。
该技术已应用于管控平台等多个项目中,用户反映良好。
可形成模块化产品,通过使用共享拼接压缩算法SSE来优化数据,减少数据复杂性,提高开发效率,减轻系统运维人员的工作负担。按接入10个厂矿为例,可节省数据存贮空间约10TB/年,节省开发成本约30万元,节省维护成本约6万元。按一个项目存活周期5—10年计算,经济效益将十分可观。

