- · 《清洗世界》栏目设置[08/03]
- · 《清洗世界》刊物宗旨[08/03]
- · 《清洗世界》征稿要求[08/03]
- · 《清洗世界》投稿方式[08/03]
- · 《清洗世界》数据库收录[08/03]
基于电力大数据清洗模型的异常数据识别方法(5)
作者:网站采编关键词:
摘要:2 方法性能测试 为了验证提出异常数据识别方法的识别效果,设计对比实验。由于提出方法应用了电力大数据清洗模型,搭建电力大数据清洗模型实验环境
2 方法性能测试
为了验证提出异常数据识别方法的识别效果,设计对比实验。由于提出方法应用了电力大数据清洗模型,搭建电力大数据清洗模型实验环境,具体如图3所示。
图3 电力大数据清洗模型实验环境Fig.3 Power big data cleaning model experimental environment
如图3所示,电力大数据清洗模型实验环境主要由六台服务器组成,构成数据清洗集群节点,将核心节点称为Master,其与五个数据清洗节点称为Slave1- Slave5,每个服务器节点参数配置情况如表2所示。
Tab.2 Server node parameter configuration table参数名称参数配置参数名称参数配置 操作系统内存6×128 GB 数据存储Hadoop hdfsCPU核数6×16 服务器类型刀片型处理区类型Intel Xeon 2.0 GHz 硬盘容量6T网卡速率1 Gbit/s 服务器数量6
以上述搭建的实验环境、配置的设备参数为基础,使用基于数理统计的异常数据识别方法、基于距离的异常数据识别方法与提出方法识别电力大数据中的异常数据,通过异常数据误识率与数据清洗时间体现方法的识别效果。具体实验结果分析过程如下所示。
2.1 异常数据误识率对比
异常数据误识率直接决定着方法的识别效果。常规情况下认为异常数据误识率越低,表示方法识别效果越好。将100次实验结果输入到SPSS Data Editor中,绘制异常数据误识率实验数据图。
如图4数据所示,异常数据误识率数值存在着较大的差异,说明实验数据有效。通过对比研究发现,提出方法的误识率远远的低于现有两种方法,说明提出方法异常数据识别性能更好。
图4 异常数据误识率实验数据图Fig.4 Abnormal data misrecognition rate experimental data graph
2.2 异常数据清洗时间对比
异常数据清洗时间决定着方法的识别效率,一般情况下认为,异常数据清洗时间越短,则表示方法识别效率越高。通过100次实验得到异常数据清洗时间对比情况如表3所示。
Tab.3 Comparison of abnormal data cleaning time实验次数提出方法基于数理统计识别方法基于距离识别方法 .
如表3数据所示,异常数据清洗时间实验数据存在着较大的差异,说明实验数据有效。通过对比研究发现,提出方法的异常数据清洗时间远远的低于现有两种方法,说明提出方法异常数据识别效率更高。
通过实验结果显示,与现有两种异常数据识别方法相比较,提出的异常数据识别方法降低了异常数据误识率,减少了异常数据清洗时间,充分说明提出的异常数据识别方法具备更好的识别性能。
3 结语
提出的异常数据识别方法降低了异常数据误识率,减少了异常数据清洗时间,为电力大数据分析提供更加精确、完整的数据支撑。但是对于提出的基于电力大数据清洗模型的异常数据识别方法来说,异常数据误识率与异常数据清洗时间指标依然存在较大的上升空间,需要进一步优化研究该方法。
文章来源:《清洗世界》 网址: http://www.qxsjzz.cn/qikandaodu/2020/0809/384.html
上一篇:古籍修复技艺之书页清洗去污 ——从参观“中
下一篇:最完美的地方