文档

数据评估

在用数据做预测或训练模型之前,需要先了解数据质量是否过关。数据评估会检查时间戳、缺失值、序列平稳性和异常点,并从 完整性可预测性 两个角度给数据打分,最终生成 综合评分。评估结果可以帮助你快速发现数据问题,判断数据是否适合用于后续建模与预测分析。

开始评估

进入数据评估页面后,选择需要评估的数据集,点击「开始评估」即可。

评估完成后,「最新评估结果」会展示本次评估时间、四项基础质量指标、完整性、可预测性和综合评分。评估记录会保留每次评估结果,可按数据集名称搜索,也可刷新列表查看最新状态。

基础质量指标

四项基础质量指标用于定位数据中具体的质量问题:

指标说明如何解读
时间戳正确率时间戳格式和排列顺序符合要求的数据占比越高越好;较低时应检查时间格式、重复时间戳或时序错乱
缺失值率数据中缺失点占全部数据点的比例越低越好;较高时说明序列存在较多空洞,需要补齐或插值处理
平稳序列占比数据集中相对平稳、适合建模的时间序列占比通常越高,序列整体越稳定;仍需结合趋势、周期和业务场景判断
异常点率极端值或异常波动点占全部数据点的比例越低越好;较高时应确认异常来自数据质量问题还是实际业务事件

四项指标需要结合业务场景综合解读。例如,突发告警或设备启停产生的异常点可能是真实业务信号,不应仅根据异常点率直接删除。

评分结果

完整性

这个分数告诉你:数据有没有缺、关键字段全不全。

传感器掉线、网络抖动、重复上报、字段缺失……这些问题都会让时间序列数据出现空洞、重复或结构不完整。完整性分数反映的就是这些问题的严重程度。

分数意味着什么建议
80–100数据完整性良好,关键字段齐全,满足建模要求可直接使用
60–79存在少量缺失数据,对分析结果影响有限建议治理后使用
0–59数据缺失较多,可能影响模型训练效果建议优先治理

如果完整性分数低,后续的预测或分析结果会受到影响。建议先处理缺失值、重复数据、时间戳异常或关键字段不完整等问题,再继续建模。

可预测性

这个分数告诉你:这条数据「有没有规律可循」。

有些数据天然有规律,比如每天固定时段的用电量、随季节变化的温度。有些数据则更像随机波动。可预测性分数反映的就是序列规律的强弱。

分数意味着什么建议
80–100时序特征稳定,适合构建预测模型适合建模
60–79数据具有一定规律性,可进行预测分析,但模型效果可能受波动影响可以尝试建模,结合业务判断结果
0–59数据波动较大,预测难度较高需要评估数据或预测策略

如果可预测性分数低,并不一定代表数据有问题,而是说明这条序列本身波动性强、难以预测。此时需要结合业务判断,决定是否引入其他变量辅助预测,或降低对预测精度的期望。

综合评分

这个分数告诉你:这份数据整体是否适合继续用于建模和预测分析。

综合评分会结合完整性和可预测性,给出一个整体质量判断。它适合用来快速判断数据是否可以进入后续流程,也可以帮助确定需要优先治理的数据集。

分数意味着什么建议
80–100数据质量良好,适合建模与预测分析可优先使用
60–79数据质量基本满足要求,治理后可获得更优效果建议根据短板进行治理
0–59当前数据不满足高质量建模要求,模型预测效果可能不稳定建议完成治理后再建模

如果综合评分低,通常说明数据在完整性或可预测性上存在明显短板。建议结合四项基础质量指标查看明细结果,定位具体问题,再进行数据治理。

评估记录

评估记录列表展示数据集的历次评估结果,包括四项基础质量指标、完整性、可预测性、综合评分、创建时间和耗时。指标未返回结果时显示「-」。

在记录右侧可以执行以下操作:

  • 点击「查看」进入评估详情页。
  • 点击「删除」移除不再需要的评估记录。

查看评估详情

在评估记录中点击「查看」进入详情页。详情页包括评估进度、评分趋势和对象明细。

  • 评估进度: 展示任务状态和总体进度。评估完成时,状态显示为「已完成」,进度为 100%。
  • 评分趋势: 展示当前完整性、可预测性分数,以及同一数据集历次评估的变化趋势。
  • 对象明细: 按「表 → 设备 → 测点」的层级展示对象名称、序列数、总点数、完整性、可预测性和综合评分。

点击对象左侧的展开按钮可以查看下一级对象及各项评分。需要进一步分析时,可以导出 CSV,也可以切换为全屏查看表格。

快速参考

指标趋势方向主要用途
时间戳正确率越高越好检查时间格式、顺序和重复问题
缺失值率越低越好判断数据空洞和缺失程度
平稳序列占比通常越高越稳定判断序列整体稳定性
异常点率越低越好定位极端值和异常波动
完整性分数越高越好判断数据是否完整、关键字段是否齐全
可预测性分数越高越好判断序列是否具有可用于预测的规律
综合评分分数越高越好判断数据整体是否适合建模与预测分析