数据评估
在用数据做预测或训练模型之前,需要先了解数据质量是否过关。数据评估会检查时间戳、缺失值、序列平稳性和异常点,并从 完整性 和 可预测性 两个角度给数据打分,最终生成 综合评分。评估结果可以帮助你快速发现数据问题,判断数据是否适合用于后续建模与预测分析。
开始评估
进入数据评估页面后,选择需要评估的数据集,点击「开始评估」即可。
评估完成后,「最新评估结果」会展示本次评估时间、四项基础质量指标、完整性、可预测性和综合评分。评估记录会保留每次评估结果,可按数据集名称搜索,也可刷新列表查看最新状态。
基础质量指标
四项基础质量指标用于定位数据中具体的质量问题:
| 指标 | 说明 | 如何解读 |
|---|---|---|
| 时间戳正确率 | 时间戳格式和排列顺序符合要求的数据占比 | 越高越好;较低时应检查时间格式、重复时间戳或时序错乱 |
| 缺失值率 | 数据中缺失点占全部数据点的比例 | 越低越好;较高时说明序列存在较多空洞,需要补齐或插值处理 |
| 平稳序列占比 | 数据集中相对平稳、适合建模的时间序列占比 | 通常越高,序列整体越稳定;仍需结合趋势、周期和业务场景判断 |
| 异常点率 | 极端值或异常波动点占全部数据点的比例 | 越低越好;较高时应确认异常来自数据质量问题还是实际业务事件 |
四项指标需要结合业务场景综合解读。例如,突发告警或设备启停产生的异常点可能是真实业务信号,不应仅根据异常点率直接删除。
评分结果
完整性
这个分数告诉你:数据有没有缺、关键字段全不全。
传感器掉线、网络抖动、重复上报、字段缺失……这些问题都会让时间序列数据出现空洞、重复或结构不完整。完整性分数反映的就是这些问题的严重程度。
| 分数 | 意味着什么 | 建议 |
|---|---|---|
| 80–100 | 数据完整性良好,关键字段齐全,满足建模要求 | 可直接使用 |
| 60–79 | 存在少量缺失数据,对分析结果影响有限 | 建议治理后使用 |
| 0–59 | 数据缺失较多,可能影响模型训练效果 | 建议优先治理 |
如果完整性分数低,后续的预测或分析结果会受到影响。建议先处理缺失值、重复数据、时间戳异常或关键字段不完整等问题,再继续建模。
可预测性
这个分数告诉你:这条数据「有没有规律可循」。
有些数据天然有规律,比如每天固定时段的用电量、随季节变化的温度。有些数据则更像随机波动。可预测性分数反映的就是序列规律的强弱。
| 分数 | 意味着什么 | 建议 |
|---|---|---|
| 80–100 | 时序特征稳定,适合构建预测模型 | 适合建模 |
| 60–79 | 数据具有一定规律性,可进行预测分析,但模型效果可能受波动影响 | 可以尝试建模,结合业务判断结果 |
| 0–59 | 数据波动较大,预测难度较高 | 需要评估数据或预测策略 |
如果可预测性分数低,并不一定代表数据有问题,而是说明这条序列本身波动性强、难以预测。此时需要结合业务判断,决定是否引入其他变量辅助预测,或降低对预测精度的期望。
综合评分
这个分数告诉你:这份数据整体是否适合继续用于建模和预测分析。
综合评分会结合完整性和可预测性,给出一个整体质量判断。它适合用来快速判断数据是否可以进入后续流程,也可以帮助确定需要优先治理的数据集。
| 分数 | 意味着什么 | 建议 |
|---|---|---|
| 80–100 | 数据质量良好,适合建模与预测分析 | 可优先使用 |
| 60–79 | 数据质量基本满足要求,治理后可获得更优效果 | 建议根据短板进行治理 |
| 0–59 | 当前数据不满足高质量建模要求,模型预测效果可能不稳定 | 建议完成治理后再建模 |
如果综合评分低,通常说明数据在完整性或可预测性上存在明显短板。建议结合四项基础质量指标查看明细结果,定位具体问题,再进行数据治理。
评估记录
评估记录列表展示数据集的历次评估结果,包括四项基础质量指标、完整性、可预测性、综合评分、创建时间和耗时。指标未返回结果时显示「-」。
在记录右侧可以执行以下操作:
- 点击「查看」进入评估详情页。
- 点击「删除」移除不再需要的评估记录。
查看评估详情
在评估记录中点击「查看」进入详情页。详情页包括评估进度、评分趋势和对象明细。
- 评估进度: 展示任务状态和总体进度。评估完成时,状态显示为「已完成」,进度为 100%。
- 评分趋势: 展示当前完整性、可预测性分数,以及同一数据集历次评估的变化趋势。
- 对象明细: 按「表 → 设备 → 测点」的层级展示对象名称、序列数、总点数、完整性、可预测性和综合评分。
点击对象左侧的展开按钮可以查看下一级对象及各项评分。需要进一步分析时,可以导出 CSV,也可以切换为全屏查看表格。
快速参考
| 指标 | 趋势方向 | 主要用途 |
|---|---|---|
| 时间戳正确率 | 越高越好 | 检查时间格式、顺序和重复问题 |
| 缺失值率 | 越低越好 | 判断数据空洞和缺失程度 |
| 平稳序列占比 | 通常越高越稳定 | 判断序列整体稳定性 |
| 异常点率 | 越低越好 | 定位极端值和异常波动 |
| 完整性 | 分数越高越好 | 判断数据是否完整、关键字段是否齐全 |
| 可预测性 | 分数越高越好 | 判断序列是否具有可用于预测的规律 |
| 综合评分 | 分数越高越好 | 判断数据整体是否适合建模与预测分析 |