数据治理
数据治理用于发现并修复时序数据质量问题,提升数据可用性和后续建模效果。你可以选择已有数据集发起治理,查看治理前后的效果对比,并在治理记录中追踪历史结果。
开始治理
进入「数据治理」页面后,选择需要治理的数据集,点击「开始治理」即可。
治理完成后,页面会展示最近一次治理的效果对比及治理时间,包括时间戳正确率、缺失值率、平稳序列占比、异常点率和综合评分等指标。每个指标会对比治理前和治理后的结果,并标出提升、降低或不变,方便快速判断治理效果。
治理效果
效果对比区域会展示最近一次治理生成的结果:
| 指标 | 说明 |
|---|---|
| 时间戳正确率 | 时间戳格式和顺序的正确程度 |
| 缺失值率 | 数据中缺失点的占比 |
| 平稳序列占比 | 序列中相对平稳、适合建模的部分占比 |
| 异常点率 | 极端值或异常波动点的占比 |
| 综合评分 | 治理后的整体数据质量评分 |
指标变化需要结合业务理解判断。部分指标的提升方向不同,例如缺失值率和异常点率通常越低越好,时间戳正确率通常越高越好。
治理记录
治理记录会保留历史治理任务。你可以通过数据集名称搜索记录,也可以刷新列表查看最新结果。
列表中主要展示:
| 字段 | 说明 |
|---|---|
| 序号 | 治理记录的编号 |
| 数据集名称 | 原始数据集名称 |
| 治理后数据集名称 | 治理后生成的数据集名称 |
| 综合评分 | 治理后的质量评分;如果治理后评估未能完成,则显示「治理后评估失败」 |
| 创建时间 | 治理任务的创建时间 |
| 耗时 | 治理任务的执行耗时 |
| 操作 | 查看治理详情或删除记录 |
查看治理详情
在治理记录中点击「查看」进入详情页。详情页包括治理过程、治理任务信息、提升幅度和明细结果。
「治理过程」区域会展示任务当前状态和总体进度。治理完成时,状态显示为「已完成」,进度为 100%。
任务概览区域展示治理任务 ID、数据集名称、治理时间、耗时、治理前评分和治理后评分,并单独显示本次治理的评分变化。评分变化按「治理后评分 - 治理前评分」计算,可能为正数、零或负数;评分下降不代表治理任务执行失败,仍需结合各项指标和业务场景判断治理效果。
「详情」表格按对象展示以下信息:
| 字段 | 说明 |
|---|---|
| 对象名称 | 数据集中的对象名称 |
| 序列数 | 对象包含的时间序列数量 |
| 总点数 | 对象包含的数据点总数 |
| 治理前评分 | 对象治理前的数据质量评分 |
| 治理后评分 | 对象治理后的数据质量评分 |
| 提升幅度 | 治理后评分减去治理前评分的结果,可能为正数、零或负数 |
点击对象左侧的展开按钮可以查看其包含的序列名称,以及各序列的治理前评分、治理后评分和提升幅度。需要进一步分析时,可以导出 CSV,也可以切换为全屏查看表格。
与数据集的关系
在数据集列表中,除了可以对数据集发起「数据评估」,也可以点击「数据治理」进入治理流程。治理完成后会生成治理后的数据集,后续可用于数据评估、模型训练或预测分析。