Errors
我應該如何處理時間序列數據庫中的測量錯誤?
我有一張表格,用於記錄在不同感測器上定期採樣的測量值。每行記錄時間、被測量數量的標識符和值本身。
不時發生測量錯誤,並且垃圾被記錄在值欄位中。我應該如何處理這些錯誤:
- 完全刪除有問題的行,失去出現錯誤的資訊;
- 保持該行不變,並要求客戶端程式碼處理錯誤;
- 用 替換值
NULL
,失去原來的錯誤值?或者有沒有我沒有考慮過的其他選擇?
處理這種情況的一個很好的方法是將有問題的行移動到一個名為類似的表中
xxx_quality_issues
,該表包含與主表相同的列定義。這可以防止壞數據污染主表中保存的好數據的統計分析,同時保留可能修復的行。我會建立一個系統來監控
xxx_quality_issues
表中的行。該表可能有幾個額外的列詳細說明問題行,包括Status
、IdentifiedIssue
、ResolutionType
等。如果可以修復問題表中的行,則可以將它們移回主表中。