鞭牛士報道 企業在設計、采購、生產、銷售、物流、售后等業務環節,往往會存在大量的信息不規范、不統一、不及時的情況,導致數據資產無法在核心業務流程中高效流轉和消費。

(資料圖)

通過集成各系統,將數據融合打通形成數據流之外,非常重要的一環,是在企業內充分貫徹同一套數據標準,無論是后端設計研發,到前端業務運營消費,還是企業內跨部門、跨組織、跨角色協作,通過數據標準管理和實施,都能基于統一的術語和統計口徑進行表單定義以及指標設計,以促進數據流通和消費。

常見的數據標準問題

根據中國信通院的定義:數據標準,是指保障數據的內外部使用與交換的一致性和準確性的規范性約束。更直接點來說,數據標準是用于描述公司層面需共同遵守的數據含義和業務規則,通常從業務、技術、管理三方面進行定義。

然而,數據標準需求缺乏統一管理、不同系統間標準制定依據各異、資產建設缺乏和標準的關聯,使得數據標準的建設和應用都面臨很大困難：

·建設:多源異構數據整合缺乏統一的約束口徑,數據開發效率低

數倉開發人員無法快速理解數據背后的實際業務含義,需要和業務人員反復溝通,理解成本高;不同業務人員對于同一個指標口徑的理解不一致,容易出現認識偏差,影響分析決策結果。

·管理:各系統分散管理,人工保障規范,數據質量難以提升

不同主題域由不同負責人進行開發和維護,導致規范不一致,數據可信度降低;由于缺乏有效的工具監督,規范定義和開發實現隔離,無法保證數據開發符合標準規范,數據質量難以提升,導致頻繁的數據重構,管理成本高。

·使用:缺少元數據信息及使用引導說明,數據消費難度大

數據的使用不僅需要明確數據詳情,還需要參考元數據信息,以便數據使用方快速找到需要的數據并評估數據可用性。由于缺少必要的數據定義及使用說明,造成數據經常被誤用濫用,數據消費難度大。

由此,我們需要一套功能全面、操作便捷的產品,來幫助企業中的數據標準管理人員/組織,提升企業數據標準化程度和數據資產可信度。

Dataphin 數據標準模塊在標準建設、標準管理、標準應用三大核心環節,提供了統一的產品化能力,并結合質量監控能力實現對資產對象的落標稽核,幫助企業解決數字建設管理過程中遇到的問題。

Dataphin數據標準功能介紹

數據標準怎么建?

數據標準模板,一次定義多次復用

相較于傳統模式下用 Excel 等線下文件管理數據標準的方式,Dataphin 支持在線創建標準集以便將規范相似、業務含義相關的數據標準進行統一管理,起到分類的作用,實現一次定義多次復用。如,某團隊的基礎數據標準需要具備以下屬性:

·業務屬性:標準名稱、標準編碼、描述

·技術屬性:字段類型、字段長度、字段精度

·管理屬性:標準制定部門、應用業務部門

在創建標準集模板時,我們可以將“標準制定部門”和“應用業務部門”的類型設置為“枚舉單值”,且枚舉值來源引用“公司部門”碼表,這樣在創建標準時,這兩個屬性會以下拉單選框的形式展示,且可選范圍為“公司部門”碼表配置的碼值,不僅大大提升了標準填寫人員的效率和體驗,也避免信息來源和操作不一致造成的標準規范各異。

此外,為了更好地將歷史已有標準文件導入系統進行統一管理,Dataphin 支持批量導入及更新數據標準,只需要下載標準模板并配置沖突策略,就可以實現約束一致的數據標準的批量更新。

如何高效管理標準?

全生命周期管理,讓多方協同更清晰

在Dataphin中完成數據標準創建后,會默認生成“草稿態”標準,確認填寫無誤后可以提交標準上線申請并生成對應的審批任務。Dataphin 支持設置標準審批模板,以適配不同管理范圍下標準的審批。

標準上線后根據設置的標準生效時間,自動生成“待生效、已生效、已失效”的標準。上線后的標準支持在線修訂,會生成“修訂中”的版本,修訂中版本再次發布前,不會影響線上已生效的標準版本。基于該流程,可以實現靈活完整的標準生命周期管理。

參考數據管理,有約束才夠準確

數據標準常常需要和參考數據一起使用,才能更好地適配業務需求。常見的參考數據包括碼表、詞根、度量單獨等等。

碼表可用于約束標準屬性字段的取值范圍或直接作為范圍值屬性(如值域)的來源,提升標準定義的準確性;詞根常用作詞綴并作為數據表、字段等研發對象命名的參考依據,以提升命名規范性減少數據消費時的不一致性和理解誤差。

Dataphin 數據標準支持碼表和字根的創建和管理,通過簡單的界面操作即可完成創建,并可在創建標準時引用碼表作為取值范圍的約束,降低了標準管理人員的操作成本。

數據標準怎么用?

落標映射,將數據治理前置到研發鏈路

標準創建完成后,需要和對應的資產對象關聯起來才能真正實現其應用價值,實現對資產的規范性約束。Dataphin 支持基于標準屬性值和資產對象元數據屬性值進行落標關聯映射配置,以實現標準和資產的關聯,作為后續落標稽核的基礎。下面,我們通過一個例子來進一步理解 Dataphin 如何實現落標映射與稽核。

首先,我們需要圈選出進行映射匹配的標準和資產對象來源范圍:

·標準:來自于“測試標準集”的所有“已生效”狀態的標準

·資產對象:所屬表名包含“test”字樣的所有字段

接著,我們需要配置標準和資產對象的關聯映射條件:標準名稱 = 字段名稱;

最后,我們需要配置該規則的執行時間和頻率等信息。

基于上述配置,系統會自動執行該映射規則,圈選出相應范圍的標準和資產對象并進行匹配。規則執行完成后,我們就可以在資產目錄及規則執行明細頁面清晰的看到某個資產關聯到了哪些標準,以便參考映射到的標準定義進行開發,將數據治理前置到研發鏈路。

落標評估,從源端保障數據規范統一

映射成功的資產對象是不是真正遵循了這些標準?接下來就需要我們的落標評估能力來助力。

Dataphin 支持針對資產對象的技術元數據進行落標評估,如字段類型、字段長度等。后續我們還將結合質量監控的能力,進一步拓展對值域、字段格式等內容的監控。針對不滿足關聯標準的資產,標準管理人員可以推動研發人員可以盡早進行整改,從源端保障數據規范性和統一性。

結語

總體來說,作為資產治理的重要一環,Dataphin 數據標準功能為標準的統一管理提供了靈活的產品化能力支持,同時也能減少人工監控成本,為標準的落地執行提供了強有力的保障,以提升企業整體數字能力建設的標準化成熟和資產的健康度。