日韩一区二区三区在线免费观看-开心久久婷婷综合中文字幕-欧美激情91-久久国产福利-欧美日韩日本国产亚洲在线-国产精品极品国产中出

首頁 > 互聯網 > 正文

當前熱門:數禾科技X瓴羊:通過Dataphin進行數據資產體系建設

2023-04-10 17:46:44來源:Bianews鞭牛士  

在與瓴羊建立合作后,數禾科技通過Dataphin在數據架構、數據建模、數據治理等維度,進行了增強管控,同時結合行業最佳實踐,沉淀出了一整套獨具特色的數據資產建設方法論。在引入了新工具、新范式后,數禾科技的數據處理能力提升了8倍,做到了數據生產鏈路0事故。

普惠金融服務的落地,離不開數字技術的快速發展。

作為專注于普惠民生的金融科技公司,數禾科技多年來秉承著“讓人人享有金融服務最優解”的使命,憑借先進的大數據、人工智能等技術,將金融的普惠價值通過數字科技的力量,落地到更多的場景與客群當中。


(資料圖)

以數禾科技旗下的還唄小微貸產品為例,這是一款為資金周轉困難的小微企業主提供的專屬信貸產品,讓小微業主借的省心,借的輕松,借的方便。目前還唄小微貸面向40萬小微企業主提供金融服務近140億元,實現這樣一個業務服務規模,背后需要一套完善的智能化金融服務平臺來做支撐。

圖1. 數禾科技主題域模型

“雖然各家的業務不一樣,但需要的數字化能力可以是一樣的。”

當被問到作為數禾科技的CDO,如何來規劃數禾科技的數字化能力建設方案,王冠軍的回應非常簡單直接,那就是「向最優秀者看齊」。無論是各行各業的最佳實踐,還是在數據處理、分析領域有著搶眼表現的阿里,都是數禾科技對標的對象。

“Dataphin代表了阿里先進的數據生產力,我們懷著開放的心態,把先進的工具引入進來,并踐行方法論和最佳實踐,數禾要站在巨人的肩膀上,對自身業務場景進行全方位賦能?!?/p>

數字化能力建設離不開頂層設計,數禾科技逐漸發展沉淀出了「一環四化」規劃藍圖,即業務數據化、數據資產化、資產服務化、服務價值化,以及貫穿事前、事中、事后的數據治理閉環。

圖2. 數字化頂層規劃

曾經,數禾科技也因缺乏科學的數據體系建設和治理的指導,面臨了“數據湖”變成“數據沼澤”的尷尬處境。在與瓴羊建立合作后,數禾科技通過Dataphin在數據架構、數據建模、數據治理等維度,進行了增強管控,內外兼修,積極擁抱阿里生態,迅速拉齊到業內領先水平。

與此同時,基于瓴羊過去在阿里內部實踐沉淀下的方法論,數禾科技結合行業最佳實踐,根據自身業務場景進行二次創新,沉淀出了一整套獨具特色的數據資產建設方法論,下面通過三個實例進行說明。

一、設計DBus機制,讓數據有序流轉

「數據資產化」是數禾科技四化環節的重中之重,即通過對業務過程進行建模、提煉指標、萃取標簽、特征工程等等,進行數據資產的沉淀。

其中,以數據團隊為主導構建的相對穩定和通用的數據資產體系,被數禾科技定義為「官方資產」,此類資產可以解決企業60%-70%的共性問題,剩余與業務場景強相關的個性化需求,數據團隊會通過Dataphin開放數據能力給到業務團隊,如私有化數據集市、沙箱體系等,讓業務開放創新地將數據資產用起來。

圖3. 數據中臺項目啟動至今使用增長情況

目前數禾科技全公司有近一半的同事,都在自主使用Dataphin作為數字決策輔助工具。但業務團隊所生產的「私有化數據」都需要按照一定的標準規則被強管控起來,不可以無序流轉。

因為在「數據資產化」階段,想要數據資產被最大化地有序利用,需要企業清晰掌握數據使用的鏈路,找到那批可持續復用的數據資產進行下沉,逐步將數據有序分批地沉淀到「官方資產」,而過于個性化的數據資產,則留在項目空間里由業務方自行處理。

圖4. DBus機制

通過Dataphin提供的端到端數據血緣探查和管理能力,數禾科技形成了DBus機制,來負責私有化數據流轉的標記、監控和管理,以此保障數據資產化能夠高效有序開展。

數禾科技數據團隊成員表示,過去,由于數據的生產流轉缺少工具進行管理和監控,導致數據的關系網絡極其復雜,調用鏈路被各種上下游牽制,往往是牽一發而動全身,有些節點想做下線處理十分棘手。

在數據資產建設過程中形成的DBus機制,是通過標準和架構設計,讓數據的流轉能夠通過一個數據共享總線來統一管理。比如私有數據集需要符合數據治理的規范和標準,才可以進入到DBus數據總線進行共享流通。數據團隊會監控DBus總線上的數據資產,通過Dataphin將這批資產打標,持續跟蹤資產流轉情況。

如果某批資產被跨團隊高頻調用,就會由數據團隊下沉到公共數據體系,發布到數據目錄上,個性化的數據資產就此有了「身份」,并入「官方資產」,以此保障共享型的數據資產能夠被充分利用起來。

王冠軍表示,“之所以會在數禾內部誕生這類數據流轉機制,正是因為企業必然需要在中臺的穩定性,和業務的敏捷性之間做出平衡?!盌ataphin可以通過項目空間的隔離,讓業務側享受到充分的用數自由,同時讓具備高共享價值的私有化數據,及時下沉到「官方資產」,最大化釋放數據價值。

二、獨創DCube方法論,清晰管理個性化指標

“數據資產在數禾內部是層層流動的,并且這種流動是有序的。通過Dataphin基于OneData方法論設計的標準研發流程,數據從原子指標經組合公式生成派生指標,在這個過程中,我們會發現數禾還有很多特有的指標需求?!?/p>

王冠軍說話語速偏快,能夠根據問題迅速組織出清晰、全面的表達內容,這可能和他長期保持以不同組織視角來思考問題的習慣有關。

“我們數據團隊是以客戶為中心的,這個客戶指代的是數禾內部的業務團隊,所以,我們需要通過特定的方法,讓他們能夠更便利地使用個性化指標,不要重復建設公共指標?!?/p>

數禾科技的數據團隊借助Dataphin,用可視化拖拉拽方式快速生成一個公共指標層,目的是消除二義性,讓指標的生成更加標準和規范,同時增加了一個擴展層,也就是DCube,生成面向業務場景的個性化指標,DCube層更便于業務理解,讓他們能快捷地使用起來。

圖5. “統一指標+”方案:基于Dataphin統一指標工具的增強版

通過DCube層的規范設計,數禾科技的數據團隊在數據資產化環節,有效平衡了通用性和靈活性的資產建設需求,并在后續的「資產服務化」環節,通過API接口調用、文件服務、消息隊列調用這3種標準服務的方式,使得數據資產可以快速地被對接到BI,以及其他應用系統,進一步將「服務價值化」。

在數據中臺上,數據團隊逐漸形成了BI分析產品、CDP產品、全視角用戶洞察產品等,不僅提升了數據團隊的交付效率和質量,也真正幫助業務團隊更方便地使用數據,在營銷、風控等場景準確識別用戶需求,高效開展普惠金融服務。

三、開發治理一體化,讓數據治理從Day1做起

提到數據治理工作的啟動,數禾科技的數據團隊成員是有很多苦水要吐的。

“曾經的數據湖架構,同一個實體和字段有不同版本,數據關系存在大量的冗余和不對稱,在遷移任務到Dataphin的過程中,扒邏輯就扒了12層,如果開發Owner離職,這個邏輯真的沒有人可以理清楚了?!?/p>

通過Dataphin落實了DBus機制后,邏輯變得扁平化,引用關系簡單清晰。我們使用Dataphin構建清晰的總線矩陣,劃分并定義數據域、業務過程、維度、原子指標、統計周期和派生指標,消除了指標的二義性。這就使得數據資產的開發、管理、運營都變得更加清晰明確。

其次是「生產隔離」設置。以前做數據湖,不太關注生產環境和分析探索環境的管理,大家都各自在里頭做數據分析,生產調度作業很多都是探索實驗任務,生命周期很短,邏輯變更頻繁,數據作業只上不下,結果就造成生產環境越來越混沌。

“現在,我們通過Dataphin嚴格區分了數據探索和生產環境:探索環境可以非常靈活,我們給業務同事提供了沙箱環境,他們可以自由發揮創新精神,不使用就全部抹掉;而在生產環境,我們需要保障數據質量、時效性和穩定性,因為這部分環境中的數據,需要支撐業績報表、數據決策、交易增長等一系列與企業經營密切關聯的場景。”

在企業中,數據治理往往不是發起一個獨立的運作項目那么簡單,它被深深地嵌入到了企業經營的每一個細節當中。王冠軍認為數據治理工作旨在不斷調節降低大數據系統熵值,從而使得數據質量、數據安全、資源成本都得到有效的管控,持續為業務價值創造提供可信的數據資產。

“我不覺得成立一個數據治理組織是最關鍵的,我們數據治理的機制和能力,都是通過不斷解決問題進化出來的?!?/p>

事后出現問題,比如SLA數據延遲,到了原定的時間沒有出來,就先建工單分配到數據工程師解決問題,然后啟動復盤改進,往前推,到事中的告警觸發,事前的檢查規范和制度是否有被落實等等?!耙粋€故障越是在前期被防控,對我們來說成本越低,我們的數據治理工作就是這樣一步一步通過Dataphin的工具能力被前置到Day1。”說到數據團隊所遇到的各種問題,王冠軍表現出來的是一種非常積極的處理態度,他把這些都視為團隊治理能力進化的推力,而非阻力。

自從在數據架構、數據建模、數據治理等環節引入了新工具、新范式,數禾科技的數據處理能力提升了8倍,做到了數據生產鏈路0事故,王冠軍微笑著說這要感謝Dataphin的助力,但這樣一支勤于思考,精于做事的數據團隊,發展得越來越好也是必然。

關鍵詞:

責任編輯:hnmd003

相關閱讀

相關閱讀

推薦閱讀

国产亚洲欧美日韩精品一区二区三区| 亚洲国产老妈| 99re6这里只有精品| 亚洲一本视频| 蜜桃视频第一区免费观看| 91精品影视| 国产精品毛片aⅴ一区二区三区| 亚洲国产中文在线二区三区免| 亚洲婷婷免费| 久久男人天堂| 国产a亚洲精品| 精品欧美视频| 欧美日韩四区| 欧美天堂一区| 欧美电影在线观看一区| 久久久亚洲一区| аⅴ资源天堂资源库在线| 亚洲巨乳在线| 国产99久久精品一区二区300| 男人的天堂久久精品| 久久一日本道色综合久久| 日韩一级淫片| 母乳一区在线观看| 亚洲国产激情| 美女亚洲一区| 久久精品国产在热久久| 97人人澡人人爽91综合色| 久久性天堂网| av国产精品| 亚洲精品va| 国产精品主播| 精品久久ai电影| 免费v片在线观看| 日韩av电影天堂| 亚洲欧洲日韩精品在线| 99国产精品| 日韩精品国产精品| 久久国产日本精品| 欧美片第1页| 日韩免费一级| 97欧美在线视频| 日韩二区三区在线观看| 日韩精品一级中文字幕精品视频免费观看| 日本不卡视频在线| 国产99久久久国产精品成人免费 | 欧美日韩一区二区三区在线电影 | 国产精品三级| 午夜亚洲影视| 中文字幕亚洲精品乱码| 黄色在线一区| 欧美激情aⅴ一区二区三区| 希岛爱理av一区二区三区| 欧美中文字幕一区二区| 欧美一区二区三区久久精品茉莉花| 97久久亚洲| 国产69精品久久| 亚洲福利国产| 欧美激情日韩| 狠久久av成人天堂| 成年永久一区二区三区免费视频| 亚洲欧美高清| 日韩人体视频| 精品日韩视频| 激情综合自拍| 精品一区二区三区中文字幕视频 | 久久精品一本| 婷婷综合网站| 国产欧美一区二区三区精品观看 | 欧美精品一区二区久久| 国产日产高清欧美一区二区三区| 亚洲午夜精品久久久久久app| 久久久伦理片| 国产精品不卡| 久久99国产精品久久99大师| 日本不卡免费在线视频| 国产精品二区不卡| 精品一区电影| 欧美区亚洲区| 国产网站在线| 婷婷成人综合| 亚洲最大在线| 狂野欧美性猛交xxxx| 亚洲欧洲日本mm| 综合视频一区| 理论电影国产精品| 欧美疯狂party性派对| 精品欠久久久中文字幕加勒比| 毛片不卡一区二区| 丁香六月综合| 在线精品视频在线观看高清| 西瓜成人精品人成网站| 亚洲成人高清| 亚洲少妇自拍| 少妇精品导航| 亚洲素人在线| 老司机午夜精品| 国产成人精品123区免费视频| 亚洲二区三区不卡| 91精品日本| www 久久久| 成人精品国产| 日韩影院精彩在线| 亚洲网址在线| 国产精品99久久免费观看| 欧美黄色一级| 美女视频网站黄色亚洲| 91日韩欧美| 黄页网站一区| 久久天堂久久| 天堂av一区| 日韩福利在线观看| 在线男人天堂| 国产视频一区欧美| 99国产**精品****| 午夜视频一区二区在线观看| 中文字幕人成人乱码| 美女久久久久久| 日韩一区二区三区免费| 欧美xxxxx视频| 久久夜色精品| 日韩午夜免费| 国语产色综合| 欧美一区自拍| 亚洲精品在线国产| 久久综合偷偷噜噜噜色| 国产精品777777在线播放| 理论电影国产精品| 国产精品一页| 国产一区二区三区久久| www.国产精品| 激情亚洲影院在线观看| 韩国成人二区| 视频在线不卡免费观看| 久热精品在线| 久热精品视频| 蜜桃久久精品一区二区| 人禽交欧美网站| 色婷婷色综合| 日本黄色精品| 93在线视频精品免费观看| 蜜桃av噜噜一区二区三区小说| 日本大胆欧美人术艺术动态| 蜜臀va亚洲va欧美va天堂| 狂野欧美一区| 日本大胆欧美人术艺术动态| 国产精品13p| 欧美一级网址| 日韩国产欧美在线观看| 久久精品一本| 国产精品777777在线播放| 午夜a一级毛片亚洲欧洲| 日韩电影不卡一区| 久久伊人精品| 欧美调教在线| 亚洲第一毛片| 亚洲经典在线| 蜜臀久久久久久久| 日日av拍夜夜添久久免费| 精品国产美女a久久9999| 久久精品国产亚洲高清剧情介绍 | 国产一区二区三区视频在线| 国产精品igao视频网网址不卡日韩 | 国产精品v一区二区三区| 国产精品porn| 欧美激情在线免费| 成人av地址| 国产精品99久久| 国产精品成人av| 国产成人精选| 欧美激情亚洲| 国产免费av国片精品草莓男男| 久久精品主播| 性欧美长视频| 99精品国自产在线| 亚洲天堂免费| 一区二区中文字幕在线观看| 美女亚洲一区| 特黄毛片在线观看| 亚洲精品乱码| 911亚洲精品| 免费欧美一区| 蜜臀国产一区| 你懂的网址国产 欧美| 欧美xxxx在线| 性欧美xxxx大乳国产app| 精精国产xxx在线视频app| 欧美精品播放| 成人婷婷网色偷偷亚洲男人的天堂| 好看不卡的中文字幕| 777午夜精品电影免费看| 一区二区三区在线电影| 永久免费精品视频| 国产高清欧美| 鲁鲁在线中文| 欧美日一区二区在线观看| 亚洲精品aⅴ| 久久99精品久久久久久欧洲站| 亚洲一区二区三区高清不卡| 亚洲美女网站| 欧美影视一区|