每經記者 葉曉丹    每經編輯 董興生    

在亞馬遜、阿里云、字節(jié)跳動等互聯網巨頭扎堆在大數據領域布局“湖倉一體”解決方案之時，《每日經濟新聞》記者注意到，8月11日，網易旗下網易數帆也宣布聯合華泰證券推出企業(yè)級流式湖倉服務Arctic開源。

“湖倉一體”技術為何被各大互聯網企業(yè)、大數據公司競相看中？它能解決哪些痛點？背后反映了怎樣的技術趨勢？

流批割裂，金融行業(yè)數智中臺建設面臨挑戰(zhàn)

目前，企業(yè)對數據庫技術的需求不再局限于結構化的OLTP數據交易，而是需要進一步擴展到對多樣化數據進行實時處理的場景。傳統(tǒng)的數據湖在事務一致性及實時處理方面有所欠缺，而數據倉庫也無法應對高并發(fā)、多數據類型的處理。

“湖倉一體”，被業(yè)內認為是新一代數據管理架構。賽迪顧問7月15日發(fā)布的《湖倉一體技術研究報告》顯示，湖倉一體是一種新型的開放式架構，打通了數據倉庫和數據湖，將數據倉庫的高性能及管理能力與數據湖的靈活性融合了起來，底層支持多種數據類型并存，能實現數據間的相互共享，上層可以通過統(tǒng)一封裝的接口進行訪問，可同時支持實時查詢和分析，為企業(yè)進行數據治理帶來了更多的便利性。湖倉一體可在數據入湖后原地進行數據處理與分析，能有效避免數據冗余及流動導致的算力、網絡及成本開銷，可以作為超大型ODS存儲貼源數據，實現全量數據的實時處理。

以金融證券行業(yè)為例，近年來，券商在加大自研技術投入，不過，“流批割裂”成為部分券商數智中臺建設的挑戰(zhàn)之一。“‘實時’是數智中臺的核心訴求，流批割裂則是落地的一大挑戰(zhàn)。”華泰證券大數據流計算技術專家陳豐通過騰訊會議介紹，實時湖倉在華泰證券日內數據離線加工、實時關聯大量歷史數據、金融數據頻繁修正、統(tǒng)一埋點加工鏈路等方面具有極大的價值。

圖片來源：主辦方供圖

然而，當前數倉建設面臨流批鏈路分開建設、純實時業(yè)務邏輯復雜、數據存儲不統(tǒng)一、數據更新復雜以及演進難等五大問題。

網易數帆大數據產品線總經理余利華也通過騰訊會議表示，金融企業(yè)希望融合實時數據湖與數據倉庫，打造實時數據中臺支撐其數字化業(yè)務創(chuàng)新，這本質上正是湖倉一體的思路。然而，余利華也認識到，目前的主流數據湖技術等只解決了更新、大表訪問性能、流式消費等問題，仍然遺留小文件導致性能損耗、兼容性和流失更新等性能和易用性相關問題，而開源社區(qū)尚未出現對應的解決方案。

使數據中臺體系無縫擴展到實時場景

在接受《每日經濟新聞》記者采訪時，余利華表示，亞馬遜、阿里云等云廠商推出的“湖倉一體”技術，更多是面向最終用戶的云服務。而湖倉一體Arctic，其實不是云服務，而是獨立的開源軟件。理論上來講，開源軟件是可以被集成到各家客戶自己的平臺里，甚至包括云廠商，網易數帆的目的是幫大家更快地去落地湖倉一體。

余利華 圖片來源：主辦方供圖

余利華表示，秉承開放式架構原則，Arctic立足開源數據湖，不綁定計算引擎，注重與傳統(tǒng)數倉Hive的兼容，能做到100%兼容Iceberg/Hive的表格式和語法。這是繼SQL統(tǒng)一入口之后，網易數帆大數據體系再次在存儲層面實現統(tǒng)一，這使得數據中臺體系可以無縫擴展到實時場景，金融數據價值的發(fā)揮將不再被孤島所困擾。

“我們也看到客戶有量化交易的需求，有風控方面的需求，這些對實時性的要求特別高。”對于網易數帆在金融大數據方面的發(fā)展布局，余利華表示，對數帆來說，金融行業(yè)是一個重點行業(yè)，目標是希望能成為金融行業(yè)領先的大數據技術軟件的提供商。

網易數帆的關注點則在于大數據的基礎軟件。“客戶會自己負責他的大數據業(yè)務，那么我們主要是在基礎軟件這方面為客戶賦能。為此，首先我們一直在做信創(chuàng)和安全方面的工作，因為金融特別注重安全；第二個是要去建設面向金融行業(yè)的數據研發(fā)產品，也就是DataOps的產品。”余利華說。