每經(jīng)記者 宗旭    每經(jīng)編輯 宋思艱    

圖片來源：攝圖網(wǎng)

1月28日，阿里云正式宣布對外開源（開放源代碼）實時計算平臺Blink。

其實關(guān)于阿里云對外開源實時計算平臺的動作早有預(yù)兆，本月初，曾有媒體報道阿里巴巴收購科技公司Data Artisans的消息，而Data Artisans擁有全球頂級的開源大數(shù)據(jù)流處理引擎Flink，可以解決傳統(tǒng)數(shù)據(jù)只能離線計算的問題。

這次阿里云對外開源的實時計算平臺Blink，就是對Flink改造后的內(nèi)部版本。

2004年，谷歌曾開啟大數(shù)據(jù)離線計算時代，但伴隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、邊緣計算等新技術(shù)的興起，有延遲的計算結(jié)果已遠遠不能滿足開發(fā)者尤其是企業(yè)的需要。在典型的大數(shù)據(jù)業(yè)務(wù)場景下，通用的做法是：選用批處理的技術(shù)處理全量數(shù)據(jù)，采用流式計算處理實時增量數(shù)據(jù)。因此，用戶通常需要寫兩套代碼。毫無疑問，這帶來了一些額外的負擔(dān)和成本。

盡管當(dāng)前開源大數(shù)據(jù)計算引擎有很多選擇，比如流計算平臺有Storm、Samza、Flink、Kafka Stream等，批處理平臺有Spark、Flink等，但同時支持流處理（對隨時進入系統(tǒng)的數(shù)據(jù)進行計算）和批處理（將作業(yè)按照它們的性質(zhì)分組或分批，然后再成組或成批地提交給計算機系統(tǒng)，由計算機自動完成后再輸出結(jié)果）的計算引擎，阿里巴巴計算平臺事業(yè)部資深技術(shù)專家莫問此前曾提到只有兩種選擇：一個是Apache Spark，一個是Apache Flink。

雖然當(dāng)下Flink代表了一種全新的計算方式，但2015年的Flink還不夠成熟，早期只適用于小流量互聯(lián)網(wǎng)場景的數(shù)據(jù)處理，不管是規(guī)模還是穩(wěn)定性尚未經(jīng)歷實踐，并未被大范圍看好。

據(jù)阿里云方面介紹，Blink最初是基于社區(qū)開源的版本做改進，真正和Data Artisans公司緊密合作是在2016年，“當(dāng)初改造的時候也不知道會不會成功，那個時候我們還有另外兩個實時計算技術(shù)阿里中間件團隊在做Jstorm和阿里云的Galaxy，最終因為Blink表現(xiàn)最好，我們才選擇了這項技術(shù)。”

經(jīng)過阿里云的改造之后，現(xiàn)在Blink已經(jīng)將計算延遲降低到人類無法感知的毫秒級。在阿里集團內(nèi)部，目前全部核心業(yè)務(wù)已經(jīng)用上Blink。除了技術(shù)大考“雙11”之外，ET城市大腦實時計算規(guī)劃著杭州交通，淘寶、天貓每天為數(shù)億用戶展現(xiàn)實時的“專屬”頁面。

其實不僅僅是阿里云，騰訊內(nèi)部也基于Flink打造了一站式實時計算平臺Oceanus。據(jù)記者了解，之前騰訊實時計算團隊也曾基于Apache Storm構(gòu)建了早期的實時計算平臺。但在長期的維護過程中，Apache Storm一些設(shè)計和實現(xiàn)上的缺陷逐漸暴露出來。Apache Flink出現(xiàn)之后，其在計算接口、計算性能和可靠性上的優(yōu)異表現(xiàn)，使騰訊實時計算團隊決定使用Apache Flink作為新一代實時計算平臺的計算引擎。

阿里巴巴集團副總裁周靖人認為，不論阿里還是Uber、Netflix等，都是Flink的受益者。業(yè)內(nèi)人士分析認為，當(dāng)前實時計算正處于上升期，除了Flink之外還有Spark、Storm等多個技術(shù)流派，谷歌、英特爾、IBM等全球科技公司都在積極布局，無論是誰，在實時計算平臺上的重磅押注都將成為其未來的核心競爭力之一。