內容字號:默認大號超大號

段落設置:取消段首縮進段首縮進

字體設置:切換到微軟雅黑切換到宋體

業界資訊軟件之家
Win10之家WP之家
iPhone之家iPad之家
安卓之家數碼之家
評測中心智能設備
精準搜索請嘗試:精確搜索

數據湖Delta Lake 進入 Linux 基金會

2019-10-19 10:06:40來源:開源中國作者:-責編:騎士評論:

近日,數據湖(data lakes)數據治理項目 Delta Lake進入Linux基金會,基金會表示將與Delta Lake共建數據湖開放標準。

Delta Lake 是一個存儲層,為Apache Spark和大數據workloads提供ACID事務能力,其通過寫和快照隔離之間的樂觀并發控制(optimistic concurrency control),在寫入數據期間提供一致性的讀取,從而為構建在HDFS和云存儲上的數據湖帶來可靠性。

Linux基金會介紹,當前每個組織都希望通過數據科學、機器學習和分析從數據中獲得更多價值,但由于數據湖內部缺乏數據可靠性,產生了極大的阻礙。Delta Lake通過使事務符合ACID標準來啟用并發讀取和寫入,從而解決了數據可靠性挑戰。它的架構實施能力有助于確保數據湖中沒有損壞且不合格的數據。自2017年10月推出以來,Delta Lake已被4 000多家組織采用,每月處理超過2 exabyte(十億字節)數據。

“將Delta Lake引入Linux基金會的中立組織之下,將有助于依賴該項目的開源社區開發解決存儲和處理大數據(本地和云端)的技術”,Linux基金會戰略計劃副總裁Michael Dolan表示。

實際上Databricks的聯合創始人是 Apache Spark項目的創建者,Spark目前已成為大規模數據處理事實上的標準,盡管Delta Lake最初設計為與Spark配合使用,但其目前已經發展出了一個蓬勃的開源社區,并增加了對其它開源數據系統的支持。

目前Delta Lake已經被成千上萬的組織采用,包括Intel、阿里巴巴、Booz Allen Hamilton與Starburst等,并且他們也是其開源生態的重要貢獻者。為了進一步推動Delta Lake開源生態的發展,Delta Lake背后的公司Databricks作出了將Delta Lake托管到 Linux基金會的決定。

Databricks的CEO兼聯合創始人Ali Ghodsi表示:“我們的團隊繼續創建開源項目并為之做出貢獻,因為我們知道這是最快、最全面的創新方式。為了解決組織的數據挑戰,我們希望確保該項目以最真實的形式開源。通過Linux基金會社區的力量和貢獻,我們相信Delta Lake將很快成為數據湖中數據存儲的標準。”

相關閱讀:

InfoWorld 公布 2019 年最佳開源軟件榜單,有你熟悉的嗎?

相關文章

關鍵詞:Linux開源

IT之家,軟媒旗下科技門戶網站 - 愛科技,愛這里。

Copyright (C)RuanMei.com, All Rights Reserved.

軟媒公司版權所有

分分彩买大小单双的技巧