戴爾提高了旗下數(shù)據(jù)湖倉的查詢速度，添加并升級(jí)了連接器，改進(jìn)了監(jiān)控并提升了安全性。
今年三月，戴爾宣布讓旗下AI產(chǎn)品組合中的數(shù)據(jù)湖倉使用Starburst Presto 查詢引擎、Kubernetes組織的湖倉系統(tǒng)軟件以及基于戴爾ECS、ObjectScale 或 PowerScale存儲(chǔ)產(chǎn)品的橫向擴(kuò)展S3兼容對(duì)象存儲(chǔ)。
Starburst在去年2月推出了Warp Speed 技術(shù)，以及Apache Lucene索引和緩存技術(shù)，聲稱它可以將基于文本的查詢處理速度提高多達(dá)7倍。現(xiàn)在，它攜手更多連接器和其他改進(jìn)一起進(jìn)入了戴爾的數(shù)據(jù)湖倉。
戴爾產(chǎn)品經(jīng)理 Vrashank Jain 寫道：“Warp Speed是Dell Data Lakehouse中的一項(xiàng)新功能，它可以自主學(xué)習(xí)查詢模式并識(shí)別經(jīng)常訪問的數(shù)據(jù)，以創(chuàng)建最佳索引和緩存，同時(shí)將不常訪問的數(shù)據(jù)保留在原地。”
它可以提高查詢性能，“對(duì)于前20%的查詢，性能可以提高3到5倍”。
無需數(shù)據(jù)工程即可自動(dòng)為數(shù)據(jù)湖編制索引，并且可以使用查詢加速構(gòu)建和填充更高性能的面板。自主索引“為每個(gè)數(shù)據(jù)塊創(chuàng)建適當(dāng)?shù)乃饕愋停ㄎ粓D、字典、樹），從而加速聯(lián)接、過濾器和搜索等操作。索引存儲(chǔ)在計(jì)算節(jié)點(diǎn)的 SSD 上，可以快速訪問。”
Jain寫道：“智能緩存是一種專有的SSD列式塊緩存，可根據(jù)數(shù)據(jù)使用頻率優(yōu)化性能。緩存消除了不必要的表掃描，并在查詢之間提供了更多的數(shù)據(jù)重用，從而節(jié)省了計(jì)算成本。”
“借助 Warp Speed，最終用戶無需對(duì)查詢進(jìn)行任何修改，同一集群就可以將數(shù)據(jù)湖查詢的速度提高 3 到 5 倍。它還可以幫助將集群規(guī)模減少多達(dá) 40%。”客戶可以在大型集群上運(yùn)行更多查詢，也可以在較小的集群上運(yùn)行相同數(shù)量的查詢。
Jain表示：“只有Dell S3 兼容存儲(chǔ)上的數(shù)據(jù)湖支持”該Warp Speed功能。
戴爾還為數(shù)據(jù)湖倉添加了更多增強(qiáng)功能：
支持通過 Kerberos 連接到現(xiàn)有的Hive Metastore，實(shí)現(xiàn)無縫的元數(shù)據(jù)操作并強(qiáng)化數(shù)據(jù)治理。
Neo4j 圖形數(shù)據(jù)庫連接器為公共預(yù)覽版，并且有一個(gè)改進(jìn)的 Snowflake 并行連接器，可實(shí)現(xiàn)更高效的查詢。
升級(jí)連接 Iceberg、Delta Lake、Hive、Db2、Netezza、RedShift、SAP HANA、Snowflake、SQL Server、Synapse 和 Teradata 的連接器。這些速度更快、功能更強(qiáng)大的連接器可執(zhí)行join下推和數(shù)據(jù)類型處理等操作。
PowerScale 和 ObjectScale 存儲(chǔ)系統(tǒng)已過全面驗(yàn)證。
戴爾支持團(tuán)隊(duì)現(xiàn)在可以進(jìn)行運(yùn)行狀況檢查，以在安裝或升級(jí)之前或之后使用自動(dòng)運(yùn)行狀況檢查評(píng)估客戶集群的狀態(tài)。運(yùn)行狀況檢查對(duì)于確保零宕機(jī)時(shí)間至關(guān)重要。
Data Lakehouse 現(xiàn)在可以直接向戴爾支持團(tuán)隊(duì)發(fā)送關(guān)鍵系統(tǒng)故障警報(bào)，以便主動(dòng)處理故障狀態(tài)或待處理故障情況。
可選的內(nèi)部組件端到端加密，包括所有計(jì)算節(jié)點(diǎn)、緩存服務(wù)和元存儲(chǔ)。但是，此功能會(huì)影響性能，因此在調(diào)整集群大小時(shí)應(yīng)考慮此功能以滿足性能SLA。
除了現(xiàn)有的一年期和三年期訂閱外，還提供五年期軟件訂閱選項(xiàng)，這將有助于讓硬件和軟件支持條款時(shí)長保持一致，可以簡化采購。
更廣泛的全球可用性，可在歐洲、非洲和亞洲的更多國家/地區(qū)供貨。
Warp Speed 包含在現(xiàn)有的 Dell Data Lakehouse 許可證中。計(jì)算節(jié)點(diǎn)的配置將進(jìn)行修改，以包括已由戴爾測試和基準(zhǔn)測試的SSD，支持Warp Speed索引和緩存。
潛在客戶可以在戴爾演示中心訪問戴爾的Data Lakehouse，很快還可以在客戶解決方案中心訪問戴爾的Data Lakehouse，以進(jìn)行交互式探索和系統(tǒng)驗(yàn)證。客戶和合作伙伴可以通過在演示中心創(chuàng)建一個(gè)免費(fèi)帳戶來試用。