隨著企業(yè)數(shù)字化轉(zhuǎn)型加速，現(xiàn)代數(shù)據(jù)架構(gòu)正經(jīng)歷從數(shù)據(jù)倉庫到數(shù)據(jù)湖，再到湖流一體的演進。從傳統(tǒng)的離線批處理轉(zhuǎn)向分鐘級甚至秒級的流批一體計算，支撐實時決策與動態(tài)響應；多模態(tài)數(shù)據(jù)的融合管理（結(jié)構(gòu)化、非結(jié)構(gòu)化、時序數(shù)據(jù)）推動數(shù)據(jù)價值邊界的擴展，而智能化技術(shù)則重塑數(shù)據(jù)分析范式，實現(xiàn)從“數(shù)據(jù)可用”到“數(shù)據(jù)好用”的質(zhì)變。

9月26日，云棲大會開源大數(shù)據(jù)分論壇上阿里云智能集團開源大數(shù)據(jù)平臺負責人王峰發(fā)表了《打造 AI 時代開源開放的“湖流一體”數(shù)智平臺》主題演講，并帶來了開源大數(shù)據(jù)平臺多款產(chǎn)品的升級發(fā)布。

王峰表示，阿里云開源大數(shù)據(jù)平臺圍繞“實時化、多模態(tài)、智能化”的現(xiàn)代數(shù)據(jù)架構(gòu)演進趨勢，為企業(yè)提供“實時、準實時、離線”數(shù)據(jù)分析一體化及Data + AI領(lǐng)域的創(chuàng)新實踐，全面賦能企業(yè)實現(xiàn)高效智能的數(shù)據(jù)管理與AI融合創(chuàng)新。

阿里云發(fā)布DLF-3.0全模態(tài)湖倉平臺，湖流一體全模態(tài)架構(gòu)引領(lǐng)數(shù)據(jù)智能新范式

王峰宣布推出 Data Lake Formation-3.0 (DLF) 全模態(tài)湖倉管理平臺，在支持Paimon、Iceberg等主流湖表格式的基礎(chǔ)上，將存儲格式從傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，拓展至全模態(tài)數(shù)據(jù)場景，支持面向 AI 場景的 Lance 文件數(shù)據(jù)、表格數(shù)據(jù)等全類型。

在技術(shù)層面，阿里云通過兼容開源、超越開源的三大分析引擎構(gòu)建統(tǒng)一底座：Flash向量化流處理引擎性能較開源提升5-10倍；Fusion向量化批處理引擎在100T TPC-DS測試中登頂；Stella存算分離OLAP引擎在10T TPC-H測試中性能領(lǐng)先。

針對不同業(yè)務需求，阿里云提出覆蓋全場景的數(shù)據(jù)分析方案：實時場景基于 Flink + Fluss 構(gòu)建一站式流處理平臺，滿足毫秒級響應；準實時場景采用 Flink + StarRocks + DLF 流式湖倉架構(gòu)，融合Apache Paimon流批一體湖表；離線場景則依托 Spark + StarRocks + DLF 流式湖倉架構(gòu)，支撐大規(guī)模離線數(shù)據(jù)處理。這一“實時-準實時-離線”一體化架構(gòu)，統(tǒng)一了存儲與計算邏輯，顯著降低企業(yè)數(shù)據(jù)管理復雜度。

在AI融合領(lǐng)域，阿里云通過 Spark + DLF全模態(tài)湖倉實現(xiàn)文本、音頻、視頻等多模態(tài)數(shù)據(jù)的統(tǒng)一治理與AI模型訓練，而 Flink + Milvus + LLM 構(gòu)建的實時智能分析決策系統(tǒng)，則支持輿情分析、直播監(jiān)控等場景的毫秒級AI決策。王峰強調(diào)，湖流一體全模態(tài)數(shù)智平臺不僅解決了傳統(tǒng)架構(gòu)的碎片化問題，更通過開源生態(tài)與AI技術(shù)的深度融合，為千行百業(yè)提供了高效、開放、智能的數(shù)據(jù)底座。

實時計算Flink版升級：打造面向 AI 時代的新一代流處理存儲一體化平臺

阿里云智能集團實時計算Flink版產(chǎn)品負責人黃鵬程介紹了產(chǎn)品的核心升級方向。黃鵬程重點發(fā)布了實時計算Flink版分鐘級近實時計算能力，基于增量計算技術(shù)，在保證時效性的同時顯著降低成本。同時，F(xiàn)link SQL支持分鐘級數(shù)據(jù)新鮮度配置，提升開發(fā)運維效率。

在流存儲方面，黃鵬程宣布面向?qū)崟r流計算、湖流一體的存儲 Fluss 現(xiàn)已上線阿里云并即將在十月正式開啟公測。該存儲方案基于Apache Arrow列式存儲設計，大幅優(yōu)化IO性能，并支持流讀列裁剪、分區(qū)下推等特性，實現(xiàn)高性能低成本的流處理。

在AI融合方面，實時計算Flink版提供了強大的AI函數(shù)功能，支持使用 Flink SQL直接調(diào)用大語言模型。該能力現(xiàn)已全面支持阿里云PAI、百煉等大模型服務平臺，并可與各類兼容OpenAI API的大模型服務實現(xiàn)無縫對接。同時支持將實時向量化數(shù)據(jù)寫入Milvus數(shù)據(jù)庫，為實時RAG場景提供技術(shù)支撐。這些新特性將為企業(yè)構(gòu)建實時情感分析、智能推薦、異常檢測、語義搜索、智能客服等多樣化AI應用場景提供完整解決方案。

EMR產(chǎn)品線全面擁抱AI，登頂TPC 基準測試榜單

阿里云智能集團計算平臺事業(yè)部EMR負責人李鈺在年度發(fā)布中指出，面對AI時代對數(shù)據(jù)處理和讀寫的效率、多樣性以及便利性的全新挑戰(zhàn)，EMR 全系列產(chǎn)品（EMR on ECS、EMR Serverless Spark、EMR Serverless StarRocks）全面提升內(nèi)核引擎性能和擁抱 AI 技術(shù)，完成一系列能力升級， Fusion （企業(yè)級 Spark 內(nèi)核） 和 Stella (企業(yè)級 StarRocks 內(nèi)核) 技術(shù)登頂 TPC 全球榜單。其中EMR Serverless Spark在TPC-DS 100TB測試中，以 QphDS 性能提升100%的成績奪冠。

首次參加評測的EMR Serverless StarRocks以QphH 超754萬分的性能結(jié)果斬獲全球冠軍，領(lǐng)先第二名111%。

在AI融合方面，EMR Agent 正式開啟公測，推出通過自然語言交互即可實現(xiàn)運維操作、開源組件自助診斷、平臺功能高效咨詢等智能化交互式產(chǎn)品能力，大幅降低大數(shù)據(jù)集群使用門檻。同時，EMR Serverless 產(chǎn)品提供面向 GPU 和多模態(tài)的數(shù)據(jù)處理能力、全面的 AI Function 支持等。為企業(yè)用戶提供高效智能的AI大數(shù)據(jù)平臺底座。

DataWorks構(gòu)建湖倉一體化開發(fā)平臺

阿里云智能集團高級技術(shù)專家晨曦表示，DataWorks面向數(shù)據(jù)湖推出OpenLake湖倉一體化開發(fā)平臺，依托DLF 3.0實現(xiàn)多源數(shù)據(jù)高效入湖與智能化調(diào)度，覆蓋多模態(tài)數(shù)據(jù)從采集、存儲、開發(fā)、治理到分析的全生命周期管理閉環(huán)，進一步降低數(shù)據(jù)價值挖掘成本。

在入湖方面，提供豐富的數(shù)據(jù)源支持，極致性能優(yōu)化；在湖流/湖倉一體化開發(fā)運維方面，提供豐富任務類型支持，統(tǒng)一運維方案；在企業(yè)級治理能力方面，覆蓋存儲、計算、開發(fā)、安全多維度，事前、事中、事后等全方位治理能力；在多模態(tài)數(shù)據(jù)管理方面，結(jié)合DLF 多模態(tài)數(shù)據(jù)管理，實現(xiàn)全鏈路血緣追蹤；同時提供豐富的 Data+AI 一體化開發(fā)任務，支持60余種任務類型，涵蓋開源大數(shù)據(jù)流/批處理、AI訓練、推理等能力；Copliot+ChatBI，幫助用戶提升開發(fā)、治理、數(shù)據(jù)分析的效率。

     客戶實踐：多行業(yè)共筑“湖流一體”數(shù)智平臺新范式

在本次論壇中，來自汽車、農(nóng)業(yè)、制造業(yè)及金融科技領(lǐng)域的客戶代表分享了基于阿里云新一代“湖流一體”數(shù)智平臺的創(chuàng)新實踐。零跑科技通過實時計算 Flink+Hologres 實現(xiàn)車輛終端與業(yè)務系統(tǒng)的全鏈路實時數(shù)據(jù)同步，支撐萬輛級車聯(lián)網(wǎng)的毫秒級響應；牧原集團依托 Flink 平臺構(gòu)建生豬養(yǎng)殖的實時數(shù)據(jù)鏈路，實現(xiàn)環(huán)境感知與疫病預警的智能化升級；海信聚好看結(jié)合 EMR 與 Paimon 湖格式，打造多模態(tài)數(shù)據(jù)湖，為 AI 模型訓練提供 AI-Ready 數(shù)據(jù)底座；洋錢罐則基于 EMR Serverless 架構(gòu)，構(gòu)建全球一體化數(shù)字金融平臺，兼顧資源彈性與金融級可靠性。這些案例展現(xiàn)了“湖流一體”平臺在實時計算、多模態(tài)治理及 Serverless 落地中的核心價值，為多行業(yè)數(shù)字化轉(zhuǎn)型提供了可復用的技術(shù)路徑與實踐經(jīng)驗。

結(jié)語

阿里云開源大數(shù)據(jù)平臺持續(xù)推動“湖流一體”架構(gòu)創(chuàng)新與AI技術(shù)融合，為企業(yè)提供覆蓋數(shù)據(jù)存儲、實時計算、智能分析到全棧開發(fā)的完整解決方案。未來，阿里云將繼續(xù)深耕開源生態(tài)，助力全球客戶在AI時代實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務躍遷。