5月13日，在北京舉辦的“騰訊云原生智能數(shù)據(jù)湖”發(fā)布會(huì)上，騰訊云首次對(duì)外展示完整云端數(shù)據(jù)湖產(chǎn)品圖譜，并推出兩款“開(kāi)箱即用”數(shù)據(jù)湖產(chǎn)品，數(shù)據(jù)湖計(jì)算服務(wù)DLC和數(shù)據(jù)湖構(gòu)建DLF。
騰訊云大數(shù)據(jù)產(chǎn)品中心副總經(jīng)理雷小平表示：“伴隨著企業(yè)對(duì)于數(shù)據(jù)洞察敏捷度要求的不斷提升，騰訊云正在不斷探索更智能、更靈活、更高性價(jià)比的大數(shù)據(jù)工具。我們看到，數(shù)據(jù)湖架構(gòu)已經(jīng)成為在數(shù)據(jù)智能時(shí)代的新趨勢(shì)，而云是數(shù)據(jù)湖最佳的實(shí)踐場(chǎng)所。騰訊云原生智能數(shù)據(jù)湖將助力各行各業(yè)解決多元化數(shù)據(jù)分析場(chǎng)景的新需求，更好地激發(fā)大數(shù)據(jù)在企業(yè)數(shù)字化升級(jí)過(guò)程中的價(jià)值�！�
六大層級(jí)產(chǎn)品構(gòu)筑全方位數(shù)據(jù)湖服務(wù)
云原生數(shù)據(jù)湖可以賦予客戶更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)存儲(chǔ)分析成本，以及更極致的資源彈性能力，在打破數(shù)據(jù)孤島、實(shí)現(xiàn)多元化數(shù)據(jù)分析等方面具有獨(dú)特優(yōu)勢(shì)。
騰訊云此次展示的完整云原生數(shù)據(jù)湖產(chǎn)品矩陣包括數(shù)據(jù)湖存儲(chǔ)、數(shù)據(jù)湖算力調(diào)度、數(shù)據(jù)湖大數(shù)據(jù)分析、數(shù)據(jù)湖AI能力、以及數(shù)據(jù)湖應(yīng)用和云上基礎(chǔ)服務(wù)六個(gè)層面，提供一體化的全方位服務(wù)。
騰訊云原生智能數(shù)據(jù)湖產(chǎn)品圖譜
數(shù)據(jù)湖存儲(chǔ)以對(duì)象存儲(chǔ)COS服務(wù)為核心，理論上可以存儲(chǔ)任意規(guī)模的異構(gòu)數(shù)據(jù)，具有高可靠性和高持久性，同時(shí)也支持將其他云端數(shù)據(jù)設(shè)施作為數(shù)據(jù)湖的存儲(chǔ)服務(wù)。在數(shù)據(jù)湖算力調(diào)度方面，基于騰訊云彈性容器服務(wù)EKS，開(kāi)放的容器化的分析架構(gòu)讓數(shù)據(jù)分析功能可組合性更強(qiáng)，擴(kuò)展性更強(qiáng)，資源利用率更高。
在數(shù)據(jù)分析層，騰訊云數(shù)據(jù)湖既提供半托管的泛Hadoop服務(wù)，滿足用戶自定義需求，也提供全托管的數(shù)據(jù)服務(wù)，便于用戶獲取海量數(shù)據(jù)的洞察力。此外，用戶還可利用騰訊云提供的數(shù)據(jù)協(xié)作工具對(duì)計(jì)算服務(wù)進(jìn)行編排和調(diào)用，大幅度提升企業(yè)數(shù)據(jù)的便捷性和敏捷度。
值得一提的是，針對(duì)越來(lái)越多的音視圖文數(shù)據(jù)，騰訊云數(shù)據(jù)湖包含豐富的AI服務(wù)，為圖像處理、音頻處理、自然語(yǔ)言處理、視頻處理等提供有力的數(shù)據(jù)支撐。在數(shù)據(jù)應(yīng)用服務(wù)中，騰訊云推出基于數(shù)據(jù)湖的數(shù)據(jù)應(yīng)用服務(wù)，比如企業(yè)畫(huà)像、聯(lián)邦計(jì)算、商業(yè)智能分析等。
最后，云原生的基礎(chǔ)服務(wù)為騰訊云數(shù)據(jù)湖體系提供了有力的保障。
雷小平表示，這六大層面基本涵蓋了客戶的諸多需求，此外，騰訊云還在不斷的研發(fā)更多的數(shù)據(jù)湖產(chǎn)品，以完善云原生智能數(shù)據(jù)湖矩陣。
兩款“開(kāi)箱即用”數(shù)據(jù)湖新品 消除數(shù)據(jù)孤島
為了幫助客戶快速構(gòu)建和分析數(shù)據(jù)湖，騰訊云此次正式推出兩款開(kāi)箱即用的數(shù)據(jù)湖產(chǎn)品：數(shù)據(jù)湖計(jì)算服務(wù)（Data Lake Compute，簡(jiǎn)稱DLC）和數(shù)據(jù)湖構(gòu)建（Data Lake Formation ，簡(jiǎn)稱DLF）。
數(shù)據(jù)湖計(jì)算服務(wù)作為敏捷高效的的數(shù)據(jù)湖分析引擎，采用無(wú)服務(wù)器架構(gòu)設(shè)計(jì)，用戶無(wú)需關(guān)注底層架構(gòu)或維護(hù)計(jì)算資源，使用標(biāo)準(zhǔn)SQL即可完成對(duì)象存儲(chǔ)服務(wù)及其它云端數(shù)據(jù)設(shè)施的聯(lián)合分析。此外，用戶無(wú)需進(jìn)行傳統(tǒng)的數(shù)據(jù)分層建模，大幅縮減了海量數(shù)據(jù)分析的準(zhǔn)備時(shí)間，有效提升了企業(yè)數(shù)據(jù)敏捷度。
數(shù)據(jù)湖構(gòu)建則能幫助用戶快速高效的構(gòu)建企業(yè)數(shù)據(jù)湖技術(shù)架構(gòu)，包括統(tǒng)一元數(shù)據(jù)管理、多源數(shù)據(jù)入湖、任務(wù)編排、權(quán)限管理等數(shù)據(jù)湖構(gòu)建工具。同時(shí)，借助數(shù)據(jù)湖構(gòu)建，用戶可以極大提高數(shù)據(jù)入湖準(zhǔn)備的效率，方便地管理散落各處的孤島數(shù)據(jù)。
雷小平表示，基于這兩款數(shù)據(jù)湖產(chǎn)品，相比于本地自建大數(shù)據(jù)集群，數(shù)據(jù)湖構(gòu)建時(shí)間減少了60%，數(shù)據(jù)分析計(jì)算性能提升35.5%，云端數(shù)據(jù)湖架構(gòu)投入使用后可使存算數(shù)據(jù)量增長(zhǎng)75%，配合其他大數(shù)據(jù)服務(wù)，在業(yè)務(wù)峰值期可以節(jié)約30%的硬件資源，以及一半的大數(shù)據(jù)工程師和運(yùn)維工程師。
三大趨勢(shì)催生國(guó)內(nèi)首個(gè)云原生智能數(shù)據(jù)湖
騰訊云此次推出云原生智能數(shù)據(jù)湖的背后，是數(shù)智時(shí)代的數(shù)據(jù)分析新趨勢(shì)，包括以云計(jì)算為中心、以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)及可組合式數(shù)據(jù)架構(gòu)。
預(yù)計(jì)到2021年低，云將承載80%的應(yīng)用開(kāi)發(fā)和部署。與此同時(shí)，數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的浪潮席卷了各行各業(yè)，據(jù)知名咨詢機(jī)構(gòu)統(tǒng)計(jì)，到2025年全球數(shù)據(jù)總量將超過(guò)160ZB，全球數(shù)據(jù)總量的近20%將成為影響日常生活的關(guān)鍵數(shù)據(jù)，近10%將變?yōu)槌P(guān)鍵數(shù)據(jù)。
為此，企業(yè)迫切需要可以利用多個(gè)數(shù)據(jù)源、使用不同的大數(shù)據(jù)分析技術(shù)，快速構(gòu)建靈活友好的數(shù)據(jù)架構(gòu)，解決多元化分析場(chǎng)景的數(shù)據(jù)需求。
“面對(duì)這些變化，騰訊云原生智能數(shù)據(jù)湖應(yīng)勢(shì)而生�！崩仔∑秸J(rèn)為：“云原生智能數(shù)據(jù)湖，能夠很好的擴(kuò)展計(jì)算和存儲(chǔ)資源，同時(shí)能極大地降低運(yùn)維管理難度，實(shí)現(xiàn)業(yè)務(wù)靈活部署�！�
騰訊云云原生智能數(shù)據(jù)湖具備更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)性價(jià)比、更強(qiáng)的數(shù)據(jù)智能化能力，可以更好地激發(fā)數(shù)據(jù)業(yè)務(wù)價(jià)值。同時(shí)，它天然具備云服務(wù)的眾多優(yōu)勢(shì)，包括多租戶的權(quán)限管控、存儲(chǔ)計(jì)算資源彈性伸縮、底層資源免運(yùn)維、云端服務(wù)高可用高可靠、僅需按照使用量付費(fèi)等。
在應(yīng)用方面，騰訊云正在積極推動(dòng)數(shù)據(jù)湖在政務(wù)、工業(yè)、零售等領(lǐng)域的大規(guī)模落地。騰訊云數(shù)據(jù)湖體系已服務(wù)眾多內(nèi)外部客戶，其整體算力彈性資源池已達(dá)500萬(wàn)核，存儲(chǔ)數(shù)據(jù)超過(guò)100PB，每日分析任務(wù)數(shù)達(dá)1500萬(wàn)，每日實(shí)時(shí)計(jì)算次數(shù)超過(guò)萬(wàn)億，能支持上億維度的數(shù)據(jù)訓(xùn)練。
業(yè)內(nèi)人士認(rèn)為：“作為數(shù)智時(shí)代的新引擎，云原生智能數(shù)據(jù)湖能夠?yàn)橛脩魩?lái)更多的可能性，挖掘更大的數(shù)據(jù)潛能。在新一輪的產(chǎn)業(yè)互聯(lián)網(wǎng)浪潮中，政企都需要掛上新引擎，實(shí)現(xiàn)更好的數(shù)智化轉(zhuǎn)型。”
