如同高跟鞋之于女人,格子衫之于程序員,奧特曼之于小男孩…總有一股說不清,道不明的因子,讓他們?nèi)缤?/span>被施附了魔法一般,甘愿沉浸其中。今天,CDM之于企業(yè)ITer,也正在徐徐呈現(xiàn)屬于它的獨(dú)一無二的“數(shù)據(jù)魔法”。
早在2017年Taneja Group的一項(xiàng)研究就表明,超過30%的公司正在考慮或?qū)嵤?/span>CDM(Copy Data Management,數(shù)據(jù)副本管理)產(chǎn)品。在國內(nèi),金融和運(yùn)營商行業(yè)的多家頭部用戶也在近兩年相繼完成了CDM產(chǎn)品的部署和應(yīng)用…隨著數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū),數(shù)據(jù)成為企業(yè)最關(guān)鍵的生產(chǎn)資料,CDM“何許人也”,又究竟有何魔力,贏得了諸多企業(yè)的青睞?CDM技術(shù)“朋友圈”目前聚集了哪些“小伙伴”,這項(xiàng)技術(shù)未來又將保持怎樣的演進(jìn)……
一個數(shù)百億美元的藍(lán)海市場
統(tǒng)計(jì)顯示,平均每個企業(yè)要為應(yīng)用開發(fā)、QA、用戶驗(yàn)收、產(chǎn)品支持、報告和備份等,從生產(chǎn)數(shù)據(jù)源創(chuàng)建8-10份數(shù)據(jù)副本。因此,以一個5TB的生產(chǎn)數(shù)據(jù)庫為例,往往要為下游創(chuàng)建出40-50TB的數(shù)據(jù)副本。一家500強(qiáng)企業(yè)甚至擁有超過上千個生產(chǎn)數(shù)據(jù)庫,數(shù)據(jù)副本達(dá)到PB級規(guī)模。
大量的數(shù)據(jù)副本存在不可避免地造成了一定程度的資源浪費(fèi)以及維護(hù)開銷的增長,有數(shù)據(jù)表明,企業(yè)80%的存儲能力都被次級數(shù)據(jù)所使用。
援引自IDC的數(shù)據(jù)也顯示,目前每年在Copy Data上的開銷達(dá)到460億美元,企業(yè)內(nèi)的數(shù)據(jù)副本消耗了60%的存儲空間,并且65%的存儲軟件和85%存儲采購由此產(chǎn)生。
資料來源:IDC
不僅如此,在傳統(tǒng)的生產(chǎn)協(xié)作流程中,當(dāng)開發(fā)和測試人員想要獲取必須的數(shù)據(jù)副本時,往往需要從提交申請,到完全準(zhǔn)備好環(huán)境,耗時幾天甚至以月為單位(數(shù)據(jù)交付時間視數(shù)據(jù)規(guī)模,環(huán)境準(zhǔn)備情況等而定)。
這樣的數(shù)據(jù)管理實(shí)踐并非最佳,不僅大量浪費(fèi)了存儲資源,而且還帶來了數(shù)據(jù)合規(guī)和敏捷性等方面的問題,影響了用戶應(yīng)用程序的快速迭代,這對于今天追求敏捷轉(zhuǎn)型和DevOps轉(zhuǎn)型的企業(yè)而言難以接受。
為了幫助企業(yè)統(tǒng)一管理海量的非關(guān)鍵性數(shù)據(jù),尤其是冗余的數(shù)據(jù)副本,業(yè)界采用了CDM技術(shù)。什么是CDM?它的主要應(yīng)用場景又是什么?Gartner對此提出:它從生產(chǎn)環(huán)境通過快照技術(shù)獲取有應(yīng)用一致性保證的數(shù)據(jù),在非生產(chǎn)存儲上生成“黃金副本”(Golden Image),這個“黃金副本”數(shù)據(jù)格式是原始的磁盤格式,可再虛擬化成多個副本直接掛載給服務(wù)器,分別用于備份恢復(fù)、容災(zāi)或開發(fā)測試。
Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》報告指出,CDM技術(shù)已經(jīng)度過了了早期的技術(shù)炒作期,目前處于“泡沫化的低谷期”(trough of disillusionment),這從側(cè)面說明一些客戶開始在非關(guān)鍵性業(yè)務(wù)場景集中部署這項(xiàng)技術(shù),而且Gartner也預(yù)測CDM技術(shù)將在未來5-10年內(nèi)進(jìn)入“實(shí)質(zhì)生產(chǎn)的高峰期”(plateau of productivity)。
聚焦到CDM技術(shù)實(shí)現(xiàn)的業(yè)務(wù)價值,主要體現(xiàn)在以下幾個方面:
第一,降低存儲成本。利用數(shù)據(jù)虛擬化技術(shù),單個數(shù)據(jù)副本即可滿足開發(fā)、測試、備份、恢復(fù)、數(shù)據(jù)脫敏、統(tǒng)計(jì)分析等多種工作負(fù)載需求,同時利用高效的數(shù)據(jù)壓縮技術(shù),進(jìn)一步節(jié)省了存儲空間,減少企業(yè)不必要的存儲開支(以下圖上訊信息ADM產(chǎn)品數(shù)據(jù)拷貝方式為例)。
ADM數(shù)據(jù)拷貝方式,資料來源:上訊信息
第二,縮短數(shù)據(jù)交付周期。數(shù)據(jù)準(zhǔn)備從原來的按天或者月為單位,縮短到分鐘級,數(shù)據(jù)分發(fā)達(dá)到秒級?;?/span>CDM技術(shù)的數(shù)據(jù)副本的交付與管理,大大節(jié)省了數(shù)據(jù)交付的時間,為企業(yè)構(gòu)建了更加敏捷的數(shù)據(jù)管理基礎(chǔ)架構(gòu),加速了企業(yè)的DevOps建設(shè),縮短了業(yè)務(wù)的開發(fā)測試周期,實(shí)現(xiàn)了產(chǎn)品的快速迭代。
第三,降低人力時間投入。傳統(tǒng)方式下,數(shù)據(jù)的導(dǎo)入和導(dǎo)出無法自動完成,面對開發(fā)和測試人員的需求,需要通過人為的傳遞才能完成數(shù)據(jù)從生產(chǎn)環(huán)境到測試環(huán)境的遷移,而且這個過程中還可能需要持續(xù)的獲取增量數(shù)據(jù)資源。CDM技術(shù)實(shí)現(xiàn)了全流程的自動化配置和編排,從審批到數(shù)據(jù)的導(dǎo)入和導(dǎo)出,這個過程只需要在統(tǒng)一的管理界面上鼠標(biāo)點(diǎn)擊操作,幾步即可自動完成,極大減輕了存儲管理員和DBA的工作負(fù)荷,降低人力時間投入。
第四,提升數(shù)據(jù)集中管控能力。過去,數(shù)據(jù)移交到使用部門之后,管控權(quán)利完全在使用部門,只能用流程來控制數(shù)據(jù)的用后銷毀,存在較高的安全管控風(fēng)險。CDM融合了數(shù)據(jù)動態(tài)和靜態(tài)脫敏,權(quán)限管控,合規(guī)審計(jì)等多種數(shù)據(jù)保護(hù)策略,以集中的數(shù)據(jù)管控,防范敏感數(shù)據(jù)泄露,杜絕不當(dāng)或者誤操作,以及保留事后的可追溯。交付使用的數(shù)據(jù),可以通過CDM管控平臺實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一集中管控,杜絕測試數(shù)據(jù)出現(xiàn)數(shù)據(jù)孤島,在數(shù)據(jù)使用完之后,可以實(shí)現(xiàn)數(shù)據(jù)的快速回收以釋放占用資源,杜絕暗數(shù)據(jù)的出現(xiàn)。
備份和CDM,孰是孰非
在國內(nèi),備份和CDM容易被混淆,有不少備份廠商在其備份產(chǎn)品上通過增加一些CDM功能,作為備份的補(bǔ)充,比如用作快速拉起恢復(fù)或者備份校驗(yàn),也許從用戶肉眼可見的角度看,功能上都?xì)w整到了統(tǒng)一的界面上,但實(shí)際上二者的后臺邏輯相差甚遠(yuǎn)。
備份從根本上是作為數(shù)據(jù)的保底存在,一旦發(fā)生物理或邏輯故障,為用戶提供了災(zāi)難恢復(fù)的手段。而CDM側(cè)重于對數(shù)據(jù)的生命周期管理,是牽涉到用戶數(shù)據(jù)獲取,數(shù)據(jù)存儲,數(shù)據(jù)使用的全流程的生產(chǎn)力工具。
傳統(tǒng)備份技術(shù)是將數(shù)據(jù)恢復(fù)后交付使用,恢復(fù)的過程很長,而CDM保存的是原始格式數(shù)據(jù),可以直接交付使用。
從功能上看,備份更多是作為CDM其中的一項(xiàng)數(shù)據(jù)獲取手段。CDM副本數(shù)據(jù)管理基于數(shù)據(jù)虛擬化等核心技術(shù),自動化實(shí)現(xiàn)了從數(shù)據(jù)獲取到數(shù)據(jù)使用再到數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的全生命周期管理。其中,在數(shù)據(jù)獲取環(huán)節(jié)既可以通過用戶既有備份系統(tǒng)內(nèi)獲取數(shù)據(jù),也可以通過從生產(chǎn)環(huán)境實(shí)時獲取數(shù)據(jù),又或者用戶以腳本的方式自助上傳數(shù)據(jù)等多種方式。相比備份,CDM更加關(guān)心的是數(shù)據(jù)的交付使用與管理。
全球生態(tài),風(fēng)景這邊獨(dú)好
過去的十多年時間,CDM的主要玩家分布在北美。在國內(nèi),從上訊信息2016年發(fā)布了國內(nèi)第一款真正意義上的CDM產(chǎn)品開始,近兩年CDM技術(shù)在金融和運(yùn)營商這兩個行業(yè)的蓬勃發(fā)展,推動了開發(fā)測試場景的數(shù)據(jù)架構(gòu)轉(zhuǎn)型,并且大有替代傳統(tǒng)備份之勢。
1、Actifio
Actifio成立于2009年。2020年,谷歌宣布收購Actifio,收購?fù)瓿珊螅?/span>Actifio會并入Google Cloud。
Actifio的多云復(fù)制數(shù)據(jù)管理(Copy Data Management)軟件平臺虛擬化拷貝數(shù)據(jù),允許以原生格式對數(shù)據(jù)的虛擬副本進(jìn)行完整的生命周期管理。通過一套豐富的API,Actifio的軟件可以無縫地集成到任何IT服務(wù)管理工具、DevOps工具鏈或定制的腳本和應(yīng)用程序中。
Actifio數(shù)據(jù)虛擬化IT架構(gòu)及實(shí)現(xiàn)原理
2、Cohesity
Cohesity成立于2013年,公司CEO兼聯(lián)合創(chuàng)始人Mohit Aron,之前還聯(lián)合創(chuàng)立過Nutanix,目前該公司最新的市場估值達(dá)到37億美元。
對于Cohesity公司來說,在線備份只是其完整數(shù)據(jù)管理平臺的一部分,該平臺專注于解決大規(guī)模數(shù)據(jù)碎片所造成的問題。它側(cè)重于幫助企業(yè)保護(hù)和管理位于許多不同位置的二級數(shù)據(jù)。
3、Rubrik
Rubrik也是由前Nutanix的人員發(fā)起創(chuàng)立,提供跨越本地、云端和混合云環(huán)境中的企業(yè)數(shù)據(jù)管理和備份服務(wù)。
全球有2500多家企業(yè)和政府使用Rubrik公司的Cloud Data Management解決方案來管理和協(xié)調(diào)跨數(shù)據(jù)中心和云的數(shù)據(jù)。其提供一個單一的數(shù)據(jù)平臺,可以跨數(shù)據(jù)中心和云安全地提供備份,恢復(fù),分析和合規(guī)性。承諾快速恢復(fù),提供接近0的RTO。另外還提供SLA自動化和API優(yōu)先的架構(gòu)。
4、Delphix
Delphix成立于2008年。Delphix提供了一個API優(yōu)先的數(shù)據(jù)平臺,該平臺跨越多云并支持從云原生主機(jī)到舊式大型機(jī)的所有應(yīng)用程序。Delphix可自動執(zhí)行一系列關(guān)鍵的復(fù)雜數(shù)據(jù)操作,包括遵守GDPR和CCPA等隱私法規(guī)。
Delphix聲稱借助其平臺,可將數(shù)據(jù)占用空間減少10倍,將資源調(diào)配速度提高100倍。借助Delphix虛擬化,用戶可在幾分鐘內(nèi)大規(guī)模配置輕量級虛擬數(shù)據(jù)庫副本,大規(guī)模地將數(shù)據(jù)從生產(chǎn)環(huán)境復(fù)制到非生產(chǎn)環(huán)境,以及使用刷新,回滾和快照功能管理虛擬數(shù)據(jù)庫等操作。
5、Catalogic
Catalogic 2013年成立,總部位于美國新澤西州。ECX是該公司提供的CDM軟件產(chǎn)品,大大簡化了副本數(shù)據(jù)管理,實(shí)現(xiàn)了數(shù)據(jù)副本的自動化和編排,可以在整個企業(yè)和云中利用該副本進(jìn)行各種創(chuàng)造價值的用例。借助Catalogic ECX,將開發(fā)/測試基礎(chǔ)架構(gòu)管理時間減少了多達(dá)99%。
ECX還可以幫助用戶將數(shù)據(jù)移動到云中,利用云中成本更低,更具彈性的計(jì)算基礎(chǔ)架構(gòu),借助ECX,在某些用例中利用云時,用戶的投資回報率超過300%。
6、上訊信息
上訊信息2010年成立,2016年率先發(fā)布了國內(nèi)首款CDM產(chǎn)品—敏捷數(shù)據(jù)管理平臺(ADM),這是一款集數(shù)據(jù)驗(yàn)證恢復(fù)、數(shù)據(jù)虛擬化、數(shù)據(jù)脫敏和數(shù)據(jù)庫審計(jì)為一體的數(shù)據(jù)全生命周期管理產(chǎn)品。通過一個平臺,解決數(shù)據(jù)獲取,數(shù)據(jù)存儲,數(shù)據(jù)構(gòu)建,數(shù)據(jù)使用,數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的所有數(shù)據(jù)問題。
數(shù)據(jù)使用的全生命周期管理,資料來源:上訊信息
ADM核心技術(shù)-數(shù)據(jù)虛擬化技術(shù),可以通過一份數(shù)據(jù)的“黃金副本”快速創(chuàng)建出多份數(shù)據(jù)副本交付使用,所交付的數(shù)據(jù)都是可讀可寫的,并且可以達(dá)到分鐘級的數(shù)據(jù)交付效率,以及實(shí)現(xiàn)10倍以上的存儲成本節(jié)省。目前,ADM獲得了金融和運(yùn)營商行業(yè)多家頭部客戶的使用和持續(xù)復(fù)購。
CDM:我的未來不是夢
對每一家致力于數(shù)據(jù)驅(qū)動的企業(yè)和組織而言,CDM技術(shù)無疑重塑了其過去臃腫的數(shù)據(jù)架構(gòu)和繁冗的數(shù)據(jù)管理流程,以敏捷的數(shù)據(jù)架構(gòu)就緒企業(yè)數(shù)字化轉(zhuǎn)型,加速業(yè)務(wù)交付,提高企業(yè)的決策效率以及生產(chǎn)力水平。
但這并不是CDM的全部,這項(xiàng)令人著迷不已的技術(shù)未來又將擁有怎樣的蛻變?做一些預(yù)測:
第一,跨越本地數(shù)據(jù)中心,邊緣和多公有云的數(shù)據(jù)流動和存儲。CDM需要滿足混合多云時代用戶對數(shù)據(jù)在不同端的流動和統(tǒng)一管理的需求,支持不同位置的基礎(chǔ)環(huán)境,例如可利用公有云更加經(jīng)濟(jì)、彈性的存儲資源,進(jìn)一步降低OPEX。而無論是部署于邊緣,本地還是多公有云,都需要滿足一致性和可用性服務(wù)體驗(yàn)。
第二,以數(shù)據(jù)為中心,打通數(shù)據(jù)上中下游鏈條,實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理。從產(chǎn)品的角度,可以基于靈活的license授權(quán),為用戶按需交付備份容災(zāi),備份校驗(yàn),數(shù)據(jù)虛擬化,數(shù)據(jù)脫敏,合規(guī)審計(jì)等不同功能,而從后臺邏輯來看,支持一個統(tǒng)一的數(shù)據(jù)平臺,能夠無縫連通數(shù)據(jù)的全生命周期統(tǒng)一管理。
第三,CDM技術(shù)與垂直應(yīng)用場景的緊耦合,強(qiáng)關(guān)聯(lián)。例如,開發(fā)測試場景下,能否基于一套數(shù)據(jù)平臺,跑通所有的開發(fā)測試作業(yè),而無需額外使用第三方平臺,例如測試版本控制,以降低額外的資源消費(fèi),提高開發(fā)測試效率。
相信隨著技術(shù)的不斷完善以及生態(tài)的成熟,CDM,未來可期!
此處放標(biāo)題
內(nèi)容暫無