光大證券 基礎(chǔ)數(shù)據(jù)管理團(tuán)隊(duì) 孫偉、沈波

一、前言

近年來，證券業(yè)務(wù)快速發(fā)展，信息系統(tǒng)變更日益頻繁，敏捷開發(fā)、快速迭代已經(jīng)成為支持業(yè)務(wù)創(chuàng)新的必要條件。數(shù)據(jù)庫作為信息系統(tǒng)運(yùn)行的重要支撐，數(shù)據(jù)準(zhǔn)備和交付的自動化程度對系統(tǒng)開發(fā)、測試效率有較大的影響。

二、測試數(shù)據(jù)準(zhǔn)備遇到的困難

測試數(shù)據(jù)的準(zhǔn)備通常包括數(shù)據(jù)庫備份、數(shù)據(jù)庫脫敏、數(shù)據(jù)庫恢復(fù)等幾大步驟。在備份環(huán)節(jié)，我司主要是利用數(shù)據(jù)庫自帶的備份功能進(jìn)行數(shù)據(jù)庫物理和邏輯備份，并通過統(tǒng)一備份平臺對備份文件進(jìn)行備份。

根據(jù)測試實(shí)際需求，如需要真實(shí)數(shù)據(jù)，我們通常采用灰度環(huán)境，灰度環(huán)境的數(shù)據(jù)準(zhǔn)備主要有兩種方式：直接采用實(shí)時備庫或者是采用與生產(chǎn)隔離的數(shù)據(jù)庫。

兩種方式各有優(yōu)劣，第一種方式的優(yōu)點(diǎn)在于數(shù)據(jù)是實(shí)時和生產(chǎn)庫同步，省去了數(shù)據(jù)導(dǎo)入的環(huán)節(jié)，而且對于某些數(shù)據(jù)庫如ORACLE DATAGUARD可以利Flashback功能在測試完成之后快速恢復(fù)與生產(chǎn)的同步，缺點(diǎn)在于如DB2，SQLSERVER,MYSQL等數(shù)據(jù)庫并不支持一鍵恢復(fù)同步功能，往往需要重新恢復(fù)備庫以及和主庫同步關(guān)系；對于第二種方式顯著優(yōu)點(diǎn)是在于與生產(chǎn)環(huán)境隔離，導(dǎo)入和恢復(fù)都不會影響到生產(chǎn)環(huán)境，更加安全，但是往往時間需要更久，因?yàn)榘藗浞菸募鬏敚瑪?shù)據(jù)導(dǎo)入，也犧牲了實(shí)時性。

如果數(shù)據(jù)到測試或者開發(fā)環(huán)境，根據(jù)《證券期貨業(yè)信息系統(tǒng)運(yùn)維管理規(guī)范》數(shù)據(jù)用于非生產(chǎn)環(huán)境時，應(yīng)進(jìn)行脫敏處理。結(jié)合我司實(shí)際安全要求，脫敏工作必須在進(jìn)入測試或者開發(fā)之前完成。對于全庫的數(shù)據(jù)準(zhǔn)備步驟以及時間更加復(fù)雜：

需要在脫敏區(qū)域?qū)?shù)據(jù)庫備份文件進(jìn)行導(dǎo)入還原到脫敏區(qū)域；

通過脫敏工具對該庫中的敏感數(shù)據(jù)進(jìn)行脫敏；

重新進(jìn)行全庫備份；

備份文件通過至少2次傳輸?shù)竭_(dá)測試環(huán)境；

在測試環(huán)境進(jìn)行全庫導(dǎo)入/還原。

整個過程經(jīng)歷了2次備份，2次還原，至少2次傳輸操作，時間長且復(fù)雜度高，嚴(yán)重影響測試開發(fā)環(huán)境數(shù)據(jù)準(zhǔn)備。

除了影響測試數(shù)據(jù)的準(zhǔn)備效率，我們還面臨另外一種場景，數(shù)據(jù)庫備份的定期驗(yàn)證，定期驗(yàn)證的重要性不言而喻，有多個案例表明在真正需要用到數(shù)據(jù)庫備份進(jìn)行恢復(fù)時，發(fā)現(xiàn)備份文件不可用。尤其是對于一些穩(wěn)態(tài)系統(tǒng)，由于日常迭代需求很低，如果不定期對數(shù)據(jù)庫備份進(jìn)行驗(yàn)證，一旦遇到需要數(shù)據(jù)庫恢復(fù)場景，很可能遭遇備份文件不可用局面。結(jié)合行業(yè)要求，我司每季度會對所有數(shù)據(jù)庫備份文件進(jìn)行恢復(fù)驗(yàn)證，由于數(shù)據(jù)庫種類繁多，數(shù)據(jù)量很大，這個工作需要耗費(fèi)大量的人力和時間。

基于以上遇到的問題，我們進(jìn)行了市場調(diào)研，接觸到了一種基于CDM（Copy Data Management，數(shù)據(jù)副本管理）技術(shù)的敏捷數(shù)據(jù)管理平臺，通過對該技術(shù)的運(yùn)用，我們整合了CDM和脫敏相關(guān)工具，實(shí)現(xiàn)了生產(chǎn)到開發(fā)測試環(huán)境的數(shù)據(jù)快速交付，以及實(shí)現(xiàn)了備份數(shù)據(jù)的自動化周期性的恢復(fù)校驗(yàn)。

三、基于CDM技術(shù)實(shí)踐

CDM技術(shù)簡介

Gartner對CDM的定義是，它從生產(chǎn)環(huán)境通過快照技術(shù)獲取有應(yīng)用一致性保證的數(shù)據(jù)，在非生產(chǎn)存儲上生成“黃金副本”（Golden Image），這個“黃金副本”數(shù)據(jù)格式是原始的磁盤格式，可再虛擬化成多個副本直接掛載給服務(wù)器，分別用于備份恢復(fù)、容災(zāi)或開發(fā)測試等。

基于CDM技術(shù)的敏捷數(shù)據(jù)管理實(shí)踐

我們在調(diào)研市場后，發(fā)現(xiàn)當(dāng)前主要存在以下三種CDM技術(shù)產(chǎn)品：

1、以存儲為核心提供的CDM，雖然能夠提供快照和克隆功能，但很難實(shí)現(xiàn)跨異構(gòu)存儲，構(gòu)建企業(yè)級規(guī)則驅(qū)動的副本數(shù)據(jù)平臺，并缺乏豐富的數(shù)據(jù)服務(wù)能力，無法提供自動化、自服務(wù)等功能。

2、塊級CDP技術(shù)提供的CDM功能，利用CDP技術(shù)所創(chuàng)建的副本數(shù)據(jù)，是一種磁盤快照技術(shù)，無法保證數(shù)據(jù)的一致性，并且同一時間的磁盤快照只能掛載一份，難以滿足多應(yīng)用場景的數(shù)據(jù)需求。

3、端到端的CDM：把單純面向恢復(fù)的應(yīng)用場景，變成了面向數(shù)據(jù)使用的應(yīng)用場景，通過副本數(shù)據(jù)在各個業(yè)務(wù)環(huán)節(jié)的即時可用，為更多業(yè)務(wù)場景提供數(shù)據(jù)支撐。

以存儲為核心的CDM和塊級CDP提供的CDM功能，按照Gartner的定義，屬于“類”CDM。我們最終選擇了端到端的CDM技術(shù)產(chǎn)品，在生產(chǎn)到灰度環(huán)境、生產(chǎn)到開發(fā)測試環(huán)境的數(shù)據(jù)快速交付，以及備份數(shù)據(jù)的自動恢復(fù)校驗(yàn)三個應(yīng)用場景。

圖1：整體業(yè)務(wù)架構(gòu)拓?fù)?br/>

生產(chǎn)到灰度環(huán)境的數(shù)據(jù)快速復(fù)制

利用CDM產(chǎn)品的數(shù)據(jù)庫虛擬化技術(shù)，通過一份數(shù)據(jù)副本，可快速創(chuàng)建出多個虛擬數(shù)據(jù)副本，這些虛擬數(shù)據(jù)副本幾乎不占用任何存儲空間，且整個發(fā)布動作可以分鐘級完成。

1）具體流程：

對接生產(chǎn)庫備庫，定時進(jìn)行全量，增量備份，并實(shí)時備份獲取數(shù)據(jù)歸檔日志；

2）當(dāng)需要數(shù)據(jù)時，將指定時間點(diǎn)的數(shù)據(jù)掛載發(fā)布到灰度環(huán)境（發(fā)布到灰度環(huán)境上數(shù)據(jù)不需要脫敏）；

3）測試結(jié)束后，銷毀灰度數(shù)據(jù)庫。

生產(chǎn)到開發(fā)測試環(huán)境的數(shù)據(jù)快速復(fù)制

通過部署CDM方案，分鐘內(nèi)創(chuàng)建完成虛擬數(shù)據(jù)庫并調(diào)用脫敏系統(tǒng)對虛擬數(shù)據(jù)庫執(zhí)行脫敏，脫敏后數(shù)據(jù)自動推送復(fù)制到中間網(wǎng)CDM，經(jīng)過中間網(wǎng)CDM節(jié)點(diǎn)可將脫敏數(shù)據(jù)分鐘級掛載發(fā)布到測試網(wǎng)，有效減少開發(fā)測試場景中測試數(shù)據(jù)的準(zhǔn)備時間，提高開發(fā)測試環(huán)境搭建的效率。

（1）網(wǎng)絡(luò)說明

生產(chǎn)網(wǎng)和測試網(wǎng)進(jìn)行物理隔離，生產(chǎn)網(wǎng)和中間網(wǎng)、中間網(wǎng)和測試網(wǎng)分別可點(diǎn)對點(diǎn)打通。

（2）開發(fā)測試數(shù)據(jù)快速交付

1）在生產(chǎn)網(wǎng)和中間網(wǎng)分別部署CDM節(jié)點(diǎn)；

2）生產(chǎn)數(shù)據(jù)脫敏在生產(chǎn)網(wǎng)內(nèi)完成；

3）生產(chǎn)網(wǎng)CDM節(jié)點(diǎn)將脫敏后的數(shù)據(jù)推送到中間網(wǎng)CDM節(jié)點(diǎn)；

4）脫敏數(shù)據(jù)通過中間網(wǎng)掛載發(fā)布到測試網(wǎng)的開發(fā)測試環(huán)境；

5）測試結(jié)束后，按策略定期銷毀數(shù)據(jù)。

（3）數(shù)據(jù)脫敏

部署CDM前的數(shù)據(jù)脫敏，需要分別在生產(chǎn)網(wǎng)和中間網(wǎng)各部署一套脫敏系統(tǒng)，生產(chǎn)數(shù)據(jù)不能直接給到測試網(wǎng)，需要經(jīng)歷從生產(chǎn)網(wǎng)到中間網(wǎng)、從中間網(wǎng)到測試網(wǎng)的兩次數(shù)據(jù)抽取和脫敏，并且是面向整庫全量數(shù)據(jù)的抽取。

部署CDM后的數(shù)據(jù)脫敏，生產(chǎn)網(wǎng)部署一套脫敏系統(tǒng)，將數(shù)據(jù)發(fā)布到生產(chǎn)網(wǎng)的脫敏環(huán)境并執(zhí)行脫敏任務(wù)后，脫敏數(shù)據(jù)利用CDM節(jié)點(diǎn)之間的遠(yuǎn)程復(fù)制功能推送到中間網(wǎng)，并通過中間網(wǎng)掛載發(fā)布到測試網(wǎng)。

（4）測試數(shù)據(jù)版本管理

開發(fā)測試環(huán)境在使用數(shù)據(jù)的過程中存在測試數(shù)據(jù)版本回退、新老版本并行測試等場景。通過CDM的虛擬數(shù)據(jù)庫版本管理機(jī)制，可以實(shí)現(xiàn)秒級版本回退操作，以及通過版本快照分鐘級創(chuàng)建歷史版本數(shù)據(jù)環(huán)境，實(shí)現(xiàn)歷史環(huán)境、當(dāng)前環(huán)境的新老版本并行對比測試。并且，使用中的虛擬數(shù)據(jù)庫可以實(shí)現(xiàn)秒級創(chuàng)建動態(tài)快照，虛擬數(shù)據(jù)庫可持續(xù)保持對外提供服務(wù)，不影響測試業(yè)務(wù)連接。

備份數(shù)據(jù)的自動校驗(yàn)

校驗(yàn)的主要目的是為了定期檢驗(yàn)備份文件有效性，保證在恢復(fù)和還原數(shù)據(jù)文件時的可用。

利用CDM對接我司統(tǒng)一備份平臺，實(shí)現(xiàn)備份數(shù)據(jù)的自動化恢復(fù)校驗(yàn)。定時抽取備份數(shù)據(jù)并自動進(jìn)行有效性驗(yàn)證，保證備份數(shù)據(jù)的可用。過去，考慮到作業(yè)周期長，工作量大，備份數(shù)據(jù)校驗(yàn)按季度來進(jìn)行，在CDM方式下可縮短至按周進(jìn)行。

四、結(jié)束語

通過CDM解決方案的實(shí)施，我們實(shí)現(xiàn)了一個平臺、一站式解決數(shù)據(jù)獲取，數(shù)據(jù)存儲，數(shù)據(jù)構(gòu)建，數(shù)據(jù)使用，數(shù)據(jù)銷毀，在保證合規(guī)性基礎(chǔ)上，以敏捷的數(shù)據(jù)全生命周期管理，更好地實(shí)現(xiàn)數(shù)據(jù)共享和數(shù)據(jù)利用。