在老舊系統(tǒng)替換過(guò)程中,新舊數(shù)據(jù)遷移往往不是單純的技術(shù)搬運(yùn),而是一項(xiàng)涉及數(shù)據(jù)質(zhì)量、業(yè)務(wù)連續(xù)性、系統(tǒng)兼容性和風(fēng)險(xiǎn)控制的重要工程。系統(tǒng)可以更換,平臺(tái)可以升級(jí),架構(gòu)可以重構(gòu),但數(shù)據(jù)承載的是業(yè)務(wù)規(guī)則、歷史結(jié)果和管理要求。如果遷移方案設(shè)計(jì)不充分,輕則影響系統(tǒng)上線(xiàn)后的數(shù)據(jù)準(zhǔn)確性,重則造成業(yè)務(wù)流程中斷、歷史數(shù)據(jù)丟失、用戶(hù)信任下降。因此,軟件開(kāi)發(fā)團(tuán)隊(duì)在推進(jìn)老舊系統(tǒng)替換時(shí),必須把數(shù)據(jù)遷移作為核心工作之一,提前規(guī)劃、分步實(shí)施、反復(fù)驗(yàn)證。
一、明確遷移目標(biāo),避免把數(shù)據(jù)遷移簡(jiǎn)單理解為“搬數(shù)據(jù)”
很多項(xiàng)目在啟動(dòng)數(shù)據(jù)遷移時(shí),容易陷入一個(gè)誤區(qū):認(rèn)為只要把老系統(tǒng)的數(shù)據(jù)搬到新系統(tǒng)就算完成。實(shí)際上,數(shù)據(jù)遷移的目標(biāo)并不只是數(shù)據(jù)位置的變化,而是保證新系統(tǒng)能夠基于準(zhǔn)確、完整、可用的數(shù)據(jù)繼續(xù)支撐業(yè)務(wù)運(yùn)行。
遷移工作首先要回答幾個(gè)關(guān)鍵問(wèn)題:哪些數(shù)據(jù)必須遷移?哪些數(shù)據(jù)可以歸檔或不遷移?遷移后的數(shù)據(jù)需要滿(mǎn)足什么質(zhì)量要求?新系統(tǒng)的數(shù)據(jù)模型與老系統(tǒng)是否存在差異?遷移完成后如何證明數(shù)據(jù)是正確的?
只有把這些問(wèn)題提前明確,才能避免后期出現(xiàn)“數(shù)據(jù)搬過(guò)去了,但業(yè)務(wù)用不起來(lái)”的情況。遷移目標(biāo)應(yīng)當(dāng)圍繞業(yè)務(wù)連續(xù)性、數(shù)據(jù)完整性、數(shù)據(jù)一致性和可追溯性展開(kāi),而不是只關(guān)注技術(shù)層面的導(dǎo)入導(dǎo)出。
二、全面盤(pán)點(diǎn)存量數(shù)據(jù),識(shí)別數(shù)據(jù)資產(chǎn)與數(shù)據(jù)負(fù)債
老舊系統(tǒng)運(yùn)行時(shí)間越長(zhǎng),數(shù)據(jù)積累往往越復(fù)雜。表面上看,數(shù)據(jù)都存在于數(shù)據(jù)庫(kù)、文件或接口中,但實(shí)際盤(pán)點(diǎn)時(shí)會(huì)發(fā)現(xiàn),數(shù)據(jù)分布可能涉及多個(gè)模塊、多張表、多種存儲(chǔ)方式,甚至存在大量冗余、重復(fù)、缺失、格式混亂的問(wèn)題。
因此,遷移前必須對(duì)存量數(shù)據(jù)進(jìn)行全面盤(pán)點(diǎn)。盤(pán)點(diǎn)內(nèi)容包括數(shù)據(jù)范圍、數(shù)據(jù)量級(jí)、數(shù)據(jù)結(jié)構(gòu)、字段含義、業(yè)務(wù)關(guān)聯(lián)關(guān)系、歷史數(shù)據(jù)生命周期、數(shù)據(jù)歸屬主體、數(shù)據(jù)訪(fǎng)問(wèn)頻率等。對(duì)于長(zhǎng)期未使用的數(shù)據(jù),需要判斷是否納入遷移范圍;對(duì)于高頻使用的核心數(shù)據(jù),需要重點(diǎn)識(shí)別其完整性和準(zhǔn)確性。
同時(shí),還要識(shí)別數(shù)據(jù)負(fù)債。所謂數(shù)據(jù)負(fù)債,并不只是技術(shù)債務(wù),也包括長(zhǎng)期積累下來(lái)的不規(guī)范數(shù)據(jù)、不清晰字段、不一致編碼、缺失關(guān)聯(lián)關(guān)系和難以解釋的業(yè)務(wù)含義。如果這些問(wèn)題不提前暴露,遷移過(guò)程中就容易出現(xiàn)數(shù)據(jù)錯(cuò)亂、字段映射失敗、業(yè)務(wù)邏輯無(wú)法承接等情況。
三、梳理新舊系統(tǒng)數(shù)據(jù)模型差異,建立清晰的映射關(guān)系
老舊系統(tǒng)和新系統(tǒng)之間通常存在明顯的數(shù)據(jù)模型差異。老系統(tǒng)可能采用較為扁平或耦合的結(jié)構(gòu),字段命名不規(guī)范,業(yè)務(wù)含義分散;新系統(tǒng)則可能按照新的領(lǐng)域模型、業(yè)務(wù)規(guī)則和技術(shù)標(biāo)準(zhǔn)重新設(shè)計(jì)。兩者之間并不是簡(jiǎn)單的一對(duì)一關(guān)系,而可能是一對(duì)多、多對(duì)一,甚至需要重新組合、拆分和轉(zhuǎn)換。
數(shù)據(jù)映射是遷移工作的基礎(chǔ)。團(tuán)隊(duì)需要建立完整的數(shù)據(jù)映射關(guān)系,明確老系統(tǒng)字段對(duì)應(yīng)新系統(tǒng)的哪個(gè)字段,數(shù)據(jù)格式如何轉(zhuǎn)換,業(yè)務(wù)含義如何對(duì)齊,缺失字段如何補(bǔ)充,冗余字段如何處理,歷史數(shù)據(jù)如何在新模型中表達(dá)。
映射關(guān)系不能只停留在文檔層面,而應(yīng)形成可執(zhí)行、可驗(yàn)證、可維護(hù)的映射規(guī)則。每一條映射規(guī)則都應(yīng)有明確來(lái)源、轉(zhuǎn)換邏輯、默認(rèn)值處理方式、異常處理方式和責(zé)任歸屬。否則,一旦業(yè)務(wù)規(guī)則發(fā)生變化,遷移工作很容易陷入反復(fù)返工。
四、制定數(shù)據(jù)清洗規(guī)則,提升遷移數(shù)據(jù)質(zhì)量
數(shù)據(jù)遷移不是把臟數(shù)據(jù)原樣搬到新系統(tǒng)。如果老系統(tǒng)存在重復(fù)數(shù)據(jù)、無(wú)效數(shù)據(jù)、格式不統(tǒng)一、編碼不一致、關(guān)鍵字段缺失等問(wèn)題,直接遷移只會(huì)把問(wèn)題帶入新系統(tǒng),甚至放大問(wèn)題。
數(shù)據(jù)清洗應(yīng)圍繞真實(shí)性、完整性、一致性、規(guī)范性和可用性展開(kāi)。例如,同一業(yè)務(wù)對(duì)象是否存在多個(gè)重復(fù)記錄;關(guān)鍵字段是否缺失;日期、金額、編碼、狀態(tài)等格式是否統(tǒng)一;不同模塊之間的數(shù)據(jù)是否一致;歷史數(shù)據(jù)是否符合新系統(tǒng)的校驗(yàn)規(guī)則。
清洗規(guī)則需要與業(yè)務(wù)部門(mén)共同確認(rèn),不能僅由技術(shù)團(tuán)隊(duì)單方面決定。因?yàn)楹芏鄶?shù)據(jù)問(wèn)題背后涉及業(yè)務(wù)含義,如果脫離業(yè)務(wù)理解,清洗結(jié)果可能看似規(guī)范,實(shí)際上破壞了原始業(yè)務(wù)邏輯。數(shù)據(jù)清洗也不應(yīng)追求一次性完美,而應(yīng)分階段推進(jìn):先解決影響遷移和系統(tǒng)運(yùn)行的關(guān)鍵問(wèn)題,再逐步處理次要質(zhì)量問(wèn)題。