etl什么意思
ETL,是英文Extract-Transform-Load的縮寫(xiě),用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過(guò)程。
ETL的質(zhì)量問(wèn)題具體表現(xiàn)為正確性、完整性、一致性、完備性、有效性、時(shí)效性和可獲取性等幾個(gè)特性。
要實(shí)現(xiàn)ETL,首先要實(shí)現(xiàn)ETL轉(zhuǎn)換的過(guò)程。它可以集中地體現(xiàn)為以下幾個(gè)方面:
1.空值處理:可捕獲字段空值,進(jìn)行加載或替換為其他含義數(shù)據(jù),并可根據(jù)字段空值實(shí)現(xiàn)分流加載到不同目標(biāo)庫(kù)。
2.規(guī)范化數(shù)據(jù)格式:可實(shí)現(xiàn)字段格式約束定義,對(duì)于數(shù)據(jù)源中時(shí)間、數(shù)值、字符等數(shù)據(jù),可自定義加載格式。
3.拆分?jǐn)?shù)據(jù):依據(jù)業(yè)務(wù)需求對(duì)字段可進(jìn)行分解。例:主叫號(hào)861082585313-8148,可進(jìn)行區(qū)域碼和電話號(hào)碼分解。
4.驗(yàn)證數(shù)據(jù)正確性:可利用Lookup及拆分功能進(jìn)行數(shù)據(jù)驗(yàn)證。例如,主叫號(hào)861082585313-8148,進(jìn)行區(qū)域碼和電話號(hào)碼分解后,可利用Lookup返回主叫網(wǎng)關(guān)或交換機(jī)記載的主叫地區(qū),進(jìn)行數(shù)據(jù)驗(yàn)證。
5.數(shù)據(jù)替換:對(duì)于因業(yè)務(wù)因素,可實(shí)現(xiàn)無(wú)效數(shù)據(jù)、缺失數(shù)據(jù)的替換。
6.Lookup:查獲丟失數(shù)據(jù) Lookup實(shí)現(xiàn)子查詢(xún),并返回用其他手段獲取的缺失字段,保證字段完整性。
7.建立ETL過(guò)程的主外鍵約束:對(duì)無(wú)依賴(lài)性的非法數(shù)據(jù),可替換或?qū)С龅藉e(cuò)誤數(shù)據(jù)文件中,保證主鍵唯一記錄的加載。
0個(gè)評(píng)論
文明上網(wǎng)理性發(fā)言,請(qǐng)遵守新聞評(píng)論服務(wù)協(xié)議



魯公網(wǎng)安備37130202371693號(hào)