데이터 정합성 검증 방법

# 필요성 

왜 정합성 검증이 필요한가

• ETL/ELT 과정에서 데이터가 깨지는 흔한 시나리오
  • 소스 DB 스키마 변경이 파이프라인에 반영 안 됨
  • 적재 도중 네트워크 끊김 → 일부만 들어간 경우
  • 타임존 차이로 날짜 데이터 밀림
• 데이터 신뢰성 감소

 

# 정합성 검증의 종류

① 완전성 검증 (Completeness)

- 소스 건수 vs 타겟 건수 비교
- 특정 컬럼 NULL 비율 체크

- 날짜 범위별 누락 여부 확인

 

② 정확성 검증 (Accuracy)

- 합계/평균 등 집계값 소스와 비교
- 주요 금액 컬럼 SUM 값 일치 여부
- 소수점, 반올림 처리 기준 통일 확인

 

③ 일관성 검증 (Consistency)

- Fact ↔ Dimension 테이블 간 FK 정합성
- 같은 데이터가 여러 테이블에 있을 때 값 일치 여부
- 코드값 표준화 (예: 'Y'/'N' vs 1/0 혼재)

 

④ 시의성 검증 (Timeliness)

- 최신 데이터가 제때 들어왔는지 확인
- MAX(updated_at) 기준으로 지연 탐지

 

⑤ 유효성 검증 (Validity)
- 데이터 타입, 길이, 형식 준수 여부
- 날짜 형식 / 전화번호 형식 / 이메일 형식
- 범위 초과값 탐지 (예: 나이가 200살)

 

---

# 실무 적용 패턴

① 체크섬 방식
소스/타겟 양쪽에서 동일 쿼리 실행 후 결과 비교
자동화해서 적재 후 바로 실행

② 감사 테이블(Audit Table) 운영
적재 때마다 건수/합계/실행시간 기록
이상 탐지 시 히스토리 추적 가능

 

③ dbt test 활용
not_null, unique, accepted_values, relationships 기본 제공
커스텀 테스트로 비즈니스 룰 검증 추가 가능