데이터 레이크하우스
Data Lakehouse
데이터 레이크하우스는 저비용 객체 스토리지 기반 데이터 레이크 위에 오픈 테이블 포맷을 통해 ACID 트랜잭션·스키마 관리·거버넌스 등 데이터 웨어하우스 기능을 결합하여, 하나의 플랫폼에서 BI와 AI/ML 분석을 함께 지원하는 데이터 아키텍처이다.
핵심 키워드
데이터 레이크(Data Lake)데이터 웨어하우스(DW)오픈 테이블 포맷(Delta Lake·Apache Iceberg·Apache Hudi)ACID 트랜잭션스키마 강제·진화(Schema Enforcement/Evolution)타임 트래블(Time Travel)스토리지-컴퓨팅 분리메달리온 아키텍처(Bronze·Silver·Gold)통합 카탈로그·거버넌스
구성도
정리
1. 개요
- 정의: 데이터 레이크의 유연성·저비용과 DW의 신뢰성·성능을 결합한 통합 데이터 아키텍처
- 배경
- DW: 정형 데이터 중심, 고비용, 비정형·ML 활용 한계
- 데이터 레이크: 저비용·다양한 형식 수용, 그러나 트랜잭션·품질 관리 부재로 "데이터 늪(Data Swamp)" 우려
- 레이크 + DW 이중 구조(2-Tier)의 데이터 중복, ETL 복잡성, 데이터 신선도 저하 문제 해소 필요
2. 구성/원리
| 계층 | 구성 | 역할 |
|---|---|---|
| 스토리지 | 클라우드 객체 스토리지 | 저비용 대용량 저장, 컴퓨팅과 분리 |
| 파일 포맷 | Parquet, ORC 등 컬럼형 | 압축·분석 효율 |
| 테이블 포맷 | Delta Lake, Apache Iceberg, Apache Hudi | 트랜잭션 로그·메타데이터로 ACID, 스냅샷, 스키마 진화 |
| 카탈로그·거버넌스 | 메타스토어, 통합 카탈로그 | 접근 제어, 계보(Lineage), 감사 |
| 처리 엔진 | Spark, Trino, Flink 등 | 배치·스트리밍·SQL·ML 처리 |
| 소비 | BI, 데이터 과학, AI/ML | 동일 데이터 직접 활용 |
- 핵심 원리
- 트랜잭션 로그 기반 낙관적 동시성 제어로 동시 쓰기 시 일관성 확보
- 스냅샷 메타데이터로 타임 트래블·롤백, 증분 처리
- 데이터 스킵·파티셔닝·컴팩션으로 쿼리 성능 확보
- 메달리온 아키텍처: Bronze(원시) → Silver(정제·통합) → Gold(업무 집계·서빙)
3. 비교
| 항목 | 데이터 웨어하우스 | 데이터 레이크 | 레이크하우스 |
|---|---|---|---|
| 데이터 유형 | 정형 | 정형·반정형·비정형 | 정형·반정형·비정형 |
| 스키마 | Schema-on-Write | Schema-on-Read | 스키마 강제 + 진화 지원 |
| 트랜잭션 | ACID 지원 | 미지원 | ACID 지원 |
| 비용 | 높음 | 낮음 | 낮음(객체 스토리지) |
| 주 활용 | BI·리포팅 | ML·탐색 분석 | BI + ML 통합 |
| 개방성 | 벤더 종속 포맷 | 오픈 포맷 | 오픈 테이블 포맷 |
4. 고려사항·최신 동향
- 고려사항
- 거버넌스 우선 설계: 메타데이터·카탈로그·접근 통제·개인정보 처리(가명화) 정책
- 소형 파일 증가 대응: 컴팩션·클러스터링 등 테이블 유지보수 자동화
- 테이블 포맷·카탈로그 선택 시 엔진 호환성과 벤더 종속성 검토
- 최신 동향
- 오픈 테이블 포맷 간 상호운용(포맷 변환·호환 계층) 확대, Iceberg REST 카탈로그 등 개방형 카탈로그 확산
- 데이터 메시와 결합한 도메인별 데이터 제품 운영
- 벡터 검색·RAG 등 생성형 AI 워크로드를 위한 데이터 기반으로 활용
함께 볼 토픽
v1 · 2026. 10. 19. 갱신 · 틀린 내용을 발견하면 알려 주세요.