엔터프라이즈 데이터 플랫폼

Open Lakehouse

데이터 수집·저장부터 분산된 데이터의 통합 분석까지. Argus Flow, Apache Airflow 3, Starburst Enterprise, MinIO AIStor를 하나의 구축·운영 패키지로 제공합니다.

Modern Lakehouse — 데이터를 개방형 테이블로 관리하는 아키텍처

오브젝트 스토리지의 확장성과 분석용 테이블의 관리 기능을 결합합니다. 저장 계층과 연산 엔진을 분리하고, Apache Iceberg로 스키마·스냅샷·데이터 변경을 관리합니다.

배치·CDC 수집, 병렬로 배치한 연산 엔진, REST 카탈로그, Parquet와 Iceberg 메타데이터를 저장하는 오브젝트 스토리지의 관계 — 엔진은 카탈로그에서 테이블 정보를 확인하고 스토리지의 파일을 직접 읽고 씁니다. 파란 실선은 데이터, 보라색 점선은 메타데이터·제어, 청록색은 결과 흐름입니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

파일 형식·테이블 형식·카탈로그·스토리지의 역할

서로 다른 역할을 조합해 데이터를 저장하고, 일관된 테이블 상태로 조회합니다.

구성 개념	담당하는 역할
Parquet · 파일 형식	레코드를 컬럼 기반 파일로 저장합니다. 파일 자체만으로 테이블 전체의 스냅샷과 커밋 상태를 관리하지는 않습니다.
Apache Iceberg · 테이블 형식	여러 데이터 파일을 하나의 테이블로 관리하고 스키마·파티션 구성·스냅샷·파일 통계 정보를 제공합니다.
REST 카탈로그	테이블 이름과 현재 메타데이터 참조를 연결하고 커밋 요청을 처리합니다. 실제 데이터 파일은 엔진이 스토리지에서 읽습니다.
오브젝트 스토리지	데이터 파일과 메타데이터 파일을 저장합니다. 이 플랫폼에서는 MinIO AIStor가 S3 호환 저장 계층을 담당합니다.

Open Lakehouse에서는 Argus Flow·NiFi 2가 수집과 변환, Airflow 3가 작업 실행 조율, Starburst가 SQL 분석과 테이블 처리, MinIO AIStor가 저장을 담당합니다. 다음 플랫폼 구성도에서 제품별 연결을 확인할 수 있습니다.

Iceberg는 파일을 어떻게 하나의 테이블로 관리할까요?

orders 테이블에 데이터를 추가하는 예시로, 파일 저장과 스냅샷 커밋의 차이를 살펴봅니다.

기존 스냅샷 100의 파일 A·B에 파일 C를 추가하고 원자적 커밋 후 스냅샷 101의 A·B·C를 조회하는 Iceberg 예시 — 스냅샷 100의 합계는 200, 스냅샷 101의 합계는 250입니다. 기존 파일 A·B는 재사용하며, 그림의 메타데이터 참조 단계는 이해를 위해 단순화했습니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

Iceberg가 데이터 활용과 운영에 제공하는 기능

데이터 변경, 과거 상태 조회와 테이블 유지보수를 업무 요구에 연결합니다.

기능	활용 가치
테이블 단위 트랜잭션	커밋되지 않은 변경을 현재 테이블 조회에 노출하지 않고, 선택한 스냅샷을 기준으로 데이터를 읽습니다.
시간 여행(time travel)	보존된 과거 스냅샷으로 분석 결과를 재현하고 데이터 변경 전후를 비교합니다.
스키마·파티션 에볼루션	지원되는 컬럼·파티션 구성 변경으로 데이터 구조와 조회 패턴의 변화에 대응합니다. 기존 파일의 물리적 배치를 자동으로 모두 바꾸는 기능은 아닙니다.
파일 프루닝	파티션과 컬럼 통계 등 메타데이터로 읽을 파일 범위를 줄입니다. 효과는 데이터 배치·통계·쿼리에 따라 달라집니다.
변경 데이터 반영	지원 엔진의 INSERT·UPDATE·DELETE·MERGE로 데이터를 변경합니다. CDC 수집, 중복 제거와 변경 순서 처리는 별도로 설계합니다.
테이블 유지보수	작은 파일 컴팩션과 스냅샷 만료·미참조 파일 정리를 수행합니다. 실행 중인 작업과 과거 데이터 보존 기간을 함께 고려합니다.

실제 지원 기능은 엔진·커넥터·Iceberg 테이블 버전·카탈로그 구현에 따라 확인합니다. 여러 엔진의 동시 사용과 쓰기 호환성은 도입 환경에서 검증합니다.

Starburst의 Iceberg 읽기·쓰기 및 유지보수 문서

저장하고 연결하고, 함께 분석합니다

반복 분석할 데이터는 레이크하우스에 축적하고, 업무 시스템의 데이터는 필요에 따라 직접 연결합니다.

레이크하우스 구축

DB·파일·API 데이터를 수집하고 Iceberg 테이블로 관리해 이력 분석과 데이터 재사용을 지원합니다.

기존 시스템과 통합 분석

모든 데이터를 먼저 복제하지 않아도 Starburst에서 여러 데이터 소스를 연결해 SQL과 JOIN으로 분석합니다.

도입부터 운영까지

Data Dynamics가 아키텍처, 설치·연동, 데이터 검증, 성능 측정과 운영 절차를 함께 구성합니다.

하나의 플랫폼, 두 가지 데이터 활용 경로

수집·적재 경로와 직접 연결하는 페더레이션 경로를 함께 구성합니다.

Airflow 3, NiFi 2 기반 Argus Flow, MinIO AIStor, Iceberg REST 카탈로그와 Starburst를 연결한 전체 아키텍처 — 실선은 데이터 흐름, 점선은 실행 제어·메타데이터 연결을 보여줍니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

플랫폼 구성요소와 역할

각 제품의 역할을 연결하고, 업무에 맞는 데이터 흐름과 운영 기준을 함께 설계합니다.

구성요소	담당 기능
Argus Flow · Apache NiFi 2	데이터 수집·CDC·변환·전송, 큐와 재처리, 확장 프로세서·컨트롤러 서비스로 파이프라인을 구성합니다.
Apache Airflow 3	일정·의존성을 관리하고 수집 완료 이후 SQL 처리, 품질 검사, 테이블 유지보수 작업을 조율합니다.
Starburst Enterprise	다양한 DB의 데이터 페더레이션, 소스 간 JOIN, Iceberg 읽기·쓰기와 분산 SQL 처리를 담당합니다.
MinIO AIStor	S3 호환 오브젝트 스토리지에 원본·Parquet·Iceberg 메타데이터를 저장하며 상용 구독과 기술 지원을 연계합니다.
Apache Iceberg · REST 카탈로그	스냅샷과 테이블 메타데이터를 관리합니다. REST 카탈로그 구현과 인증·쓰기 호환성을 도입 단계에서 검증합니다.

데이터 페더레이션: 분산된 데이터를 하나의 SQL로

Oracle·Hive·Impala 환경을 포함한 다양한 데이터 소스의 연결을 설계합니다.

관계형 DB, 데이터 웨어하우스, NoSQL과 MinIO AIStor의 Iceberg 테이블을 Starburst에 연결하는 데이터 페더레이션 도식 — 예시: Oracle 고객 정보, PostgreSQL 주문 정보와 Iceberg의 과거 이력을 JOIN해 고객별 분석 결과를 제공합니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

Oracle을 넘어 다양한 데이터 소스로 확장

업무 DB, 기존 분석 환경, 클라우드 데이터 웨어하우스와 레이크하우스를 하나의 SQL 분석 경로로 연결합니다.

연동 영역	대표 데이터 소스
관계형 DB	Oracle · PostgreSQL · MySQL · SQL Server · IBM Db2 · SAP HANA
데이터 웨어하우스	Teradata · Snowflake · Amazon Redshift · Google BigQuery
NoSQL·검색	MongoDB · Cassandra · Elasticsearch
기존 빅데이터 환경	Hive · Impala 사용 환경 — 기존 테이블·스토리지와 접근 방식에 따라 연동 경로 설계
플랫폼 레이크하우스	MinIO AIStor에 저장한 Apache Iceberg 테이블

커넥터별 지원 기능·인증·라이선스가 다릅니다. Impala 전용 커넥터의 정식 지원을 전제하지 않으며, 기존 환경의 데이터 접근 경로와 호환성을 검증합니다. Generic JDBC는 PoC 용도로 검토하고 운영 지원 범위를 별도로 확인합니다.

Starburst 커넥터 지원 범위

Argus Flow 기반 수집·CDC와 Airflow 자동화

프로세서의 실제 데이터 처리와 작업 간 실행 순서를 함께 보여줍니다.

Argus Flow CDC 프로세서, 변환·검증, S3 업로드, Starburst Iceberg 커밋과 MERGE를 Airflow가 조율하는 흐름 — 파일 업로드 → Iceberg 변경 이력 반영 → 중복 제거·순서 정리 → MERGE를 통한 현재 상태 갱신으로 단계를 구분합니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

MinIO AIStor로 구성하는 저장·데이터 보호 계층

상용 구독과 기술 지원을 포함한 기업용 스토리지 구성을 제공합니다.

MinIO AIStor 분산 저장 노드, S3 접근, 암호화·인증·보존 정책, 사이트 복제와 상용 지원 구성 — 데이터·패리티 분산 저장, 접근 제어와 복구 체계를 워크로드와 운영 요구에 맞춰 설계합니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

필요한 데이터만 읽고, 분산해서 처리합니다

DB 푸시다운과 Iceberg 스캔 최적화의 차이를 이해할 수 있도록 구분합니다.

Oracle 푸시다운, MinIO AIStor의 Iceberg 파티션·파일 프루닝과 Starburst 분산 JOIN을 비교한 성능 도식 — Oracle은 지원하는 SQL 연산을 실행하고, Iceberg는 메타데이터와 Parquet 정보를 활용해 읽을 범위를 줄입니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

데이터 흐름부터 복구까지 운영 기준을 연결합니다

파이프라인·쿼리·스토리지 상태를 확인하고, 장애 복구와 테이블 유지보수를 반복 가능한 작업으로 만듭니다.

Airflow 재시도, Argus Flow 큐, Starburst 쿼리·Iceberg 유지보수, MinIO AIStor 복원과 Data Dynamics 지원 체계 — 운영 지표와 알림, 제품별 관리 화면, 설정 템플릿과 운영 절차서를 함께 구성합니다.그림을 누르면 원본 크기로 확대할 수 있습니다.

하나의 플랫폼으로 도입하고 운영합니다

설치 파일뿐 아니라 데이터 흐름, 검증 기준과 운영 절차를 함께 제공합니다. 범위와 지원 조건은 도입 계약에 명시합니다.

PoC·설계

대표 데이터와 쿼리로 수집·페더레이션·Iceberg 연동을 검증하고 용량, 동시 사용자, 보안·복구 요구를 정의합니다.

운영 환경 구축

버전 조합과 설정 템플릿, NiFi 플로·Airflow DAG, 카탈로그·인증 연결, 대시보드·알림과 운영 절차서를 구성합니다.

운영·기술 지원

장애 대응 창구, 벤더 지원 연계, 업그레이드 호환성 검토, 성능 점검과 백업·복원 훈련을 지원합니다.

통합 구축·운영 패키지이며, 관리 화면은 제품별 콘솔을 사용합니다. MinIO AIStor와 Starburst의 제품·라이선스·지원 범위는 제안과 계약에서 확정합니다.