Cloudera
Cloudera 파트너로서 온프레미스 데이터 플랫폼의 도입 설계부터 구축·운영 지원과 교육까지 지원합니다.
기업 데이터가 분석과 AI로 이어지는 과정
설비·업무 시스템의 데이터를 수집하고, 공유 데이터 기반에서 분석과 AI 서비스를 운영합니다.
그림 설명과 제품·서비스 상세 보기
- 1.데이터 소스
- 설비 센서, 업무 DB, 로그·문서에서 필요한 데이터를 가져옵니다.
- 2.수집과 전달
- NiFi의 데이터 플로우와 Kafka의 이벤트 스트림을 요구사항에 맞게 구성합니다. 두 경로는 병렬로 사용할 수 있습니다.
- 3.공유 데이터 기반
- Cloudera의 저장·처리 환경에서 데이터를 관리하고 Spark 등으로 가공합니다.
- 4.분석과 AI 활용
- 동일한 데이터 기반을 SQL·BI 분석과 모델 학습·추론에 각각 활용합니다.
Cloudera 온프레미스 데이터 플랫폼
Cloudera는 저장·처리·분석·AI 워크로드를 위한 데이터 플랫폼입니다. 온프레미스에서는 Cloudera Base와 Data Services를 중심으로 구성하고, SDX 기술을 활용해 보안과 메타데이터 관리를 설계합니다. 기존 데이터 자산과 저장 위치 요구사항을 고려해 필요한 서비스를 선택합니다.
- Cloudera Base: HDFS·Ozone·Hive·Impala·Spark·Kafka 등 핵심 데이터 서비스
- Cloudera Data Services: Kubernetes 기반의 CDW·CDE·Cloudera AI 분리형 컴퓨팅
- SDX(Shared Data Experience): Ranger·Atlas 기반 통합 보안·거버넌스
- Cloudera Manager를 통한 통합 운영·모니터링
설명용 개념도입니다. 보안·거버넌스의 적용 범위와 각 구성요소의 연동은 실제 배포 구성을 기준으로 설계합니다.
공식 문서Cloudera Base와 Data Services의 관계
데이터 기반과 서비스별 컴퓨트의 역할을 구분하면 필요한 제품과 운영 범위를 이해하기 쉽습니다.
그림 설명과 제품·서비스 상세 보기
- 1.Cloudera Base
- HDFS·Ozone 등의 저장 기반과 기본 처리 서비스를 구성합니다.
- 2.Data Services
- Kubernetes 기반의 데이터 웨어하우스·데이터 엔지니어링·Cloudera AI가 공유 데이터 기반을 활용합니다.
- 3.보안과 거버넌스
- Ranger·Atlas 등 SDX 기술을 활용해 접근 제어와 메타데이터 관리 범위를 설계합니다.
- 4.운영과 관리
- Cloudera Manager의 기반 클러스터 관리와 Data Services의 관리 기능을 구분해 운영합니다.
CDP Private Cloud Base/Data Services와 CML은 이전 명칭입니다. 실제 지원 구성과 버전 호환성은 도입 시 확인합니다.
공식 문서Cloudera CDP의 데이터·서비스·거버넌스 구성
Cloudera Base와 Kubernetes 데이터 서비스를 중심으로 CDP 구성요소의 역할과 관리 경계를 보여줍니다.
그림 설명과 제품·서비스 상세 보기
- 1.데이터 수집
- 업무 DB·이벤트·파일을 NiFi와 Kafka 등 적절한 수집 경로로 연결합니다.
- 2.Cloudera Base
- HDFS·Ozone, 메타데이터와 핵심 처리 서비스를 구성하며 Cloudera Manager가 Base 운영을 담당합니다.
- 3.데이터 서비스
- 웨어하우스·CDE·Cloudera AI는 독립적인 컴퓨트로 공통 데이터에 접근하고 Management Console로 관리합니다.
- 4.SDX 거버넌스
- ID·그룹, Ranger 권한, Atlas 리니지와 메타데이터를 활용해 데이터 접근 및 운영을 관리합니다.
온프레미스 구성 예시입니다. Base·Kubernetes·서비스 버전의 호환성을 확인해야 하며 클라우드 배포 구성은 별도로 설계합니다.
공식 문서CFM·Apache NiFi의 수집·변환·전송 구조
프로세서뿐 아니라 큐, 백프레셔, 오류 경로와 데이터 프로비넌스까지 상세하게 보여줍니다.
그림 설명과 제품·서비스 상세 보기
- 1.수집
- DB·API·이벤트 파일을 읽어 FlowFile과 레코드로 처리합니다.
- 2.검증과 라우팅
- 스키마와 속성에 따라 변환·분기하며 큐 임계값으로 유입을 조절합니다. 오류 데이터와 재시도 경로를 구분합니다.
- 3.전송
- S3 Parquet·Kafka·API를 독립적인 목적지로 연결하고 전송 성공 및 파일 키를 기록합니다.
- 4.운영과 이력
- FlowFile·콘텐츠·프로비넌스 저장소의 역할을 구분하고 버전이 관리되는 플로와 파라미터를 배포합니다.
배포 버전에 따라 사용 가능한 NiFi 구성요소가 달라집니다. 재시도만으로 정확히 한 번 전달이 보장되지 않으며, S3에 올린 파일을 Iceberg로 조회하려면 메타데이터 커밋이 필요합니다.
공식 문서CDE의 가상 클러스터와 Spark 작업 실행
작업 코드·의존성 제출부터 Spark 드라이버·익스큐터 실행, 품질 검증과 운영까지 연결합니다.
그림 설명과 제품·서비스 상세 보기
- 1.제출과 오케스트레이션
- 버전이 관리되는 Python·JAR·의존성을 CDE 작업에 연결하고 일정 또는 Airflow DAG로 실행합니다.
- 2.가상 클러스터
- 팀별 클러스터의 CPU·메모리 범위 안에서 드라이버와 익스큐터가 Spark 작업을 실행합니다.
- 3.데이터 처리
- 지원되는 데이터 기반에서 입력을 읽고 변환·품질 검증을 거쳐 정제된 테이블을 생성합니다.
- 4.관측과 복구
- 실행 ID, 로그, 지표와 Spark History Server로 원인을 분석하고 실패 작업의 재실행을 검토합니다.
클라우드와 온프레미스의 배포·스토리지·런타임 지원 범위가 다릅니다. 가상 클러스터 리소스 범위, 자동 확장 한도와 작업 의존성을 환경에 맞춰 확인합니다.
공식 문서Cloudera AI의 개발·등록·추론·운영
모델 개발과 검증, Cloudera AI Registry 및 Inference 서비스의 실행 구조를 보여줍니다.
그림 설명과 제품·서비스 상세 보기
- 1.개발
- 통제된 데이터와 프로젝트 환경에서 모델을 학습·조정하고 별도 평가 데이터로 검증합니다.
- 2.검토와 등록
- 실험 결과를 검토해 승인된 모델의 버전과 산출물을 Cloudera AI Registry에 등록합니다.
- 3.추론 서비스
- KServe 기반 실행 환경에서 지원되는 NIM·Triton 등 런타임과 모델 엔드포인트를 구성합니다.
- 4.운영과 개선
- 요청 로그·추론 지표·평가 결과로 품질과 용량을 검토하고 점진 배포 및 복구 절차를 운영합니다.
런타임·GPU·배포 방식과 접근 제어 지원은 버전 및 구성별로 확인합니다. RAG 검색·프롬프트 조립은 예시 애플리케이션의 역할이며 추론 서비스 자체의 벡터 저장 기능을 의미하지 않습니다.
공식 문서Data Dynamics가 제공하는 Cloudera 서비스
제품과 활용 구성을 선택하고, 요구사항 분석부터 검증·운영 인수인계까지 연결합니다.
그림 설명과 제품·서비스 상세 보기
- 1.요구사항 분석
- 기존 시스템과 데이터, 워크로드, 운영 제약을 조사해 도입 범위를 정합니다.
- 2.제품과 구성 선택
- 활용 목적에 맞는 제품, 배포 방식, 용량, 접근 권한과 계약 범위를 검토합니다.
- 3.검증과 전환
- 대표 워크로드로 정합성·성능·연동을 확인하고 승인 기준과 복구 절차를 검토합니다.
- 4.운영과 교육
- 모니터링, 운영 절차서, 업그레이드 계획과 담당자 교육으로 인수인계를 준비합니다.
Cloudera 제품군
- Cloudera Base · Data Services
Cloudera Base의 데이터 기반과 Kubernetes 기반 Data Services를 조합해 데이터 웨어하우스·데이터 엔지니어링·AI 워크로드를 구성합니다.
Cloudera Base · Data Services · SDX · Cloudera Manager
- CFM (Cloudera Flow Management)
Apache NiFi 기반의 엔터프라이즈 데이터 플로우 관리 솔루션. 수백 개 이상의 커넥터로 엣지·온프레미스·클라우드 간 데이터를 실시간으로 수집·변환·전달합니다.
Apache NiFi · NiFi Registry · MiNiFi · Flow Designer
- Cloudera AI
Cloudera Machine Learning(CML)과 Cloudera AI Inference를 통해 데이터 사이언티스트가 CDP 내 데이터를 활용해 모델을 학습·배포·서빙하고, 생성형 AI·RAG 워크로드까지 운영할 수 있습니다.
CML · MLflow · Model Serving · LLM / RAG
도입 전에 함께 확인할 사항
기능 목록을 넘어 실제 데이터·운영 조건으로 도입 범위를 정합니다.
- 적합한 환경
자체 데이터센터 운영, 기존 Hadoop 자산 활용, 데이터 저장 위치 요구사항이 있는 환경을 검토합니다.
- 구성·용량 설계
데이터 규모·수집량·동시 사용자와 Kubernetes·GPU 필요 여부를 확인합니다.
- 도입·운영 지원
현황 진단, 구성·용량 설계, 마이그레이션 검증, 운영 절차와 교육 범위를 협의합니다.
Data Dynamics가 제공하는 Cloudera 서비스
- 라이선스 판매
Cloudera 공식 파트너로서 Cloudera Base/Data Services, CFM, Cloudera AI 라이선스를 합리적인 조건으로 공급하고, 고객 환경에 맞춘 사이징과 견적을 제안합니다.
- Cloudera Base·Data Services 라이선스
- CFM(NiFi) 라이선스
- Cloudera AI(CML) 라이선스
- 워크로드 기반 사이징 및 TCO 분석
- 기술지원
도입 설계부터 구축, 운영 단계의 장애 대응과 성능 튜닝까지 CDP/CFM/AI에 대한 전 주기 기술지원을 제공합니다.
- CDP Private Cloud 구축·업그레이드
- CDH/HDP → CDP 마이그레이션
- Cloudera Manager·Ranger·Atlas 운영 지원
- NiFi 플로우 설계·성능 튜닝
- CML 환경 구축 및 MLOps 지원
- 장애 대응 및 성능 최적화
- 교육
운영자·개발자·데이터 사이언티스트를 대상으로 실습 중심의 Cloudera 교육을 제공하여 고객사 내부 역량을 빠르게 확보할 수 있도록 지원합니다.
- CDP 운영자 과정 (Admin)
- Spark·Hive·Impala 개발자 과정
- NiFi(CFM) 데이터 플로우 실습 과정
- Cloudera Machine Learning 실습 과정
- 고객 맞춤형 워크숍 및 온사이트 교육
도입 절차의 예시입니다. 제품·버전별 지원 범위, 검증 기준과 제공 서비스는 고객 환경 및 계약에 맞춰 확정합니다.