Data Dynamics 기술 블로그를 시작합니다

안녕하세요, Data Dynamics 입니다. 오늘부터 저희가 현장에서 쌓아온 엔터프라이즈 (빅)데이터·AI 경험을 기술 블로그로 꾸준히 공개하려고 합니다.

어떤 글을 쓰나요

저희가 다루는 주제는 크게 세 가지입니다.

• 데이터 플랫폼: Apache Airflow, Impala, Kudu, Hive, Hadoop, Spark, NiFi, Databricks, Delta Lake, Unity Catalog 등의 운영 및 개발 노하우
• AI · MLOps: K8S, AI Platform, 생성형 AI 파이프라인, 모델 배포/모니터링, RAG 아키텍처 등의 노하우
• 엔지니어링 현장: 아키텍팅, 대규모 마이그레이션, 장애 사후분석, 성능 튜닝 등의 노하우

즉, "공식 문서에는 없지만 프로덕션에서는 반드시 필요한 이야기"를 기록합니다.

예시 코드

기술블로그이니만큼, 코드도 자연스럽게 포함됩니다.

from pyspark.sql import functions as F
 
def enrich_events(df):
    return (
        df.withColumn("event_date", F.to_date("event_ts"))
          .withColumn("is_valid", F.col("user_id").isNotNull())
          .filter("is_valid")
    )

-- Delta Lake 에서 최근 7일 파티션만 OPTIMIZE
OPTIMIZE events
WHERE event_date >= current_date() - INTERVAL 7 DAYS
ZORDER BY (user_id);

앞으로의 계획

매주 1~2편씩, 팀의 엔지니어들이 번갈아 가며 글을 발행합니다. 피드백이나 다루었으면 하는 주제가 있다면 언제든 문의하기 로 알려주세요.

현장의 복잡함을 솔직하게, 그러나 도움이 되는 방향으로 풀어내겠습니다.

— Data Dynamics 팀 드림