Trino 를 Kubernetes 에 배포하기 — Helm, 오토스케일링, Graceful Shutdown

                  Ingress / LoadBalancer (TLS 종단)
                            │
                            ▼
                  ┌───────────────────┐
                  │  Coordinator Pod  │  (Deployment, replica 1)
                  │  Service :8080    │
                  └───────────────────┘
                            │  discovery + 내부 통신
        ┌───────────────────┼───────────────────┐
        ▼                   ▼                   ▼
   Worker Pod          Worker Pod          Worker Pod   (Deployment, replica N)
        └──── HPA 가 부하에 따라 replica 조절 ────┘
 
   카탈로그/설정: ConfigMap · Secret 으로 주입
   FTE 스풀: S3/GCS (exchange manager)

helm repo add trino https://trinodb.github.io/charts
helm repo update
 
# 기본 설치
helm install my-trino trino/trino --namespace trino --create-namespace

image:
  tag: "version-pin"   # 항상 버전을 고정. latest 금지
 
server:
  workers: 4
  config:
    query:
      maxMemoryPerNode: "12GB"
    # 공유 시크릿(내부 통신) — 실제로는 Secret 으로 주입
  coordinatorExtraConfig: |
    query.max-memory=80GB
  exchangeManager:
    name: filesystem        # FTE 용. 아래 7장 참고
 
coordinator:
  jvm:
    maxHeapSize: "16G"
  resources:
    requests:
      cpu: 4
      memory: 18Gi
    limits:
      memory: 18Gi
 
worker:
  jvm:
    maxHeapSize: "24G"
  resources:
    requests:
      cpu: 8
      memory: 28Gi
    limits:
      memory: 28Gi
  # 워커가 쿼리 중 죽지 않도록 graceful shutdown (아래 6장)
  terminationGracePeriodSeconds: 120
 
additionalCatalogs:
  iceberg: |
    connector.name=iceberg
    iceberg.catalog.type=rest
    iceberg.rest-catalog.uri=http://iceberg-rest:8181
    fs.native-s3.enabled=true
    s3.endpoint=https://s3.example.com
  postgresql: |
    connector.name=postgresql
    connection-url=jdbc:postgresql://pg:5432/crm
    connection-user=trino
    connection-password=${ENV:PG_PASSWORD}

컨테이너 memory limit  ≈  JVM maxHeapSize  +  헤드룸(보통 20~30%)
예) limit 28Gi  →  maxHeapSize 24G  (약 4Gi 헤드룸)

# 워커/코디네이터에 환경변수로 Secret 주입 (values.yaml)
worker:
  envFrom:
    - secretRef:
        name: trino-secrets
coordinator:
  envFrom:
    - secretRef:
        name: trino-secrets

kubectl create secret generic trino-secrets -n trino \
  --from-literal=PG_PASSWORD='***' \
  --from-literal=LDAP_BIND_PASSWORD='***'

# values.yaml
worker:
  autoscaling:
    enabled: true
    minReplicas: 3
    maxReplicas: 20
    targetCPUUtilizationPercentage: 70

# KEDA ScaledObject 예시 (개념)
triggers:
  - type: prometheus
    metadata:
      serverAddress: http://prometheus:9090
      query: trino_queued_queries        # 대기 쿼리 수
      threshold: "5"
  - type: cron                            # 업무시간 최소 보장
    metadata:
      start: "0 8 * * 1-5"
      end:   "0 20 * * 1-5"
      desiredReplicas: "8"

worker:
  # 진행 중 쿼리가 마무리될 시간. 워크로드의 최대 쿼리 시간보다 길게
  terminationGracePeriodSeconds: 300
  gracefulShutdown:
    enabled: true
    gracePeriodSeconds: 120

1. K8s 가 Pod 에 SIGTERM + preStop 훅 실행
2. 워커가 SHUTTING_DOWN 으로 전환 → 코디네이터가 새 태스크를 안 보냄
3. 진행 중 태스크 완료 대기
4. terminationGracePeriodSeconds 안에 종료

# values.yaml
server:
  config:
    retryPolicy: "TASK"        # 또는 QUERY
  exchangeManager:
    name: filesystem
    baseDir: "s3://trino-exchange/spool"

# exchange-manager.properties 로 생성됨
exchange-manager.name=filesystem
exchange.base-directories=s3://trino-exchange/spool

# 코디네이터는 안정적인 온디맨드 노드에, 워커는 스팟에
coordinator:
  nodeSelector:
    node-pool: on-demand
worker:
  nodeSelector:
    node-pool: spot
  tolerations:
    - key: "spot"
      operator: "Equal"
      value: "true"
      effect: "NoSchedule"
  # 워커를 여러 노드에 분산해 동시 소실 위험 분산
  topologySpreadConstraints:
    - maxSkew: 1
      topologyKey: kubernetes.io/hostname
      whenUnsatisfiable: ScheduleAnyway

serviceMonitor:        # Prometheus Operator 사용 시
  enabled: true
  labels:
    release: prometheus