Trino 관측성 — JMX 메트릭, Web UI, 그리고 느린 쿼리 진단

① JMX 메트릭        → Prometheus/Grafana 로 시계열·알림 (클러스터 건강)
② Web UI            → 실시간 쿼리·스테이지 분석 (단건 진단)
③ system 테이블     → SQL 로 현황·이력 조회 (자동화·리포트)
④ 이벤트 리스너     → 쿼리 시작/완료 이벤트 적재 (감사·장기 분석)

# Prometheus scrape 예시
scrape_configs:
  - job_name: trino
    metrics_path: /metrics
    static_configs:
      - targets: ['trino-coordinator:8080']

-- 클러스터 메모리 풀 상태를 SQL 로
SELECT node, freebytes, maxbytes
FROM jmx.current."trino.memory:name=general,type=memorypool";

-- 지금 실행/대기 중인 쿼리 (메모리 큰 순)
SELECT query_id, state, user, resource_group_id,
       total_memory_reservation, elapsed_time, query
FROM system.runtime.queries
WHERE state IN ('RUNNING', 'QUEUED')
ORDER BY total_memory_reservation DESC;
 
-- 활성 워커 노드
SELECT node_id, http_uri, node_version, state
FROM system.runtime.nodes;
 
-- 오래 도는 쿼리 찾기 (예: 10분 초과)
SELECT query_id, user, elapsed_time, query
FROM system.runtime.queries
WHERE state = 'RUNNING' AND elapsed_time > INTERVAL '10' MINUTE
ORDER BY elapsed_time DESC;

-- 폭주 쿼리 강제 종료
CALL system.runtime.kill_query(query_id => '20260605_120000_00001_abcde',
                               message => 'admin killed: runaway scan');

# etc/event-listener.properties
event-listener.name=...      # 예: HTTP, Kafka, 또는 커스텀 플러그인

-- 어제 가장 비싼(스캔량 많은) 쿼리 Top 20
SELECT user, scanned_bytes / 1e9 AS scanned_gb, elapsed_ms, query
FROM iceberg.audit.query_log
WHERE event_date = current_date - INTERVAL '1' DAY
ORDER BY scanned_bytes DESC
LIMIT 20;
 
-- 사용자/소스별 실패율 추세
SELECT user, count(*) AS total,
       count_if(state = 'FAILED') AS failed,
       count_if(state = 'FAILED') * 1.0 / count(*) AS fail_rate
FROM iceberg.audit.query_log
WHERE event_date >= current_date - INTERVAL '7' DAY
GROUP BY user
ORDER BY fail_rate DESC;

1. 클러스터 전체인가, 이 쿼리만인가?   → JMX 대시보드 (queued/메모리/워커 수)
        │ 전체 문제면 → 자원 부족·노드 장애 (증설/스케일/디스커버리 점검)
        │ 단건 문제면 ↓
2. 어느 스테이지가 병목인가?            → Web UI Query Detail (stage별 시간)
        │
3. 추정 vs 실제 행 수가 어긋나는가?     → EXPLAIN ANALYZE (통계 문제 → ANALYZE)
        │
4. 데이터 스큐인가?                      → Web UI splits (워커별 편차)
        │
5. spill 이 터지나?                      → Web UI Spilled Data (메모리 부족)
        │
6. pushdown/프루닝이 깨졌나?            → EXPLAIN (함수 래핑·통계)