멀티모달 AI 완전 가이드 - Vision, Audio, Video LLM

from openai import OpenAI
 
client = OpenAI()
 
# Whisper를 이용한 음성 인식
with open("meeting_recording.mp3", "rb") as audio_file:
    transcript = client.audio.transcriptions.create(
        model="whisper-1",
        file=audio_file,
        language="ko",
        response_format="verbose_json",
        timestamp_granularities=["segment"]
    )
 
for segment in transcript.segments:
    print(f"[{segment.start:.1f}s - {segment.end:.1f}s] {segment.text}")

# OpenAI TTS
response = client.audio.speech.create(
    model="tts-1-hd",
    voice="nova",
    input="안녕하세요, Data Dynamics 기술 지원입니다."
)
response.stream_to_file("output.mp3")

# GPT-4o Realtime API (WebSocket)
# 음성 입력 → 실시간 텍스트/음성 응답
# 지연시간: ~300ms (사람 대화 수준)

from openai import OpenAI
import base64
 
client = OpenAI()
 
# 로컬 이미지 분석
with open("architecture_diagram.png", "rb") as f:
    image_data = base64.standard_b64encode(f.read()).decode("utf-8")
 
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "이 아키텍처 다이어그램을 분석하고, 각 구성 요소의 역할을 설명하세요."},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_data}"}}
        ]
    }],
    max_tokens=1000
)
print(response.choices[0].message.content)

import anthropic
import base64
 
client = anthropic.Anthropic()
 
with open("chart.png", "rb") as f:
    image_data = base64.standard_b64encode(f.read()).decode("utf-8")
 
response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": [
            {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": image_data}},
            {"type": "text", "text": "이 차트의 데이터를 표로 정리하고 트렌드를 분석하세요."}
        ]
    }]
)
print(response.content[0].text)

import ollama
import base64
 
with open("screenshot.png", "rb") as f:
    image_data = base64.b64encode(f.read()).decode()
 
response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "이 스크린샷에서 에러 메시지를 찾아 원인을 분석해주세요.",
        "images": [image_data]
    }]
)
print(response["message"]["content"])

# 멀티모달 RAG: PDF에서 이미지 추출 후 VLM으로 설명 생성
from unstructured.partition.pdf import partition_pdf
 
elements = partition_pdf(
    filename="quarterly_report.pdf",
    strategy="hi_res",
    extract_images_in_pdf=True,
    extract_image_block_output_dir="./extracted_images"
)
 
# 이미지 요소에 대해 VLM으로 설명 생성
for element in elements:
    if element.category == "Image":
        description = vision_llm.describe_image(element.image_path)
        # 설명을 텍스트로 변환하여 벡터 DB에 저장
        vectorstore.add_texts([description], metadatas=[{"type": "image", "source": element.image_path}])

# 이미지로 유사 상품 검색
def visual_product_search(image_path: str, top_k: int = 5):
    # 1. 이미지 임베딩 생성 (CLIP)
    image_embedding = clip_model.encode_image(image_path)
    
    # 2. 벡터 DB에서 유사 상품 검색
    results = vectorstore.similarity_search_by_vector(
        image_embedding, k=top_k
    )
    
    return results