Spoken Language Model을 위한 멀티모달 Jailbreak 최적화 연구

# SAMA (Sequential Approximation) 개념 구현 스케치
# Step 1: GCG로 텍스트 suffix 최적화 (오디오 없이)
import torch

def gcg_optimize(model, tokenizer, queries, target_responses, n_tokens=16, steps=1000):
    """
    텍스트 suffix를 gradient 기반으로 최적화
    오디오 입력 없이 순수 텍스트만 사용
    """
    suffix = torch.randint(0, tokenizer.vocab_size, (n_tokens,))
    best_suffix = suffix.clone()
    best_loss = float('inf')
    
    for step in range(steps):
        # 각 suffix 토큰 위치의 gradient 계산
        loss = compute_batch_loss(model, queries, target_responses, suffix)
        
        if loss < best_loss:
            best_loss = loss
            best_suffix = suffix.clone()
        
        # Top-K 후보 중 랜덤 교체 (GCG 핵심 로직)
        suffix = gcg_step(model, queries, target_responses, suffix, top_k=16, width=32)
    
    return best_suffix

# Step 2: 고정된 suffix에 오디오 perturbation 추가 (PGD)
def pgd_optimize(model, audio, fixed_suffix, queries, target_responses,
                 steps=1000, lr=0.01, eps=0.001):
    """
    GCG suffix를 고정한 채 오디오 perturbation만 최적화
    """
    delta = torch.zeros_like(audio).uniform_(-eps, eps)
    delta.requires_grad_(True)
    
    best_delta = delta.clone().detach()
    best_loss = float('inf')
    
    for step in range(steps):
        perturbed_audio = audio + delta
        loss = compute_batch_loss(
            model, queries, target_responses,
            suffix=fixed_suffix, audio=perturbed_audio
        )
        
        if loss.item() < best_loss:
            best_loss = loss.item()
            best_delta = delta.clone().detach()
        
        # 정규화된 gradient step
        grad = torch.autograd.grad(loss, delta)[0]
        grad_norm = grad / (grad.norm(2) + 1e-8)
        delta = delta - lr * grad_norm
        
        # epsilon 범위로 클리핑 (perceptual similarity 유지)
        delta = delta.clamp(-eps, eps).detach().requires_grad_(True)
    
    return best_delta

# SAMA 실행
best_suffix = gcg_optimize(model, tokenizer, queries, targets, n_tokens=16)
best_delta = pgd_optimize(model, base_audio, best_suffix, queries, targets)