HIL-BENCH: AI 에이전트는 언제 도움을 요청해야 할지 알고 있을까?

# HIL-BENCH ask_human() 도구 및 ASK-F1 계산 예시

def ask_human(question: str) -> str:
    """
    에이전트가 불확실한 정보를 만났을 때 호출하는 도구.
    Llama-3.3-70B-Instruct가 시맨틱 판정을 수행하여
    등록된 blocker에 해당하면 해결책을 반환, 아니면 'irrelevant question' 반환.
    """
    # 실제 구현에서는 blocker registry와 시맨틱 매칭
    pass

def compute_ask_f1(questions: list[str], blockers: list[str], ask_human_fn) -> dict:
    """
    ASK-F1 계산: Precision x Recall 조화평균
    
    Args:
        questions: 에이전트가 던진 질문 목록
        blockers: 태스크에 등록된 blocker 목록
        ask_human_fn: ask_human 도구 함수
    """
    relevant_questions = set()
    addressed_blockers = set()
    
    for q in questions:
        response = ask_human_fn(q)
        if response != 'irrelevant question':
            relevant_questions.add(q)
            # 어떤 blocker를 해결했는지 추적
            # (실제 구현에서는 blocker ID 매핑 필요)
            addressed_blockers.add(response)
    
    precision = len(relevant_questions) / len(questions) if questions else 0
    recall = len(addressed_blockers) / len(blockers) if blockers else 0
    
    ask_f1 = (2 * precision * recall / (precision + recall)
              if (precision + recall) > 0 else 0)
    
    return {
        'precision': precision,
        'recall': recall,
        'ask_f1': ask_f1,
        'relevant_questions': len(relevant_questions),
        'addressed_blockers': len(addressed_blockers)
    }

# RLVR 보상 함수 설계
def compute_reward(question: str, is_relevant: bool, is_duplicate: bool,
                   blockers_discovered: int, total_blockers: int,
                   is_terminal: bool) -> float:
    """HIL-BENCH 논문의 shaped reward 구현"""
    reward = 0.0
    
    # Per-step reward: 질문 정밀도 유도
    if is_relevant and not is_duplicate:
        reward += 0.3   # 관련 blocker 적중
    elif not is_relevant or is_duplicate:
        reward -= 0.1   # 무관하거나 중복 질문 페널티
    
    # Terminal reward: blocker 재현율 유도
    if is_terminal and blockers_discovered >= 1:
        reward += blockers_discovered / total_blockers
    
    return reward