GPT-3 Large Language Model을 활용한 다양한 코드 설명 생성

Generating Diverse Code Explanations using the GPT-3 Large Language Model

Jan 1, 2022•Stephen MacNeil, Andrew Tran, Dan Mogil +3•View PDF

TL;DR Highlight

GPT-3로 하나의 코드 스니펫에 대해 여러 관점의 자연어 설명을 자동 생성하는 방법을 분석한 연구

Who Should Read

프로그래밍 교육 플랫폼을 개발하거나, LLM을 활용해 코드 설명/튜터링 기능을 만들려는 에듀테크 개발자. 코드 리뷰나 문서화 자동화에 AI를 도입하려는 백엔드 개발자에게도 유용.

Core Mechanics

GPT-3 하나로 동일한 코드 스니펫에 대해 실행 흐름, 용어 정의, 힌트 등 여러 관점의 설명을 자동 생성 가능
기존 자동 설명 시스템들은 수동 설정이 필요하고 한 가지 측면만 설명하는 한계가 있었음
코드 교육에서 AI 설명의 설계 공간(design space)을 세 가지 use case로 정리해 체계화
Github Copilot처럼 코드를 생성하는 방향이 아닌, 학습자를 위한 코드 이해 지원에 LLM을 활용하는 방향에 집중
다양한 설명 방식을 하나의 모델로 커버해 초보 프로그래머 교육의 확장성 문제를 해결 가능성 제시

Evidence

논문이 포스터 형식으로 발표되어 정량적 벤치마크 수치는 공개되지 않음
기존 시스템 대비 GPT-3의 다양한 설명 생성 능력을 3가지 use case 기반의 정성적 분석으로 제시

How to Apply

코드 튜터링 챗봇을 만들 때 동일한 코드에 대해 '실행 흐름 설명', '초보자용 용어 정의', '다음 단계 힌트' 등 역할별로 다른 프롬프트를 설계해 사용자 레벨에 맞는 설명을 선택 제공
코드 리뷰 자동화 도구에서 GPT-3/GPT-4에 코드 스니펫을 넣고 '보안 관점', '성능 관점', '가독성 관점' 등 여러 측면의 설명을 각각 요청해 다각도 피드백 생성
교육용 플랫폼에서 학생이 코드를 제출하면 LLM이 에러 원인 설명 → 수정 힌트 → 개념 정의 순으로 단계별 설명을 자동 생성하는 파이프라인 구축

Code Example

snippet

import openai

code_snippet = """
for i in range(5):
    print(i * 2)
"""

explanation_types = {
    "execution_trace": "Explain step-by-step what happens when this Python code runs, including the value of each variable at each step:",
    "term_definition": "Define the key programming terms and concepts used in this Python code in simple language for a beginner:",
    "hint": "Give a helpful hint about what this Python code does without giving away the full answer, suitable for a student learning to code:"
}

def generate_code_explanation(code, explanation_type):
    prompt = f"{explanation_types[explanation_type]}\n\n{code}"
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",  # 또는 gpt-4
        messages=[
            {"role": "system", "content": "You are a helpful programming tutor."},
            {"role": "user", "content": prompt}
        ],
        max_tokens=300
    )
    return response.choices[0].message.content

# 세 가지 관점의 설명 생성
for etype in explanation_types:
    print(f"=== {etype} ===")
    print(generate_code_explanation(code_snippet, etype))
    print()

Terminology

LLMLarge Language Model의 약자. GPT처럼 엄청난 양의 텍스트로 학습해 자연어를 이해하고 생성하는 대형 AI 모델.

GPT-3OpenAI가 만든 대형 언어 모델. 텍스트를 주면 그럴듯한 텍스트를 이어 생성하는 능력이 뛰어나 다양한 NLP 작업에 활용됨.

design space어떤 문제를 해결하기 위해 선택 가능한 방법들의 전체 범위. 여기서는 AI가 코드를 설명할 수 있는 방식들의 집합.

code snippet전체 프로그램이 아닌, 특정 기능을 보여주는 짧은 코드 조각.

Github CopilotGitHub과 OpenAI가 만든 AI 코드 자동완성 도구. 코멘트나 함수명을 보고 코드를 자동으로 생성해줌.

Original Abstract (Expand)

Good explanations are essential to efficiently learning introductory programming concepts [10]. To provide high-quality explanations at scale, numerous systems automate the process by tracing the execution of code [8, 12], defining terms [9], giving hints [16], and providing error-specific feedback [10, 16]. However, these approaches often require manual effort to configure and only explain a single aspect of a given code segment. Large language models (LLMs) are also changing how students interact with code [7]. For example, Github's Copilot can generate code for programmers [4], leading researchers to raise concerns about cheating [7]. Instead, our work focuses on LLMs' potential to support learning by explaining numerous aspects of a given code snippet. This poster features a systematic analysis of the diverse natural language explanations that GPT-3 can generate automatically for a given code snippet. We present a subset of three use cases from our evolving design space of AI Explanations of Code.