LLM 코드 어시스턴트의 보안 함의: 사용자 연구

Who Should Read

AI 코드 어시스턴트(Copilot, Cursor 등)를 팀에 도입했거나 도입을 검토 중인 개발팀 리더 또는 보안 담당자. 프로덕션 코드에 LLM 자동완성을 쓰는 백엔드/풀스택 개발자.

Core Mechanics

• AI 코드 어시스턴트를 사용한 개발자는 사용하지 않은 그룹보다 보안 취약점이 있는 코드를 더 많이 작성하는 경향이 있음
• AI 어시스턴트 사용자들은 자신이 작성한 코드가 더 안전하다고 과신하는 경향(보안 자신감 과잉) 발견
• SQL 인젝션, 버퍼 오버플로우 같은 고전적인 CWE(Common Weakness Enumeration, 공통 취약점 분류) 항목들이 AI 생성 코드에서 반복적으로 나타남
• LLM이 기능적으로는 동작하는 코드를 생성하지만, 보안 모범 사례(입력 검증, 암호화 처리 등)는 빠뜨리는 경우가 많음
• 개발자들이 AI 제안 코드를 그대로 수용하는 비율이 높아, 취약한 코드가 리뷰 없이 코드베이스에 유입될 위험이 큼

Evidence

• AI 어시스턴트 사용 그룹이 미사용 그룹 대비 더 높은 비율의 보안 취약 코드를 제출 (구체적 수치는 논문 본문 참조 필요)
• 사용자 연구 참가자의 상당수가 자신의 AI 보조 코드를 '안전하다'고 평가했으나, 실제 보안 감사 결과는 반대였음
• 생성된 코드 샘플 중 다수에서 OWASP Top 10에 해당하는 취약점 패턴이 발견됨

How to Apply

• AI 코드 어시스턴트를 CI/CD 파이프라인에 통합할 때, 반드시 Semgrep·Bandit·CodeQL 같은 SAST(정적 분석 도구)를 함께 추가해 AI 생성 코드도 자동 스캔하도록 설정하면 위험을 줄일 수 있음
• 코드 리뷰 체크리스트에 'AI 어시스턴트가 제안한 코드인지'를 명시하고, 보안 민감 영역(인증, DB 쿼리, 파일 I/O)에서는 AI 제안을 그대로 머지하지 않는 팀 규칙을 만들면 실질적 방어가 됨
• AI 코드 생성 프롬프트 자체에 '보안 요구사항'을 명시하는 습관을 들이면 취약점 발생률을 낮출 수 있음. 예: '입력 검증 포함, SQL 파라미터 바인딩 사용, 에러 메시지에 스택 트레이스 노출 금지'

Code Example

# AI 코드 어시스턴트 사용 시 보안 강화 프롬프트 예시

# ❌ 취약한 프롬프트 (기능만 요청)
'''
사용자 ID로 DB에서 유저 정보를 조회하는 함수 작성해줘
'''

# ✅ 보안 의식적 프롬프트
'''
사용자 ID로 DB에서 유저 정보를 조회하는 Python 함수를 작성해줘.
반드시 다음을 포함해:
- SQL 인젝션 방지를 위한 파라미터 바인딩 (절대 문자열 포맷팅 금지)
- 입력값 타입 및 범위 검증
- DB 에러 시 내부 정보 노출 없이 안전한 예외 처리
- 반환 전 민감 필드(password_hash 등) 제거
'''

# CI/CD에 Bandit SAST 추가 예시 (GitHub Actions)
# .github/workflows/security.yml
'''
steps:
  - name: Run Bandit Security Scan
    run: |
      pip install bandit
      bandit -r ./src -ll -ii -f json -o bandit-report.json
  - name: Upload Security Report
    uses: actions/upload-artifact@v3
    with:
      name: bandit-security-report
      path: bandit-report.json
'''

Terminology