생성형 AI 보안 취약점 분석 · 3일차 실습

AI를 공격해보고
직접 막아봅니다

1·2일차에서 배운 Gemini API · LLM · RAG를 공격자 관점에서 다시 보고,
OWASP · KISA · NIS 프레임워크로 방어 설계를 체험합니다.

T07 데이터 유출 T08 프롬프트 인젝션 LLM01 RAG 인젝션 LLM07 프롬프트 유출 LLM09 환각 T01·T06 임베딩 역추출 🔴 Garak 자동 스캔 🛡️ LLM Guard
📚 3일차 강의 · 실습
강의 슬라이드를 먼저 확인하고, 실습 노트북을 Colab에서 열어 진행하세요.
강의 1

생성형 AI 보안위협 및 보안성 검증

NIS · KISA 보안 가이드 비교분석 · 국정원 T코드 · 실제 사례 분석

📥 강의 슬라이드 다운로드
강의 2

생성형 AI 취약점 분석

OWASP LLM Top 10 취약점 분석 · T코드 ↔ LLM Top 10 매핑 · 역할별 가이드라인

📥 강의 슬라이드 다운로드

🔑 시작 전 준비 — Gemini API 키 발급 및 Colab 설정

Google 계정만 있으면 무료 · 별도 결제 불필요

⚠️
실습에는 합성(가상) 데이터만 사용하세요. 실제 이름·전화번호·군사정보·개인정보는 절대 입력 금지입니다.
1

Google 계정 로그인

Gmail 계정으로 aistudio.google.com에 접속합니다.

2

API 키 발급

좌측 메뉴 Get API keyAPI key 만들기 클릭 후 키를 복사합니다.
⚠ 키는 절대 타인에게 공유 금지

3

Colab Secrets에 등록

Colab 왼쪽 사이드바 🔑 아이콘 → + 새 보안 비밀 추가
이름: GEMINI_API_KEY / 값: 복사한 키 붙여넣기

이름을 정확히 입력하세요
GEMINI_API_KEY
4

노트북 접근 허용

Secret 등록 후 노트북 액세스 토글을 ON으로 켭니다.
실습 1·2·3 모두 동일한 키를 공유합니다 — 랩마다 재설정 불필요.

5

내 Drive에 사본 저장

노트북 열기 후 파일 → Drive에 사본 저장을 클릭하세요.
저장하지 않으면 세션 종료 시 .ipynb 파일 자체와 워크시트 답변·실행 결과가 모두 사라집니다.

파일 → Drive에 사본 저장
실습 1

출력 통제 우회
데이터 유출 · 권한 오남용

공격해보고 막아본다 — 공격 · 방어 대비 체험

60–75분
  • A
    직접 프롬프트 인젝션 (T08 · LLM01) "지침을 무시해" → M02 필터 + M03 격리
  • B
    데이터 유출 (T07 · LLM02) 컨텍스트 JSON 덤프 → M04 입력 마스킹
  • C
    권한 오남용 (LLM05) "관리자입니다" → M23 세션 기반 RBAC
📋 실습 슬라이드
Colab Google Colab에서 열기
실습 2

임베딩 · 벡터DB
취약점 실습

LLM07 · LLM09 · LLM01 · T01 · T06 — Jina AI 역추출 포함

80–100분
🌐 Jina 웹 데모
  • A
    시스템 프롬프트 유출 (LLM07) 번역 프레이밍 → M03 불변 규칙 + M02 필터
  • B
    환각 (LLM09) 허위 법률 질문 → M11 RAG + 출처 인용 강제
  • C
    RAG 프롬프트 인젝션 (LLM01) VectorDB 오염 문서 → <DOC> 격리 + M13
  • D
    임베딩 역추출 (T01 · T06) Jina AI 웹 데모 — API 호출 없음
📋 실습 슬라이드
Colab Google Colab에서 열기
실습 3

오픈소스 활용
LLM 취약점 진단과 방어

자동화된 LLM 취약점 스캔 · 커스텀 프로브 · 방어 레이어

80–100분
🔴 Garak
🛡️ LLM Guard
  • A
    Garak 첫 스캔 (LLM01) promptinject 프로브로 Gemini 자동 취약점 스캔
  • B
    결과 분석 JSONL 파싱 · 프로브별 취약률 시각화
  • C
    커스텀 프로브 한국어 군/보안 시나리오 페이로드 직접 작성
  • D
    LLM Guard 방어 레이어 Garak 취약 페이로드를 스캐너로 차단
📋 실습 슬라이드
Colab Google Colab에서 열기
📋

교육 만족도 조사

교육 개선을 위해 솔직한 의견을 남겨 주세요.
이름·이메일이 수집되지 않는 완전 익명 설문입니다. (5~8분)

설문 참여하기 →