Chaos & Red Team

Chaos와 Red Team

장애를 주입해 복원력을, 적대적 입력을 주입해 방어력을 사전 검증

5가지 Chaos 전략

에이전트의 복원력을 체계적으로 검증하는 장애 주입 패턴

ChaosExperiment 적용

에이전트에 Chaos 주입을 설정하는 코드 패턴

핵심 포인트

ChaosCase(effects=)

tool_effects로 도구별 장애 효과 지정 — 툴당 케이스별 효과 1개

Timeout · NetworkError · TruncateFields

strands_evals.chaos.effects가 제공하는 장애 효과

ChaosPlugin()

파라미터 없이 Agent의 plugins로 주입

ChaosExperiment

장애 환경에서 Case 일괄 실행 — 에이전트의 복원 행동 관찰

코드

from strands import Agent
from strands_evals.chaos import ChaosCase, ChaosExperiment, ChaosPlugin
from strands_evals.chaos import Timeout, NetworkError

chaos_case = ChaosCase(
    name="weather-under-failure",
    input="서울 날씨를 알려줘",
    # 툴당 케이스별 효과 1개 제한 — 도구별로 타깃을 나눠 주입
    effects={"tool_effects": {
        "get_weather": [Timeout()],
        "http_request": [NetworkError()],
    }},
)

agent = Agent(
    model="us.anthropic.claude-sonnet-4-6",
    tools=[http_request, get_weather],
    plugins=[ChaosPlugin()],
)

results = ChaosExperiment(cases=[chaos_case]).run_evaluations()

Red Team 파이프라인

적대적 입력으로 에이전트 방어력을 사전 검증하는 5단계 프로세스

1. 1
   공격 시나리오 정의

   탈옥·프롬프트 인젝션·데이터 유출 등 검증할 공격 시나리오를 구체화. RedTeamExperiment(experimental)가 파이프라인 골격을 제공.

2. 2
   적대적 Case 생성

   AdversarialCaseGenerator가 Crescendo · GOAT · PAIR · BadLikertJudge · SequentialBreak 전략으로 적대적 입력을 자동 생성.

3. 3
   에이전트 실행

   적대적 입력을 에이전트에 주입. Guardrails, System Prompt 방어, 도구 접근 제어가 정상 작동하는지 관찰.

4. 4
   사후 진단

   detect_failures · analyze_root_cause · diagnose_session이 세션을 사후 분석. DiagnosisConfig(trigger=DiagnosisTrigger.ON_FAILURE, confidence_threshold=ConfidenceLevel.MEDIUM)로 실패 시 자동 진단.

5. 5
   취약점 리포트

   공격 성공률, 방어 우회 패턴, 미감지 케이스를 리포트로 정리. 보안 패치 우선순위 결정에 활용.