엔터프라이즈 AI 전략

도입 현황과 과제

시장 데이터 · 실패 원인 · 성공 조건

PART 1 · 도입 현황

도입 현황과 과제

빠른 도입, 어려운 프로덕션 전환

도입과 프로덕션 사이의 간극

Deloitte 2026 데이터가 보여주는 현재 위치와, 대부분의 기업이 파일럿에서 멈추는 이유를 짚습니다.

34% — AI 심층 변혁 착수
74% — 2027년까지 에이전트 활용 예상
3대 장벽 — 인프라 · 인력 · 거버넌스

takeaway

PoC에서 멈추지 않으려면 기술만으로는 부족합니다 — 인프라 · 인력 · 거버넌스를 함께 설계해야 합니다.

PART 1 · 도입 현황

엔터프라이즈 AI 현재 위치

빠른 도입, 어려운 프로덕션 전환 — Deloitte 2026이 보여주는 간극

34% 기업이 AI 심층 변혁에 착수 — 신제품·프로세스·비즈니스 모델

74% 2027년까지 AI 에이전트를 보통 이상으로 활용 예상

25% AI 실험의 40%+를 프로덕션으로 전환한 기업 비율

takeaway

기대(74%)와 실행(25%)의 간극이 엔터프라이즈 AI 전략의 출발점입니다 — 이 간극을 만드는 원인이 다음 슬라이드입니다.

PART 1 · 도입 현황

PoC → 프로덕션 3대 장벽

대부분의 기업이 파일럿에서 멈추는 3가지 근본 원인

인프라 부족

GPU 확보 어려움, 스케일링 미설계, 비용 예측 실패 → 관리형 서비스(Bedrock/AgentCore)로 해결

인력 부재

AI 엔지니어 채용 경쟁, 기존 팀 역량 갭, 교육 부재 → CoE(AI Center of Excellence) + Enablement 전략

거버넌스 미흡

보안 정책 부재, 컴플라이언스 미충족, 책임 소재 불명 → 표준 + 가드레일

takeaway

인프라는 관리형 서비스로, 인력은 CoE + Enablement로, 거버넌스는 표준 + 가드레일로 대응합니다 — 뒤 파트들이 이 순서를 따릅니다.

레퍼런스 아키텍처

단일 에이전트 · Supervisor · 실시간 스트리밍

PART 2 · 아키텍처

규모별 3가지 패턴

워크로드 복잡도에 따라 표준 아키텍처 선택

단일 에이전트

소규모·명확한 도메인

✓ Bedrock + S3 + DynamoDB
✓ 빠른 구축, 낮은 운영 복잡도
✗ 도메인 확장 시 프롬프트 비대화

언제 — FAQ 봇, 문서 검색, 단순 자동화

Supervisor 멀티에이전트

중규모·다중 도메인

✓ 전문 에이전트 분업 + 상위 조율
✓ 도메인별 독립 개선 가능
✗ 오케스트레이션 복잡도 증가

언제 — 사내 헬프데스크, ERP 자동화

실시간 스트리밍

음성·영상

✓ WebRTC + Nova Sonic + AgentCore
✓ TTFA 평균 1.09초 (Nova Sonic)
✗ 인프라 비용 높음

언제 — 고객 상담, 실시간 코칭

takeaway

워크로드 복잡도가 아키텍처를 결정합니다 — 명확한 단일 도메인에 멀티에이전트를 먼저 꺼내지 않습니다.

PART 2 · 아키텍처

Supervisor 아키텍처 예시

실제 사내 헬프데스크를 Supervisor 패턴으로 구성한 예

takeaway

Supervisor가 질문을 분석해 도메인별 전문 에이전트에 위임합니다 — 도메인마다 독립적으로 개선할 수 있는 구조가 됩니다.

PART 2 · 아키텍처

아키텍처 선택 기준

복잡도와 응답 시간 요구사항으로 결정

기준	단일 에이전트	Supervisor	실시간
에이전트 수	1	3~10	2~5
도메인	1개	다중	1~2개
응답 시간	수 초	수 초~수십 초	1초대
인프라 비용	낮음	중간	높음
구현 복잡도	★	★★★	★★★★

takeaway

판단 축은 도메인 수와 응답 시간입니다 — 복잡도가 낮은 패턴에서 시작해 필요할 때 확장합니다.

멀티 테넌시와 거버넌스

격리 전략 · Shadow AI · 태그 전략

PART 3 · 멀티 테넌시

멀티 테넌시와 거버넌스

팀별 워크로드 분리와 통제 밖 AI 사용 대응

안에서는 격리, 밖에서는 Shadow AI

팀·부서별 워크로드는 규제 수준에 맞는 격리 전략으로 분리하고, 승인되지 않은 외부 AI 사용은 대응 전략으로 다스립니다.

격리 3전략 — 강(계정) · 중(IAM+태그) · 약(네임스페이스)
Shadow AI — 데이터 유출 · 컴플라이언스 위반
대응 — 승인 플랫폼 + 차단 + 교육 + UX

takeaway

격리는 규제 수준에 맞게 고르고, Shadow AI는 차단만이 아니라 더 좋은 내부 대안 제공으로 대응합니다.

PART 3 · 멀티 테넌시

3가지 격리 전략

팀·부서별 AI 워크로드를 규제 수준에 맞게 분리

전략	격리 수준	구현	적합
강격리	계정 분리	Organizations + 계정별 Bedrock	금융·의료 (규제 산업)
중격리 (권장)	IAM + 태그	단일 계정 + 리소스 태깅 + SCP	일반 기업 대부분
약격리	네임스페이스	단일 계정 + 접두사 규칙	스타트업·PoC

takeaway

규제 산업은 계정 분리 강격리, 일반 기업 대부분은 IAM + 태그 중격리가 권장입니다.

PART 3 · 멀티 테넌시

Shadow AI 문제와 대응

승인되지 않은 외부 AI 도구를 직원이 개인적으로 사용하는 현상

Shadow AI 위험

데이터 유출 — 외부 LLM에 사내 정보 입력
컴플라이언스 위반 — 미승인 도구 사용
품질 미보장 — 환각 기반 의사결정
비용 추적 불가 — 개인 결제

대응 전략

승인된 AI 플랫폼 제공 (Bedrock + Kiro)
DNS/방화벽으로 미승인 AI 서비스 차단
사용 정책 교육 + 인센티브
내부 AI 도구의 UX를 외부보다 좋게

takeaway

차단만으로는 부족합니다 — 내부 AI 도구의 UX가 외부보다 좋아야 Shadow AI가 사라집니다.

PART 3 · 멀티 테넌시

유출의 순간 — 개인 챗봇에 계약서 붙여넣기

입력하는 사람에겐 그저 요약 요청 — 조직에는 회수 불가능한 반출

chat.free-ai.example — 개인 무료 계정 (미승인)

이 계약서 요약해줘 👇
[대외비] 2026 공급계약서_v3.docx
단가 ₩1,240/unit · 위약금 조항 §7.2
고객 담당: 김민준 010-2345-6789

이 순간 벌어지는 일

대외비·PII가 외부 LLM 서버로 전송 — DLP·CloudTrail 감사 로그 바깥, 회수 불가

개인 결제 — 비용·사용량 추적 불가, 미승인 도구 컴플라이언스 위반

보안과 비용 가드레일

프롬프트 인젝션 다층 방어 · 조직 수준 비용 통제 4종

PART 4 · 가드레일

보안과 비용 가드레일

공격은 계층으로 막고, 비용은 조직 수준에서 통제

보안도 비용도 단일 방어선 금지

프롬프트 인젝션은 입력부터 실행까지 다층 방어로, 비용은 조직 수준 4가지 메커니즘으로 겹겹이 통제합니다.

다층 방어 — Guardrails · Cedar · IAM · 모니터링
비용 통제 4종 — IAM 귀속 · SCP · Budget Actions · 태그
에이전트 수준 억제는 비용 최적화 모듈

takeaway

보안은 입력부터 실행까지 다층 방어로, 비용은 조직 수준 4가지 메커니즘으로 통제합니다.

PART 4 · 가드레일

프롬프트 인젝션 방어 계층

단일 방어선 금지 — 입력부터 실행까지 다층 방어

Guardrails Prompt Attack

입력 시점에 악성 프롬프트 탐지·차단 (Content Filters HIGH)

Cedar 정책

도구 접근 제어 — 에이전트가 허용된 도구만 호출 가능

IAM 최소 권한

인프라 수준에서 API Action과 Resource 범위 제한

모니터링·알람

이상 패턴(루프 급증, 비정상 도구 호출) 실시간 탐지

takeaway

한 계층이 뚫려도 다음 계층이 막습니다 — Guardrails · Cedar · IAM · 모니터링을 겹쳐 쌓는 것이 방어 설계입니다.

PART 4 · 가드레일

엔터프라이즈 비용 거버넌스

조직 수준에서 비용을 통제하는 4가지 메커니즘

1
IAM Principal 비용 귀속
팀/에이전트별 비용을 IAM 역할로 자동 분류 — Cost Explorer에서 팀별 시각화
2
Service Control Policy
Organizations SCP로 허용 모델·리전·Action을 조직 수준에서 강제
3
Budget Actions
팀별 월 예산 설정 — 임계값 도달 시 SNS 알림 + IAM 정책 적용으로 추가 호출 제한
4
태그 전략
application inference profile에 비용 할당 태그를 부착해 워크로드별 비용 추적

takeaway

개별 에이전트 수준의 폭증 억제(maxIterations · 컨텍스트 관리 · 모델 라우팅)는 비용 최적화 모듈에서 다룹니다 — 여기서는 조직 수준 통제에 집중합니다.

AI CoE와 성숙도 모델

조직 구성 · Platform Team · 4단계 성숙도

PART 5 · AI CoE

AI CoE와 성숙도

표준을 만드는 조직과 성장을 재는 척도

CoE가 표준을, 각 팀이 실행을

Platform · Enablement · Governance 3팀이 전사 표준을 만들고, 4단계 성숙도 모델로 분기별 목표를 측정합니다.

CoE 3팀 — Platform · Enablement · Governance
4단계 성숙도 — 실험 → 표준화 → 최적화 → 혁신
분기별 목표 설정과 측정

takeaway

CoE가 전사 표준을 만들고 각 팀이 그 위에서 실행할 때, 확산과 통제가 함께 갑니다.

PART 5 · AI CoE

AI Center of Excellence 구성

CoE가 전사 표준을 만들고, 각 팀이 표준 위에서 실행

takeaway

세 팀은 각자 다른 축을 맡습니다 — 인프라 · 역량 · 안전이 함께 가야 전사 확산이 됩니다.

PART 5 · AI CoE

4단계 성숙도 모델

실험에서 혁신까지 — 분기별 목표를 설정하고 측정

takeaway

실험에서 혁신까지 분기별 목표를 설정하고 측정하며 단계적으로 올라갑니다 — 표준화가 최적화와 혁신의 토대입니다.

PART 5 · AI CoE

엔터프라이즈 AI 성공 공식

PoC에서 멈추지 않기 위한 세 축 — 기술(플랫폼) · 조직(CoE) · 거버넌스(정책)

PoC에서 멈추지 않는 기업이 이긴다

기술(플랫폼) + 조직(CoE) + 거버넌스(정책) — 엔터프라이즈 AI의 성공 공식입니다.

플랫폼 — Bedrock · AgentCore
조직 — AI CoE 3팀
거버넌스 — 격리 · 가드레일 · 비용 통제