AI Engineer 커리어 완전 가이드 — 주니어에서 프린시플까지: 레벨·면접·포트폴리오·연봉·원격·10년 뒤 진화까지 2025-2026년 총정리

“Your career is your most important product. Treat it like one.” — Reid Hoffman

지난 글 [AI Engineering 프로덕션 실전]에서 어떻게 만드는가를 다뤘다. 이제는 내가 어떻게 성장하는가의 차례다.

AI Engineer는 2023년 Chip Huyen이 정의한 이후 2024~2025년 급속히 형성된 직군이다. 전통 ML Engineer 경로는 박사·논문 중심이었지만, AI Engineer는 SWE 배경으로도 진입 가능한 새 트랙이다. 단, 커리어 지도는 아직 표준화되지 않았다. 이 글은 그 지도를 직접 그린다.

대상 독자:

• 주니어 AI Engineer로 방금 진입했거나 전환 중인 사람.
• 시니어 백엔드·풀스택에서 AI Engineer로 피벗 고민 중인 사람.
• Staff/Principal 트랙 진입을 준비하는 시니어.

목차

1. AI Engineer 레벨 프레임워크 — L3~L8
2. 주니어(L3~L4) — 0→3년: 기초 다지기
3. 시니어(L5) — 3→6년: 시스템 설계
4. 스태프(L6) — 6~10년: 조직적 영향
5. 프린시플(L7~L8) — 기술 전략
6. ML Engineer 트랙 vs AI Engineer 트랙
7. 면접 구조 분석 — 2025년 기준
8. 포트폴리오 전략 — 5가지 패턴
9. 연봉과 보상 — 국내·미국·원격 비교
10. 원격·해외 취업 전략
11. AI Engineer의 10년 뒤 — 5가지 시나리오
12. 체크리스트와 안티패턴

1. AI Engineer 레벨 프레임워크

1.1 회사별 레벨 비교

1.2 AI Engineer 역량 축 5가지

1. Technical depth — LLM·RAG·Agent 시스템 내부 이해.
2. System design — 대규모 프로덕션 아키텍처.
3. Product sense — 사용자·비즈니스 연결.
4. Communication — 기술 글·발표·교차팀.
5. Leadership — 멘토링·의사결정·조직 영향.

레벨이 올라갈수록 Technical depth만 키우는 것이 아니라, 나머지 4가지가 지수적으로 중요해진다.

2. 주니어(L3~L4) — 0→3년: 기초 다지기

2.1 기대 역량

• 주어진 명확한 태스크를 혼자 구현.
• 코드 리뷰를 적극 받고, 반영.
• Prompt·RAG·간단한 agent 구현 능력.
• Python·Git·Docker·클라우드 기초.

2.2 꼭 해야 할 것

1. LLM API 10가지 기능 직접 구현: chatbot, RAG, agent, tool use, structured output, streaming, function calling, embeddings, reranking, evals.
2. 오픈소스 학습: LangChain, LlamaIndex, vLLM 내부 코드 읽기.
3. 논문 읽기 습관: 주 1편. GPT-3, Chinchilla, Constitutional AI, DPO, RAG.
4. Eval 문화 체득: 첫 프로덕션 경험에서 eval을 꼭 구축해볼 것.

2.3 하지 말아야 할 것

• "LLM 랩퍼만 쓰기" — 내부 동작 모르고 사용.
• GPU·수학 완전 회피 — 최소한 선형대수·확률은 이해.
• 한 프레임워크에 의존 — LangChain만, OpenAI만.
• solo 학습만 고집 — PR 리뷰·페어 프로그래밍 기회 놓치기.

2.4 3년 차에 증명할 것

• 최소 1개 프로덕션 LLM 기능을 0→1로 배포.
• 기술 블로그 포스트 3~5편.
• 오픈소스 PR 3개 이상 (작더라도).

3. 시니어(L5) — 3→6년: 시스템 설계

3.1 기대 역량

• 0→1 설계: 요구사항 → 아키텍처 → 구현 → 운영 전체.
• 교차팀 조율: PM·Design·Data·Infra.
• 주니어 멘토링: 코드 리뷰·onboarding·페어.
• 트레이드오프 결정: RAG vs fine-tuning, 벤더 선택, 비용·품질 균형.

3.2 시니어 면접에서 묻는 것

1. Design review — "월 1000만 쿼리를 받는 문서 Q&A 시스템을 설계하라."
2. Incident — "prod에서 LLM이 환각 답변을 했을 때 어떻게 대응?"
3. Cost — "월 $100K 청구서를 $20K로 줄이는 방법."
4. Eval strategy — "새 모델을 prod에 넣기 전 eval을 어떻게 구성?"

3.3 시니어가 놓치는 흔한 실수

• 너무 기술에만 몰입 — 비즈니스 임팩트 연결 약함.
• 문서화 부족 — 머릿속에만 있는 설계.
• 승진 정치 무관심 — 성과 가시화 실패.
• 학습 정체 — 첫 프로덕트 성공에 안주.

3.4 스태프로 가는 준비

• Design Doc·RFC 3~5편 작성.
• 회사 차원 문제 1개 주도: 예) 전사 LLM gateway 플랫폼.
• 외부 가시성: 컨퍼런스 발표, 기술 블로그.

4. 스태프(L6) — 6~10년: 조직적 영향

4.1 기대 역량 — Tanya Reilly의 4가지

Tanya Reilly 『The Staff Engineer's Path』에서:

1. Big-picture thinking — 조직·산업 지형 이해.
2. Execution — 애매한 문제를 성과로.
3. Leveling up — 주변을 성장시킴.
4. Influence without authority — 직접 지휘 없이도 변화.

4.2 스태프 AI Engineer의 일

• 전사 AI 전략 수립에 관여.
• 플랫폼 설계: Eval·Prompt·MCP 등 공통 인프라.
• 복잡한 incident lead: 여러 팀 영향.
• 채용·hiring committee: 레벨 평가.
• 후배 역량 배가: 5명을 2x로 만들면 10x 효과.

4.3 스태프 archetype (Will Larson 『Staff Engineer』)

1. Tech Lead — 팀 단위 기술 리더.
2. Architect — 아키텍처 중심.
3. Solver — 회사가 풀지 못한 문제를 전담.
4. Right Hand — 임원의 기술 파트너.

AI Engineer에서 가장 흔한 건 Tech Lead + Solver 하이브리드.

4.4 스태프가 중요하게 다뤄야 할 것

• 기술 부채 vs 새 기능 균형.
• Build vs Buy: Weaviate vs 자체 벡터 검색.
• 벤더 lock-in 관리: OpenAI 일변도 리스크.
• 조직 문화: eval-driven, review culture.

5. 프린시플(L7~L8) — 기술 전략

5.1 기대 역량

• 회사 방향 수립 — CEO/CTO와 함께 기술 전략.
• 산업 리더십 — 표준화·오픈소스·공개 발표.
• 인재 자석 — 리쿠르팅의 이유가 됨.
• 장기 투자 결정 — 3~5년 R&D.

5.2 프린시플의 하루

• 절반: 미팅·리뷰·의사결정.
• 1/4: 전략 문서 작성.
• 1/4: 깊은 기술 몰입 (새 패러다임 실험, 프로토타입).

5.3 프린시플은 만들어지는가

• 공식 승진 루트 희소 — 대부분 경력 누적 결과.
• 2개 이상 스태프 경험 일반적.
• 외부 평판 필수 — 업계가 이름을 알아야.
• 창업·CTO 전환 흔한 경로.

6. ML Engineer 트랙 vs AI Engineer 트랙

6.1 ML Engineer 경로

• PhD 또는 MS + 논문·연구.
• Feature engineering·classical ML + DL.
• Foundation model 훈련·연구.
• 대기업: Google Brain, FAIR, DeepMind, Apple MLR.
• Scale AI·Anthropic·OpenAI Research.

6.2 AI Engineer 경로

• SWE 배경 + LLM 조립.
• Chip Huyen이 2023년 정의.
• 대부분 회사 AI 팀의 다수.
• 입문 쉬움, 경쟁 치열.

6.3 하이브리드 전략

2026년 이후 MLE와 AIE 경계가 흐려질 것.

• AIE도 fine-tuning·embedding·evals 깊이 들어감.
• MLE도 agent·productionization 해야 함.
• "Full-stack AI Engineer"가 이상적 표현.

6.4 Research vs Applied

• Research — 논문·새 알고리즘. 박사 필요도 높음.
• Applied — 실용 제품. 박사 불필요.
• Research Engineer — 중간. 실험 스케일, 인프라.

AI Engineer는 Applied 쪽. Research 하고 싶다면 Research Scientist·Research Engineer 쪽이 적합.

7. 면접 구조 분석 — 2025년 기준

7.1 전형적 AI Engineer 면접 5~7 라운드

1. Recruiter screen — 이력·동기.
2. Hiring manager — 경험·fit.
3. Coding — LeetCode 중 + Python 구현력.
4. ML/LLM fundamentals — transformer, attention, RAG 동작.
5. System design — LLM 시스템 설계.
6. Behavioral — STAR 기반.
7. Bar raiser / exec — 문화·cross-functional.

7.2 ML Fundamentals에서 꼭 묻는 것

• Attention mechanism — Q·K·V 계산, 왜 sqrt(d_k)로 나누는지.
• Transformer architecture — encoder·decoder·decoder-only 차이.
• Tokenization — BPE, SentencePiece, 왜 한국어 토큰이 많은지.
• Sampling — temperature, top-k, top-p, beam search.
• Fine-tuning — full vs LoRA vs RLHF vs DPO.
• RAG internals — embedding similarity, reranking, chunking.
• Evaluation — BLEU/ROUGE 한계, LLM-as-Judge 편향.

7.3 System Design 대표 문제

• "Slack 메시지에 답하는 AI assistant 설계" (multi-tenant, PII, retention).
• "코드 리뷰 자동 코멘트 시스템" (repo 단위 context, PR diff).
• "실시간 영상 회의 요약" (ASR + LLM + streaming).
• "다국어 고객 지원 봇" (언어 감지, fallback, escalation).

7.4 Behavioral (STAR)

• Conflict — 동료와 기술적 이견을 어떻게 해결했는가.
• Failure — prod 사고를 어떻게 대응·회고했는가.
• Influence — 권한 없이 변화를 이끈 예.
• Ambiguity — 요구사항이 명확하지 않을 때.

7.5 온라인 어세스먼트 트렌드

• CoderPad + OpenAI API — 60~90분 내 mini-project.
• HackerRank ML — 수치·행렬·전처리.
• Take-home — 2~5일, 실제 LLM 앱 구축.

take-home은 시간 많이 뺏기나 역량 증명에 유리.

7.6 면접 준비 리소스

• "Deep Learning Interviews" (Kalevi Kilkki) — LLM 질문.
• "Designing Machine Learning Systems" (Chip Huyen) — 시스템 설계.
• "Machine Learning Interviews" (Chip Huyen) — 면접 가이드.
• Leetcode + NeetCode — 주요 150 문제.
• Mock interviews — interviewing.io, Pramp.

8. 포트폴리오 전략 — 5가지 패턴

8.1 왜 포트폴리오가 결정적인가

AI Engineer 시장은 경력 1~3년차 지원자가 넘친다. 이력서 한 장으론 구분 불가. 작품이 차별화.

8.2 5가지 포트폴리오 패턴

1. End-to-end 앱 — RAG 챗봇, 코드 리뷰 봇, 이메일 에이전트. Vercel·Fly.io에 배포.
2. 오픈소스 기여 — LangChain·LlamaIndex·vLLM PR 3개 이상.
3. 논문 재구현 — nanoGPT 스타일. Attention, RLHF, RAG, DPO.
4. 기술 블로그 — 월 1~2편. 깊이 있는 분석·실험.
5. Kaggle·Competitions — LLM RAG 대회, AI Mathematical Olympiad.

8.3 좋은 GitHub README

• 문제 정의 — 왜 만들었는가.
• 아키텍처 다이어그램.
• 실행 방법 — 1-click demo link.
• 한계·학습 — 무엇이 잘 안됐는가.
• Evals — 숫자로.

8.4 피해야 할 포트폴리오

• 튜토리얼 복사 — "To-Do 앱 LangChain으로" 같은 것.
• 실행 불가 — README만 있고 코드 안 돎.
• 너무 작거나(한 파일) 너무 거대한(1000 커밋 리팩터 없음).

8.5 기술 블로그 전략

• Substack, Medium, 자체 블로그(Next.js+MDX).
• LinkedIn 교차 게시.
• 핵심 소재: 실패 경험, 벤치마크 비교, 프로덕션 사례.
• Hamel Husain, Chip Huyen, Jason Liu 벤치마크.

9. 연봉과 보상 — 국내·미국·원격 비교

9.1 한국 (2025년 기준)

9.2 미국 (2025년 기준, Levels.fyi)

OpenAI·Anthropic은 현재 극단적 경쟁으로 L5 이상 $1M+ TC 흔함.

9.3 원격 글로벌 (한국 거주)

• Vercel, Supabase, Linear, Replicate, Modal — 원격 우선.
• 한국 TC: $150K~$350K (스톡 포함).
• 세금 구조 — 스톡은 입국/체류 주의.

9.4 보상 구성 이해

• Base salary — 매월 확정.
• Bonus — 연 10~25%.
• RSU (Restricted Stock) — 4년 vesting, cliff 1년.
• Options — 스타트업. 83(b) 선택.
• Sign-on — 이직 인센티브.
• Refresh grant — 매년 추가 RSU.

9.5 협상 팁

• Competing offer가 가장 강력.
• Levels.fyi + Blind 데이터 근거.
• "Base vs Stock vs Sign-on" 비율 조정 가능.
• 리쿠르터와의 전투력 — 질문하고 침묵하는 기술.

10. 원격·해외 취업 전략

10.1 원격 먼저 시도하는 이유

• 이사 리스크 없음.
• 비자 없이 시작 가능.
• 영어·커뮤니케이션 훈련.
• 이후 해외 이전도 쉬움.

10.2 원격 친화 회사

완전 원격 우선:

• Vercel, Supabase, Linear, Replicate, Modal.
• GitLab, Zapier, HashiCorp, Automattic.
• Ghost, Deel, Remote.com.

하이브리드이지만 국제 고용:

• Anthropic (일부), Scale AI, Weights & Biases.

10.3 비자와 이전

• 미국 H-1B — 추첨 복권. O-1(특기자)이 더 현실적.
• 영국 Skilled Worker — 점수제.
• 독일 Blue Card — 최소 연봉 기준.
• 캐나다 Express Entry / Global Talent Stream.
• 일본 HSP — 점수제. 한국인 유리.
• 싱가포르 Tech.Pass / EP.

10.4 언어·문화 준비

• 영어 writing — RFC·Slack·PR. 말하기보다 쓰기 먼저.
• Async communication — 시차 고려, 비동기 문서화.
• Timezone 정치 — 유럽 회사는 한국 새벽 미팅 드물다. 미국 회사는 한국 야간 필수.

10.5 한국-기반 글로벌 경력 설계

1. 한국 스타트업 + 글로벌 제품 — Sendbird, Channel Talk, Upstage.
2. 한국 대기업 해외 지사 — 네이버 미국, 카카오 일본.
3. 글로벌 원격 풀타임.
4. Contractor / Consulting — Deel·Remote.com 에이전시.
5. 해외 이전.

11. AI Engineer의 10년 뒤 — 5가지 시나리오

11.1 시나리오 1: "AI Full-stack Engineer" 정착

역할 분화가 안정되고, AI Engineer는 풀스택 SWE + LLM 전문성의 표준 직군이 됨. 2030년대 중반 SWE의 70%가 이 정체성.

11.2 시나리오 2: "Vertical AI Specialist" 분화

법률·의료·금융 등 도메인 특화 AI Engineer가 주류. 일반 AI Engineer 시장은 commoditized. 도메인 전문성이 보상 차이 결정.

11.3 시나리오 3: "AI Ops Engineer"와 "AI Product Engineer" 분화

• AI Ops — 인프라·cost·eval·guardrail 전문.
• AI Product — UX·prompt·agent design 전문.
• 두 트랙이 명확히 분리.

11.4 시나리오 4: AI가 AI Engineer 대체

Agent가 점점 똑똑해져 AI Engineer 업무의 70%를 자동화. 남는 건 시스템 설계·윤리 판단·도메인 전문가와 통역. 인간 AI Engineer 수요 감소, 단가 급등.

11.5 시나리오 5: AGI 도달 후 재편

2030~2035년 AGI 근접 시, 전통 엔지니어 커리어 자체 재정의. 로봇·에너지·생명공학 같은 물리 세계 통합이 마지막 인간 엔지니어 영역.

11.6 어떻게 대비할 것인가

• 저수준 시스템 + AI 조합: 로봇·임베디드·보안.
• 도메인 수직 깊이: 법률·의료·바이오·에너지.
• 리더십: 기술·사업·윤리 삼각.
• 창업가 마인드셋.

12. 번아웃과 장기 페이스

12.1 AI Engineer는 특히 번아웃 위험

• 폭발적 정보량 — 매주 새 모델·기술.
• hype-driven — 주말 tweet 기반 PR 압박.
• 과잉투자: 회사가 성과 압박.

12.2 방어 전략

• 주 1~2회 RSS/Twitter 정리 시간만 — 나머지는 deep work.
• 연 2~4주 휴가.
• Side project는 본업과 다른 결.
• 건강 기반: 수면 7h·주 3회 운동.

12.3 5년·10년 후 지속

• 학습 엔진 (앞 글) 정착.
• 사이드 프로젝트 → 부업 → 창업 옵션.
• 관계 자산: 전 동료·멘토·멘티.
• 재무 기초: 생활비 6개월 비상금, 저위험 투자.

체크리스트

자주 보는 안티패턴 10가지

1. 승진 대화를 매니저와 먼저 안 한다 — "일 잘하면 자동"은 없다.
2. 이직만 반복해 보상 올리기 — 3~5년 시점 성과 쌓기 어려움.
3. 새 기술·프레임워크만 쫓기 — 시스템 사고·소프트스킬 정체.
4. 포트폴리오 없이 이직 시도 — 이력서만으로 한계.
5. 영어 안 늘린 채 글로벌 시장 기대.
6. 자기 가치 평가 실패 — Levels.fyi·Blind 확인 없음.
7. 건강 희생으로 단기 성과 추구 — 2~3년 뒤 번아웃.
8. 멘토 없음 — 시행착오 비용 엄청남.
9. 커뮤니티 무시 — 재취업 시 네트워크가 결정적.
10. "AI가 모든 것을 대체할 거다" 비관 — 지금도 사람이 차이를 만든다.

다음 글 예고 — “시니어·스태프 엔지니어를 위한 영향력 설계: 기술 글쓰기 2.0, 발표, 컨퍼런스, 오픈소스, 테크 리더십 브랜딩”

기술력이 충분한 시니어·스태프가 더 크게 성장하지 못하는 이유는 영향력 설계의 부재다.

• 기술 글쓰기 2.0 — RFC에서 외부 블로그·eng blog로
• 컨퍼런스 발표 — QCon·KubeCon·DockerCon 준비
• 오픈소스 유지보수자의 삶
• 개인 브랜드 vs 회사 브랜드
• 멘토·조언자 네트워크
• 내부 Staff → 외부 Staff로의 전환

커리어는 아는 만큼 설계할 수 있다. 다음 글에서 이어진다.