Voice AI Agents — a pipeline that listens, looks things up and speaks
전화 예약 비서를 GPU 없이 파드 하나에서 만듭니다. 소리의 모양(샘플레이트·프레임·dBFS), VAD 와 턴 끝 판정·끼어들기, 스트리밍 ASR 과 WER, LLM 스트리밍과 첫 토큰 지연, 오인식된 질의의 RAG, 확인·재시도·넘기기가 있는 에이전트, 문장 단위 TTS 와 읽을 글 만들기, 파이프라인 지연 예산, 평가와 관측, 음성으로 들어오는 주입과 개인정보까지 열 개 모듈을 실제 모델로 잽니다. 채점기는 같은 모델을 다시 돌려 여러분의 결과와 대조합니다. LLM 엔지니어링과 AI 에이전트 코스를 먼저 보면 더 잘 읽힙니다.
고급 · 레슨 30 · 실습 10
실습 시작하기
커리큘럼
Audio basics — PCM, frames, resampling
VAD and turn-taking — end-of-speech detection and barge-in
Streaming ASR — partial results, final results, WER
Streaming LLM responses and time to first token
RAG for spoken queries — rewriting, refusal thresholds, citation checks
Agent workflow — tools, confirmation, retries, handoff
Streaming TTS — sentence splitting and time to first audio
Latency budget — running the pipeline overlapped
Evaluation and observability — quality, failure rate, SLO, gates
Safety — injection and personal data arriving by voice
참고 문서
