심화 9개 챕터 · 약 6-7시간 · 업데이트 2026년 7월 4일

🎓 Web Voice AI 스택: VAD 부터 실시간 대화까지

음성 활동 감지 (VAD) 로 시작해 STT 모델과 스트리밍, TTS 모델과 SSML, 턴 종료 감지 (barge-in), 마지막으로 실시간 speech-to-speech 대화 시스템까지. 음성 AI 를 시스템 관점으로 이해하는 학습 경로.

Ch.1 위키 [Voice AI] VAD: Silero, 에너지 기반, endpointing 임계값

실전 VAD 의 표준: Silero
↓
Ch.2 위키 [Voice AI] STT 모델: Whisper, Deepgram, AssemblyAI, CLOVA

Whisper, wav2vec, Conformer 등 주요 STT 모델 개요
↓
Ch.3 위키 [Voice] Whisper 내부: encoder-decoder, log-mel, tokenizer

Whisper 의 내부 구조와 디코딩 특성
↓
Ch.4 위키 [Voice AI] STT 스트리밍: partial vs final, endpointing, gRPC/WS

스트리밍 STT: 청크 처리와 partial hypothesis
↓
Ch.5 위키 [Voice AI] TTS 모델: ElevenLabs, Cartesia, Edge TTS, 한국어

Tacotron, FastSpeech, VITS 계열 TTS 모델 개요
↓
Ch.6 위키 [Voice] Neural TTS 내부: Tacotron, FastSpeech, VITS, HiFi-GAN

뉴럴 TTS 의 mel-spectrogram → waveform 파이프라인
↓
Ch.7 위키 [Voice AI] TTS 스트리밍 + SSML: TTFB, sentence aggregation, 청킹

스트리밍 TTS 와 SSML 로 음성 제어
↓
Ch.8 위키 [Voice AI] Turn Detection + Barge-in + AEC: 자연스러운 대화

대화형 시스템의 턴 감지와 barge-in 대응
↓
Ch.9 위키 [Voice AI] Speech-to-Speech: OpenAI Realtime, Gemini Live, Moshi

GPT-4o 시대의 실시간 speech-to-speech 아키텍처