[M5] Mode Voice-to-Voice avec l'agent IA (STT → agent → TTS) #66

New issue

Closed

opened 2026-04-06 01:38:02 +00:00 by charles · 0 comments

charles commented

2026-04-06 01:38:02 +00:00

Owner

Contexte

Mode conversation vocale temps réel avec l'agent IA : capture micro → STT → envoi à l'agent → réception → TTS → lecture audio. Combinaison de M1 + M2 + un moteur TTS.

Critères d'acceptation

Bouton "Appeler l'agent" dans les salons avec agent détecté
Capture audio micro via GStreamer
Transcription temps réel via le moteur STT configuré (M1)
Envoi du texte transcrit à l'agent Matrix
Réception de la réponse agent + synthèse vocale via espeak-ng ou Piper
Trait TtsEngine : synthesize(text, voice_opts) -> AudioData
Interface : overlay "En appel" avec bouton couper micro + mettre fin
Latence cible : < 3s entre fin de phrase et début réponse audio

Notes techniques

Dépend de : M1 (#4–#9), M2 (#11, #14)
PiperEngine : subprocess piper local (qualité supérieure, modèles ~50Mo)
EspeakEngine : binaire espeak-ng (léger, qualité moindre, toujours disponible)
La capture micro utilise GstDeviceMonitor (GStreamer) pour la sélection du périphérique

## Contexte Mode conversation vocale temps réel avec l'agent IA : capture micro → STT → envoi à l'agent → réception → TTS → lecture audio. Combinaison de M1 + M2 + un moteur TTS. ## Critères d'acceptation - [ ] Bouton "Appeler l'agent" dans les salons avec agent détecté - [ ] Capture audio micro via GStreamer - [ ] Transcription temps réel via le moteur STT configuré (M1) - [ ] Envoi du texte transcrit à l'agent Matrix - [ ] Réception de la réponse agent + synthèse vocale via `espeak-ng` ou `Piper` - [ ] Trait `TtsEngine` : `synthesize(text, voice_opts) -> AudioData` - [ ] Interface : overlay "En appel" avec bouton couper micro + mettre fin - [ ] Latence cible : < 3s entre fin de phrase et début réponse audio ## Notes techniques - Dépend de : M1 (#4–#9), M2 (#11, #14) - `PiperEngine` : subprocess `piper` local (qualité supérieure, modèles ~50Mo) - `EspeakEngine` : binaire `espeak-ng` (léger, qualité moindre, toujours disponible) - La capture micro utilise `GstDeviceMonitor` (GStreamer) pour la sélection du périphérique

charles added this to the Phase 5 — M5 Bonus & Polish milestone

2026-04-06 01:38:02 +00:00

charles added the

priority:medium

module:M5-bonus

type:feature

labels

2026-04-06 01:38:02 +00:00

charles referenced this issue from a commit

2026-04-06 02:20:47 +00:00

feat(ai): TtsEngine trait + PiperEngine + EspeakEngine + VoiceToVoiceState (#66)

charles referenced this issue