[M1] Pipeline audio GStreamer : opus/webm → WAV 16kHz mono #78

New issue

Closed

opened 2026-04-06 01:42:10 +00:00 by charles · 1 comment

charles commented

2026-04-06 01:42:10 +00:00

Owner

Contexte

Les messages vocaux Matrix arrivent en format opus (dans un container webm). Les moteurs STT attendent du WAV 16kHz mono. Ce ticket couvre la conversion audio et le téléchargement du média depuis Matrix.

Critères d'acceptation

AudioPipeline::download_and_convert(event_id, mxc_uri, client) -> Result<AudioData>
Téléchargement du média chiffré/non-chiffré via matrix-rust-sdk (media_download)
Conversion opus/webm → WAV 16kHz mono 16-bit via pipeline GStreamer :
appsrc → matroskademux → opusdec → audioconvert → audioresample → audio/x-raw,rate=16000,channels=1 → wavenc → appsink
Gestion des formats d'entrée alternatifs : ogg/opus, mp4/aac (fallback)
Écoute des événements Matrix m.room.message type m.audio et m.voice via EventBus
En mode auto_transcribe: true : pipeline déclenché automatiquement à la réception
Tests unitaires avec fichiers audio de test (opus fixtures)

Notes techniques

Dépend de #73 (SttEngine + types)
Dépendance GStreamer : gstreamer, gstreamer-app crates
GStreamer est déjà une dépendance de Fractal upstream (player audio) — pas d'overhead de dépendance
Le AudioData résultant est passé directement au SttEngine configuré

## Contexte Les messages vocaux Matrix arrivent en format opus (dans un container webm). Les moteurs STT attendent du WAV 16kHz mono. Ce ticket couvre la conversion audio et le téléchargement du média depuis Matrix. ## Critères d'acceptation - [ ] `AudioPipeline::download_and_convert(event_id, mxc_uri, client) -> Result<AudioData>` - [ ] Téléchargement du média chiffré/non-chiffré via matrix-rust-sdk (`media_download`) - [ ] Conversion opus/webm → WAV 16kHz mono 16-bit via pipeline GStreamer : `appsrc → matroskademux → opusdec → audioconvert → audioresample → audio/x-raw,rate=16000,channels=1 → wavenc → appsink` - [ ] Gestion des formats d'entrée alternatifs : ogg/opus, mp4/aac (fallback) - [ ] Écoute des événements Matrix `m.room.message` type `m.audio` et `m.voice` via `EventBus` - [ ] En mode `auto_transcribe: true` : pipeline déclenché automatiquement à la réception - [ ] Tests unitaires avec fichiers audio de test (opus fixtures) ## Notes techniques - Dépend de #73 (SttEngine + types) - Dépendance GStreamer : `gstreamer`, `gstreamer-app` crates - GStreamer est déjà une dépendance de Fractal upstream (player audio) — pas d'overhead de dépendance - Le `AudioData` résultant est passé directement au `SttEngine` configuré

charles added the

priority:high

type:feature

module:M1-stt

labels

2026-04-06 01:42:10 +00:00

charles referenced this issue

2026-04-06 01:42:23 +00:00

[M1] UI : TranscriptWidget + bouton Transcrire + mode auto + sélecteur de langue #79

charles commented

2026-04-06 02:06:49 +00:00

Author