charles/my-fractal
1
0
Fork 0
Code Issues 14 Pull requests Projects Releases Packages Wiki Activity Actions

[M1] Pipeline audio : téléchargement MXC → conversion → transcription → cache SQLite #7

New issue
Closed
opened 2026-04-06 01:33:26 +00:00 by charles · 0 comments
charles commented 2026-04-06 01:33:26 +00:00
Owner
Copy link

Contexte

Orchestration du flux complet de transcription : depuis la réception du message Matrix jusqu'à l'affichage du résultat, avec mise en cache pour éviter les re-transcriptions.

Critères d'acceptation

  • Téléchargement du média via matrix-rust-sdk → Vec<u8>
  • Conversion opus/webm → WAV 16kHz mono via pipeline GStreamer
  • Envoi au moteur STT sélectionné dans la config
  • Cache résultat dans SQLite locale (clé = event_id) : table transcriptions(event_id, text, language, confidence, segments_json, created_at)
  • Lecture depuis le cache si l'event_id est déjà présent (pas de re-transcription)
  • Le pipeline tourne dans un thread async dédié (ne bloque pas l'UI)
  • Indicateur de progression pendant la transcription

Notes techniques

  • Dépend de : #5 (WhisperEngine) et/ou #6 (autres moteurs)
  • Base SQLite : ~/.local/share/fractal-plus/stt-cache.db
  • Utiliser sqlx avec le feature sqlite et migrations automatiques
  • Gestion mémoire : ne pas garder Vec<u8> audio en mémoire après conversion
## Contexte Orchestration du flux complet de transcription : depuis la réception du message Matrix jusqu'à l'affichage du résultat, avec mise en cache pour éviter les re-transcriptions. ## Critères d'acceptation - [ ] Téléchargement du média via `matrix-rust-sdk` → `Vec<u8>` - [ ] Conversion opus/webm → WAV 16kHz mono via pipeline GStreamer - [ ] Envoi au moteur STT sélectionné dans la config - [ ] Cache résultat dans SQLite locale (clé = `event_id`) : table `transcriptions(event_id, text, language, confidence, segments_json, created_at)` - [ ] Lecture depuis le cache si l'`event_id` est déjà présent (pas de re-transcription) - [ ] Le pipeline tourne dans un thread async dédié (ne bloque pas l'UI) - [ ] Indicateur de progression pendant la transcription ## Notes techniques - Dépend de : #5 (WhisperEngine) et/ou #6 (autres moteurs) - Base SQLite : `~/.local/share/fractal-plus/stt-cache.db` - Utiliser `sqlx` avec le feature `sqlite` et migrations automatiques - Gestion mémoire : ne pas garder `Vec<u8>` audio en mémoire après conversion
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
feat/61-66-summary-tts
feat/58-59-translation-engine
feat/41-44-fx-canvas-postmessage
feat/65-68-69-export-zen-gnome
feat/58-translation-engine
feat/25-multi-agent
feat/39-42-math-mermaid-coderun
feat/29-30-rich-parser-chart
feat/14-23-streaming-protocol
feat/27-41-44-canvas-webview
feat/25-31-agent-routing-palette
feat/6-openai-vosk-engines
feat/47-49-51-bridge-foundation
feat/29-36-rich-parser
feat/16-18-agent-panel-palette
feat/49-fractal-bridge
feat/36-fractal-rich
feat/11-20-agent-detector
feat/13-reflection-indicator
feat/12-agent-visual-markers
feat/14-streaming-message-tracker
feat/7-stt-pipeline-cache
feat/8-transcript-widget
feat/6-stt-engines
feat/6-alt-engines
feat/7-audio-pipeline
No results found.
Labels
Clear labels   
module:M0-setup

   
module:M1-stt

   
module:M1-stt

   
module:M2-ai

   
module:M2-ai

   
module:M3-rich

   
module:M3-rich

   
module:M4-bridge

   
module:M4-bridge

   
module:M5-bonus

   
module:M5-bonus

   
module:setup
Phase 0 — Fork, workspace Cargo, infrastructure

  
priority:high

   
priority:high

   
priority:low

   
priority:low

   
priority:medium

   
priority:medium

   
type:chore

   
type:chore

   
type:feature

   
type:feature
No labels
module:M0-setup
module:M1-stt
module:M1-stt
module:M2-ai
module:M2-ai
module:M3-rich
module:M3-rich
module:M4-bridge
module:M4-bridge
module:M5-bonus
module:M5-bonus
module:setup
priority:high
priority:high
priority:low
priority:low
priority:medium
priority:medium
type:chore
type:chore
type:feature
type:feature
Milestone
Clear milestone
No items
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
charles/my-fractal#7
No description provided.