charles/my-fractal

Fork 0

[M1] Crate `fractal-stt` : trait `SttEngine` + types `AudioData` / `Transcript` #73

New issue

Closed

opened 2026-04-06 01:41:28 +00:00 by charles · 1 comment

charles commented

2026-04-06 01:41:28 +00:00

Owner

Contexte

Première brique de M1 : définir le contrat commun à tous les moteurs STT et les types de données partagés. Cette abstraction permet de brancher Whisper.cpp, OpenAI Whisper ou Vosk sans modifier le reste du pipeline.

Critères d'acceptation

Crate fractal-stt créée dans le workspace, implémentant le trait Extension (via fractal-ext)
Trait SttEngine défini :
- async fn transcribe(&self, audio: AudioData) -> Result<Transcript>
- async fn health_check(&self) -> Result<()>
- fn supported_languages(&self) -> Vec<String>
Type AudioData : { bytes: Vec<u8>, mime_type: String, duration_ms: u64 }
Type Transcript : { text: String, language: String, confidence: Confidence, segments: Vec<TranscriptSegment> }
Type TranscriptSegment : { start_ms: u64, end_ms: u64, text: String }
Enum Confidence : High / Medium / Low
Config [stt] dans config.toml : engine (whisper_cpp | openai | vosk), auto_transcribe: bool, language: Option<String>, model_size (tiny/base/small/medium/large)
Cache SQLite : table transcriptions(event_id TEXT PRIMARY KEY, text TEXT, language TEXT, confidence TEXT)

Notes techniques

Dépend de #72 (fractal-ext)
Ce crate est le point d'entrée ; les moteurs (#74, #75, #76) en sont des implémentations
Le cache évite de retranscrire un message déjà traité ; clé = event_id Matrix

## Contexte Première brique de M1 : définir le contrat commun à tous les moteurs STT et les types de données partagés. Cette abstraction permet de brancher Whisper.cpp, OpenAI Whisper ou Vosk sans modifier le reste du pipeline. ## Critères d'acceptation - [ ] Crate `fractal-stt` créée dans le workspace, implémentant le trait `Extension` (via `fractal-ext`) - [ ] Trait `SttEngine` défini : - `async fn transcribe(&self, audio: AudioData) -> Result<Transcript>` - `async fn health_check(&self) -> Result<()>` - `fn supported_languages(&self) -> Vec<String>` - [ ] Type `AudioData` : `{ bytes: Vec<u8>, mime_type: String, duration_ms: u64 }` - [ ] Type `Transcript` : `{ text: String, language: String, confidence: Confidence, segments: Vec<TranscriptSegment> }` - [ ] Type `TranscriptSegment` : `{ start_ms: u64, end_ms: u64, text: String }` - [ ] Enum `Confidence` : `High / Medium / Low` - [ ] Config `[stt]` dans `config.toml` : `engine` (whisper_cpp | openai | vosk), `auto_transcribe: bool`, `language: Option<String>`, `model_size` (tiny/base/small/medium/large) - [ ] Cache SQLite : table `transcriptions(event_id TEXT PRIMARY KEY, text TEXT, language TEXT, confidence TEXT)` ## Notes techniques - Dépend de #72 (fractal-ext) - Ce crate est le point d'entrée ; les moteurs (#74, #75, #76) en sont des implémentations - Le cache évite de retranscrire un message déjà traité ; clé = `event_id` Matrix

charles added the

priority:high

type:feature

module:M1-stt

labels

2026-04-06 01:41:28 +00:00

charles referenced this issue

2026-04-06 01:41:38 +00:00

[M1] Moteur WhisperCppEngine : transcription locale via whisper.cpp #74

charles referenced this issue

2026-04-06 01:41:48 +00:00

[M1] Moteur OpenAiWhisperEngine : transcription cloud (OpenAI API / Groq) #75

charles referenced this issue

2026-04-06 01:41:57 +00:00

[M1] Moteur VoskEngine : transcription locale légère (Vosk) #77

charles referenced this issue

2026-04-06 01:42:10 +00:00

[M1] Pipeline audio GStreamer : opus/webm → WAV 16kHz mono #78

charles referenced this issue

2026-04-06 01:42:23 +00:00

[M1] UI : TranscriptWidget + bouton Transcrire + mode auto + sélecteur de langue #79

charles commented

2026-04-06 01:47:00 +00:00

Author

Owner

Fermé en doublon : ce travail a été réalisé dans la PR #81 (issue #4). Le trait SttEngine et tous les types (AudioData, Transcript, EngineStatus, etc.) sont déjà mergés sur main.

Fermé en doublon : ce travail a été réalisé dans la PR #81 (issue #4). Le trait `SttEngine` et tous les types (`AudioData`, `Transcript`, `EngineStatus`, etc.) sont déjà mergés sur `main`.

charles closed this issue

2026-04-06 01:47:03 +00:00

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

charles/my-fractal#73

No description provided.

Rows
Columns

[M1] Crate fractal-stt : trait SttEngine + types AudioData / Transcript #73

Contexte

Critères d'acceptation

Notes techniques

[M1] Crate `fractal-stt` : trait `SttEngine` + types `AudioData` / `Transcript` #73