Spraak: onderzoek, een plan en meten in plaats van gokken
Piper gekozen voor text-to-speech, omdat het lokaal draait en Nederlandse stemmen heeft. Een plan geschreven met 21 user stories, elk onderdeel een interface en een fake gegeven, en de Whisper-modellen small en medium tegen elkaar gemeten.
Ik had nog nooit met text-to-speech gewerkt. Ik ben begonnen met demo's en tutorials op YouTube, om te snappen wat zo'n model doet, wat je erin stopt en wat eruit komt. Daardoor snapte ik het veel sneller dan alleen uit documentatie. Maar toen ik ging bouwen, bleek de code uit die tutorials niet meer te werken. Piper is verhuisd naar een nieuwe repository en de functie die in de oudere tutorials staat, bestaat niet meer. Vanaf toen heb ik alleen de documentatie van de nieuwe versie gevolgd.
Wat ik leerde: een tutorial is goed om het idee te snappen, maar voor de code kijk ik altijd in de actuele documentatie.
Voor de TTS heb ik een paar opties naast elkaar gezet. Mijn eisen waren dat het Nederlands kan, lokaal draait (wat bezoekers zeggen mag de booth niet uit) en snel genoeg is voor een live gesprek.
- Kokoro viel af, want die heeft geen Nederlands.
- Voxtral viel af, die heeft een zware videokaart nodig en de licentie past niet.
- Azure klinkt goed, maar draait in de cloud. Dan gaat de tekst naar Microsoft.
- Piper draait lokaal op de processor en heeft Nederlandse stemmen.
Ik koos Piper. Niet omdat het de mooiste stem heeft, maar omdat het nu werkt en past bij onze privacyregels. Voor spraakherkenning hadden we al faster-whisper gekozen.
Daarna heb ik een plan geschreven voor de spraak: 21 user stories in 7 epics. Ik heb het opgebouwd van binnen naar buiten. Eerst de losse onderdelen die je met een audiobestand kan testen, dan de echte microfoon en speaker, dan de koppeling met de rest van het systeem.
De belangrijkste ontwerpkeuze van deze week: elk onderdeel krijgt een interface en een "fake". Een fake doet alsof. Hij geeft bijvoorbeeld een vaste zin terug in plaats van echt te luisteren. Dat had drie voordelen:
- De frontend kon al met de backend praten voordat mijn spraakmodellen klaar waren.
- De tests draaien zonder microfoon, speaker of zware modellen.
- Willen we later een andere stem of een ander model, dan schrijf ik alleen een nieuwe implementatie. De rest blijft hetzelfde.
Halverwege de week stonden de interfaces, de fakes en de eerste spraakherkenning.
Meten in plaats van gokken
In het weekend ben ik verder gegaan met de spraakherkenning. Whisper heeft verschillende modelgroottes. Ik twijfelde tussen small en medium, dus ik heb ze vergeleken op 10 vaste zinnen, op een laptop zonder videokaart.
| Model | Woorden goed herkend | Seconden per zin |
|---|---|---|
| small | 84,8% | 4,3 |
| small (int8) | 85,9% | 3,6 |
| medium | 87,5% | 15,1 |
| medium (int8) | 88,6% | 10,1 |
medium herkent een paar procent meer, maar 10 tot 15 seconden wachten per zin is veel te lang in een gesprek. Het werd dus small. De metingen staan in de README, zodat we ze opnieuw kunnen doen op de echte booth-machine.
Voor de stem heb ik een script gemaakt dat alle Nederlandse en Vlaamse Piper-stemmen dezelfde vier zinnen laat uitspreken: een begroeting, een normaal antwoord, een vraag en de onthulling van het profiel. Met het team hebben we ze gescoord op natuurlijkheid, verstaanbaarheid en vriendelijkheid. Het werd de stem "alex". Die heeft ook nog een vrije licentie (CC0).