Confidence score: co toto hodnotící číslo přepisu ve skutečnosti říká

Přepisový model přiřadí každému slovu číslo od nuly do jedné. Čím vyšší, tím si je model jistější. Jenže model může být přesvědčený o chybě. A může váhat nad správnou odpovědí. Jak číst confidence score s potřebnou rezervou — a k čemu ho skutečně využít.

Co confidence score matematicky vyjadřuje

Přepisový model pracuje s pravděpodobnostmi. Pro každé časové okno v záznamu vypočítá pravděpodobnostní rozdělení přes celou zásobu slov ve svém slovníku. Softmax funkce tyto hodnoty normalizuje do rozsahu 0 až 1, kde součet přes všechna slova je přesně 1.

Confidence score je pravděpodobnost slova, které model vybral jako nejpravděpodobnější.

Praktický příklad: pro zvukový segment odpovídající slovu „Praha" model může přiřadit: Praha 0,94, Praho 0,03, Braha 0,02, ostatní 0,01. Confidence score = 0,94. To neznamená, že model má v 94 % případů pravdu — znamená to, že ze všech slov v jeho slovníku je Praha momentálně nejpravděpodobnější variantou s tímto skóre.

Per-word a per-utterance confidence

Per-word confidence přiřazuje skóre každému slovu zvlášť. Je nejdetailnější a nejužitečnější pro identifikaci problematických míst. Dostupná v JSON exportu přepisových služeb, kde každý záznam slova nese pole confidence.

Per-utterance (segmentová) confidence je jedno skóre pro celou promluvu nebo segment. Zpravidla průměr nebo minimum z per-word hodnot daného segmentu.

Souhrnné skóre celého přepisu — průměr per-word confidence — je matoucí metrika. Přepis s průměrem 0,85 může skrývat deset slov s confidence 0,3, kde jsou koncentrovány chyby. Průměr je orientační ukazatel; per-word distribuce je informativnější.

Proč vysoké confidence neznamená správný přepis

Tento bod je zásadní a bývá nepochopen. Model může být systematicky sebejistý o špatné odpovědi.

Kalibrovanost modelu

Perfektně kalibrovaný model by měl u slov s confidence 0,9 přepisovat správně přesně v 90 % případů pro tuto hodnotu confidence. V praxi jsou přepisové modely různě dobře kalibrovány — část z nich systematicky nadhodnocuje svou jistotu (jsou přílišně sebejisté), část podhodnocuje.

Bez znalosti kalibrační křivky konkrétního modelu není číslo 0,9 absolutně interpretovatelné. Je to signál relativní jistoty — vyšší je lepší — ale ne garantovaná pravděpodobnost správnosti.

Slepá skvrna: slova mimo slovník

Model nezná to, co nezná. Odborný termín nebo vlastní jméno, které se v trénovacích datech nevyskytovalo, model mapuje na foneticky nejbližší slovo ze svého slovníku. A dělá to s vysokou confidence — protože z jeho pohledu vybral nejpravděpodobnější variantu.

Příklad: méně obvyklé příjmení „Přiklopilová" → model přepíše „přiklopila" (existující sloveso, foneticky blízké) s confidence 0,89. Chyba je faktická, ale model o ní neví. Přepis je v jeho rámci optimální odpovědí na zvukový vstup.

Tato slepá skvrna je nejzákeřnější příčinou klamavě vysokého confidence u chybných přepisů.

Nízké confidence u správného přepisu

Neobvyklé jméno nebo termín, který model slyší poprvé, dostane nízkou confidence — model váhá. Ale i přes váhání může model vybrat správnou variantu, protože je foneticky nejbližší. Nízká confidence ≠ chybný přepis. Je to signál nejistoty modelu, nikoli zárukou chyby.

Silný přízvuk nebo hluk v záznamu zvyšují nejistotu modelu bez přímé korelace s chybovostí — model může správně přepsat i při nízké confidence, pokud správné slovo nemá blízkého fonetického konkurenta.

Jak confidence score prakticky použít

Prioritizace editace

Nejpraktičtější využití: nastavit práh (například confidence < 0,65 nebo < 0,70) a označit slova pod touto hranicí jako kandidáty pro manuální ověření. Editor se zaměří na tato místa namísto procházení celého přepisu.

Výsledek: editace hodinového záznamu se zredukuje z sekvenčního čtení celého textu na kontrolu označených míst — desítek nebo stovek slov místo tisíců. Ušetřený čas závisí na distribuci confidence v daném záznamu.

Upozornění: práh je třeba nastavit empiricky pro konkrétní typ záznamu a konkrétní model. Práh 0,65 na záznamu z profesionálního studia bude označovat jiný objem slov než stejný práh na nahrávce z telefonního hovoru.

Vstup do slučování modelů

Při ensemble přístupu — kde více modelů zpracovává tutéž nahrávku — slouží confidence score jako vstup do rozhodovacího algoritmu. Weighted voting: model s systematicky vyšším průměrným confidence dostane větší váhu při hlasování. Per-word výběr: pro každé slovo se vybere varianta s nejvyšší confidence přes všechny modely.

Limitace: nesrovnatelnost confidence mezi modely. Různé enginy škálují hodnoty jinak. Srovnání vyžaduje normalizaci nebo kalibraci na společné škále — jinak model s agresivnějším škálováním bude systematicky dominovat hlasování bez ohledu na skutečnou přesnost. A13

Orientační metrika kvality nahrávky

Průměrné confidence skóre celého přepisu slouží jako hrubý proxy pro kvalitu záznamu: nízký průměr naznačuje nahrávku s problémy — šumem, překryvy, přízvukem nebo neznámou terminologií. Tato informace pomůže rozhodnout, zda nahrávku předzpracovat (odšumit, normalizovat hlasitost) nebo přijmout vyšší objem editace jako danost.

Co confidence score neříká

Faktická správnost výroku: „Hladina světových moří klesla za posledních sto let o 300 metrů." Model přepíše s vysokou confidence, i když jde o faktický nesmysl. Model přepisuje zvuk, nehodnotí obsah.

Gramatická správnost v kontextu: per-word confidence hodnotí jednotlivá slova, ne jejich syntaktické vztahy. Věta může být foneticky přepsána správně a přitom gramaticky nesmyslná v konkrétním kontextu.

Sémantický smysl: správně přepsaná slova v nesprávném pořadí nebo kombinaci mohou dávat nesmysl. Confidence to nezachytí.

Nesrovnatelnost mezi modely je prakticky důležitá: confidence 0,9 z jednoho enginu nerovná se confidence 0,9 z jiného. Každý model má jiné škálování a kalibraci. Srovnávání modelů podle raw confidence hodnot je metodologicky vadné.

Czech Transcription System zobrazuje confidence score ke každému slovu přepisu a umožňuje filtrovat slova pod zadanou prahovou hodnotou. Souhrnný confidence report orientačně hodnotí kvalitu nahrávky. Při ensemble zpracování, kdy stejná nahrávka běží přes více přepisových enginů, slouží per-word confidence jako jeden ze signálů pro slučovací vrstvu, která vybírá finální variantu jednotlivých slov nebo segmentů.

Jak confidence score vstupuje do slučování výsledků více modelů je popsáno v přehledu ensemble přístupu A13. Celkové metriky přesnosti přepisu — WER a CER — doplní confidence score jako systémový pohled A07.

Zdroje:

• Guo, C. et al. (2017). On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning (ICML 2017).
• Deepgram dokumentace — confidence score. https://developers.deepgram.com/docs/pre-recorded-audio
• AssemblyAI dokumentace — výpočet confidence score. https://www.assemblyai.com/docs/faq/how-are-word-transcript-level-confidence-scores-calculated