ブログ / 話者分離つき文字起こしをローカルでやる

話者分離とは何をしているのか

話者分離は、文字起こし(何を言ったか)とは別のAI処理です。おおまかには次の3段階で動きます。

1. 発話区間の検出。 音声の中から「誰かが話している区間」を切り出します。
2. 声の特徴量の抽出。 各区間の声から、声質を数値化した「声紋」のようなベクトルを計算します。名前を当てているのではなく、声の似ている区間をグループ化するための特徴です。
3. クラスタリング。 特徴が近い区間同士をまとめ、「話者1」「話者2」…とラベルを振ります。これを文字起こし結果のタイムスタンプと突き合わせて、発言者つきのトランスクリプトになります。

ローカルで動く、ということ

話者分離は計算量が大きく、かつてはクラウド側で処理するのが普通でした。現在は軽量で高精度な話者認識モデルが公開され、普通のPCでも実用速度で動きます。WhisperHUBでは文字起こし(Whisper系)も話者分離もすべてPC内で実行します。

精度の正直な話 — 得意と苦手

開発者として、できないことを先に書きます。

要するに、話者分離は「100%自動で完成品」ではなく、「9割を自動で片付けて、残りを人が直す」道具です。誤った箇所は結果画面で話者を付け替えて修正できます。

精度を上げる4つのコツ

1. 人数がわかっているなら指定する。 自動検出に任せるより、話者数を明示する方が精度が大きく上がります。
2. マイクを話者の中心に置く。 全員の声量バランスが揃うほどクラスタリングは安定します。
3. 1人ずつ話す運営にする。 会議の進行そのものが精度に効きます。かぶせ発言が多い会議は、どのツールでも荒れます。
4. 検出されすぎたら感度を下げる。 実際より多い人数に分かれてしまう場合は、検出感度を「低(まとめる)」方向へ調整します。

インタビューでの具体的な使い方は ライターの環境構築、研究の逐語録づくりは 質的研究の記事 でそれぞれ解説しています。