Irodori-TTS が生成した音声に入っている SilentCipher の電子透かしを、ブラウザの中だけで検出するツールです。ファイルをページに落とすとその場で解析が始まります。サーバー側の処理はなく、音声がこの端末から出ることもありません。
何を見ているのか
Irodori-TTS は irodori_tts/watermark.py で SilentCipher の 44.1 kHz モデルを呼び、IRDTS という 5 バイトの固定ペイロードを埋め込みます。この検出器は SilentCipher のメッセージデコーダ dec_m_0 だけを ONNX に書き出し、onnxruntime-web の WebAssembly 実行プロバイダで動かします。エンコーダと搬送波デコーダは検出に要らないので、モデルは 9.5 MB で済んでいます。
流れは、WebAudio でデコードし、モノラルに落とし、torchaudio 互換の sinc カーネルで 44.1 kHz に再標本化し、SilentCipher の基準パワーに合わせ、4096 点の STFT(ホップ 2048)をかけて、下位 1024 バンドをデコーダに渡す、というものです。PyTorch との一致は argmax で 100%、相対誤差は 3.8e-5 です。
判定の作り方
エンコーダは 21 シンボルの語(2 ビットのペイロードシンボル 20 個と終端)を、21 フレームごとに繰り返し貼り付けます。そこでブラインド復号だけに頼らず、既知の IRDTS を 21 通りすべての回転で当てて採点します。外れている 20 通りがその音声自身から得られた帰無分布になるので、検定は素材ごとに自分を較正し、短い区間でもブラインド復号より鋭くなります。
独立した数字が 3 つ出ます。それぞれ別のことを言っています。
| 指標 |
何の証拠か |
margin と p 値 |
ペイロードが一致したことの証拠。判定を決めるのはこれです |
structure |
ペイロードに依らず、SilentCipher の透かしが在ること自体 |
| 復号ペイロードとシンボル一致数 |
実際に読み出せた語。別のペイロードを Irodori と誤認しない |
structure は周期 21 の一貫性をそのまま使うことができません。純音を入れるとデコーダが定数を吐き、それはどの周期でも完全に畳めてしまうからです。周期 19, 20, 22, 23 と比べて偶然分を差し引いています。
較正
閾値は、ネガティブコントロールに対して窓の位置を動かし、その最悪値から決めています。
| 窓 |
陽性の最小 margin |
陰性の最大 margin |
| 4 秒 |
0.233 |
0.276(重なる) |
| 5 秒 |
0.281 |
0.218 |
| 6 秒 |
0.291 |
0.169(分離) |
| 8 秒 |
0.322 |
0.157 |
4 秒では 2 つのクラスが分かれないので、6 秒未満では判定を出しません。 最初の版は 4 秒で判定していました。較正してそれが成り立たないと分かったので最小窓を上げてあります。遅くなったのは退行ではなく、正しさと引き換えた結果です。一番手強い陰性は、別のペイロードを載せた SilentCipher の透かしでした。
16 kHz の変種は 8 秒必要で、しかもバイト列のペイロードを持てません。silentcipher のバイト符号化は 1 バイトを 2 ビット 4 シンボルにしますが、16 kHz モデルのシンボル枠は 15 で、4n = 15 に整数解がありません。encode_wav() はどんな長さのペイロードでも AssertionError を投げます。つまり 16 kHz での検出は「SilentCipher の透かしが在る」までしか言えません。Irodori-TTS 由来である証拠にはなりません。
速度を決めるヘッダ
onnxruntime-web のスレッドプールは SharedArrayBuffer を要求し、それにはページが cross-origin isolated である必要があります。COOP/COEP が無いと、ORT は要求したスレッド数をそのまま報告しながら 1 スレッドで動きます。
| 構成 |
isolated |
1 フレーム |
6 秒の判定 |
| 4 スレッド |
はい |
263 ms |
約 34 秒 |
| 1 スレッド |
はい |
555 ms |
約 72 秒 |
| 素の静的サーバー |
いいえ |
555 ms |
約 72 秒 |
GitHub Pages はレスポンスヘッダを設定できないので、service worker が各リクエストを発行し直してヘッダを付けています。初回だけ 1 度リロードが入るのはそのためです。Cloudflare Pages なら _headers が最初の読み込みから効きます。ページはこの状態を検出し、ただ遅いまま放置せずバナーで知らせます。
かかる時間
| 音声 |
窓 |
フレーム |
実測 |
| 14 秒・透かしあり |
最小 |
129 |
29.8 秒(早期終了) |
| 14 秒・透かしなし |
最小 |
129 |
31.6 秒 |
| 341 秒・透かしあり |
最小 |
129 |
26.5 秒 |
時間を決めるのは窓であって、ファイルの長さではありません。5 分のファイルでも、15 秒のファイルと同じだけしかかかりません。以前はそうではありませんでした。129 フレームしか使わないのに、前段がファイル全体を再標本化して STFT にかけていて、341 秒のファイルで 7.2 秒かかっていたところが 0.2 秒になっています。
実装して測り、捨てた最適化も 3 つあります。conv と gate の融合は出力がビット単位で同じまま 3% 遅くなり、チャンクを大きくしてハローの重複を減らす案は 1.6% しか速くならず(WASM ではメモリ帯域が律速です)、int8 の動的量子化は 4 倍遅くなりました。
限界
「検出」の意味は「このペイロードと整合する SilentCipher の透かしを載せている」までです。 エンコーダは 1 シンボルに 2 ビットを詰めるので、上位ビットが同じペイロードはシンボルを共有します。印字可能な ASCII はすべて 01 で始まるため、無関係な 5 文字どうしでも既に多くの位置で一致します。6 秒窓での実測では、HELLO を載せた音声を IRDTS で探すと margin 0.207、その逆は 0.220 で、どちらも閾値 0.23 のすぐ下に落ちて判定保留になります。1 バイトだけ違うペイロードはもっと強く相関し、検出と報告されることがあります。画面が常に復号ペイロードとシンボル一致数を並べて出し、食い違いを警告するのはそのためです。
「透かしが見つからなかった」は、解析した区間についてしか言っていません。 窓を広げ、早期終了を切ってから結論してください。それに Irodori-TTS 自身、silentcipher パッケージやチェックポイントが無い環境では透かしを付けずに音声を返します。本物の Irodori-TTS 出力が透かしを持たないことは、正当に起こります。
最小長は固い床です。 変種の最小窓より短いファイルは、どの設定でも判定に届きません。音声がそこに無いからです。
ノイズ的な音声は、きれいなのではなく検定できません。 SilentCipher は音声で学習されていて、どちらのモデルもピンクノイズやガウシアンノイズからは SDR 49 dB でも自分の透かしを取り出せません。
敵対的な透かし除去、強い時間伸縮、ピッチ変更、低ビットレートでの再エンコードに対しては評価していません。
ライセンス
検出器のコードは MIT です。モデルの重みは sony/silentcipher のもので、元のライセンスのままです。