nginx rtm-module HLS配信で音ズレを修正する

本ページは広告が含まれています。気になる広告をクリック頂けますと、サーバ運営費になります(^^

HLS配信音ズレが気になる

nginx rtmp-module でHLS配信をしていますが、音ズレが気になってしょうがないような状態になってきました。RTMPで配信するよりも、ズレがひどくなっているように思います。

リップシンクとも呼ばれるかも。Lip Synchは唇の動きと、音声（音）がずれないように合わせていく事を言います。これを行うためには２つのアプローチがあります。

音ズレ防止３つのアプローチ

1つ目は、映像配信を長くしていると、段々と音がずれていってしまう。何の拍子か、長時間たつとだんだんと音と映像がずれていってしまう事があります。これをタイミングをとって自動的に補正する機能があります。

2つ目は、入力ソース上のズレは、上記自動補正では補正できません。映像キャプチャボード、音声キャプチャボードが分かれている場合は、どうやったってずれています。そのキャプチャーボードの性能によって大きくずれてしまうことだって考えられます。

3つ目は、Playerを疑います。私はweb player で、Video.jsを利用しブラウザ上でライブ映像が見られるようにしていました。rtmp配信では全く問題がなかったものが、hlsに変更する事で音ズレが目立つ羽目に。この音ズレも時間が経つにつれひどくなってくるもので、1番目・2番目の対策では全く効果がありませんでした。こんな場合は思い切ってPlayer自体を変えてしまいます。

私はエンコーダはOBSを利用しています。

音ズレを自動的に補正

○エンコーダ設定

ミキサー　⇒　音声入力キャプチャ（マイクとか）　⇒　歯車マーク　⇒　プロパティ

デバイスのタイムスタンプを使用にチェック

キーフレーム間隔

1秒（1秒ごとにキーフレームを送出して同期を促す）

○サーバの設定

wait_key on;

ビデオストリームをキーフレームで開始します。

wait_video on;

最初のビデオフレームが送信されるまでオーディオを無効にします。デフォルトではオフになっています。wait_keyそれに続く他の全てのデータと共にクライアント受信ビデオキーフレームを作るためにと組み合わせることができます。しかし、これは通常接続遅延を増加させます。エンコーダでキーフレームの間隔を調整して遅延を減らすことができます。

sync 10ms;

オーディオとビデオのストリームを同期させます。加入者帯域幅がパブリッシャ速度でデータを受信するのに十分でない場合、一部のフレームはサーバによって廃棄されます。これは同期の問題を引き起こす。タイムスタンプの差がsync引数として指定された値を超えると、それを修正する絶対フレームが送信されます。デフォルトは300msです。

rtmp {
      server {
         listen 1935;
         buflen 1s;
         drop_idle_publisher 5s;
         publish_notify on;
         access_log logs/rtmp_access.log;
         wait_key on;
         wait_video on;
         sync 10ms;

         application multi_jp {
            live on;
            record off;

            #auth.phpに書かれたユーザ名・パスワードを配信ポイントに掲載しないと配信できないようにする
            on_publish http://localhost/authpoint/auth.php;
            notify_method get;

            hls on;
            hls_path /usr/local/nginx/html/hls;

            hls_type live;

            hls_variant _lw BANDWIDTH=320000;
            hls_variant _md BANDWIDTH=576000;
            hls_variant _hi BANDWIDTH=1600000;
         }
   }
}

２．入力ソースのずれを補正する

入力ソースでずれていれば、１の同期をどうとっていっても、唇の動きと音声を同期させるのは無理です。元々ずれているのですから。特に映像はHDMIキャプチャで入力して、音声はアナログでキャプチャしているとか、入力経路が違えばずれてしまいます。それがエンコーダで処理する時に、パソコン内部の処理の違いによってもずれてくるため、さらに大きくずれてしまいます。これを手動で調整させます。

ミキサー　⇒　音声入力キャプチャ（マイクとか）　⇒　歯車マーク　⇒　プロパティ