HLSするなら H.264で

Nginx rtmp-module にてhls配信構築中

Flash Media Encoder設定では、Format をVP6にするとtsファイルはできないので注意する。
H.264でエンコードする事。