rigayaの日記兼メモ帳

---

CUDA 10.1に移行 (x64のみ)

---

これまでずっとCUDA 8.0を使ってきたのだけど、Turingでfp16を使用するため、CUDA 10.1に移行した。fp16演算対応自体はCUDA 9から行われているが、fp16の演算を普通の記号(+-*/とかの演算子)で書くことができず、いちいち組み込み関数を使用する必要があったり、CPU側でfp16を取り扱うことができないなど、やたらと不便だった箇所がCUDA 10では見事解消されている。

なお、後にも書いたけど、CUDA 9.0以降はなぜかVisual Studio 2015環境下でのx86ビルドに対応していなくて、そのためx86版はCUDA 8.0のままとしている。

---

3つめのインタレ解除フィルタの追加

---

NVENCでは、Turing世代になってH.264のインタレ保持エンコが省略されてしまい、インタレ保持でのエンコードができなくなっているので、基本的にはQSVかx264でインタレ保持エンコするか、あるいはNVENCを使うならインタレ解除してエンコードするしかない。

NVEncにはインタレ解除フィルタとして、
・cuvidのhwインタレ解除
・vpp-afs (自動フィールドシフト)
があるのだけど、cuvidのhwインタレ解除はhwデコード時しか使えないし、自動フィールドシフトのほうはそれなりにくせがあるので、もう一つぐらい選択肢があってもいいのかなと思って、3つめのインタレ解除フィルタとして、nnediをCUDAで実装して追加した。

---

nnediは、基本的には片方フィールドは捨てて、もう片方のフィールドからニューラルネットを使って輪郭を補正しながらフレームを再構築することでインタレ解除するフィルタ。一般に高品質だといわれている。

一方で比較的重めのフィルタとされていて、最初CUDAで普通に実装したら1フレームに100ms以上かかって8fpsとかしか出なかった…。そこから最適化をいろいろ頑張ってだいぶ速くなり、Turing世代ならfp16が使えるのもあって、それなりの速度は出せるようになってきた。

実装できたのはCPU版の一部の機能で、すべての機能ではないのだけど、かなり疲れてきた(主に高速化のために無駄に複雑化した実装のせいだが…)のでひとまず公開。詳細はこちら。

---

環境

GPU	GTX1080	GTX1060	RTX2070
GPUドライバ	419.35
OS	Win10 x64
CPU	R7 1700	i9 7980XE
RAM	DDR4-2400, 2ch	DDR4-3600, 4ch
	16GB	16GB

入力: ts 1920x1080i, 29.97fps, 10240frame (hwデコード)

出力: HEVC 1080p, 29.97fps

実行コマンド:
NVEncC64.exe --avhw -c hevc --cqp 18:20:23 --audio-copy --tff --vpp-perf-monitor --vpp-nnedi prescreen=[下の表を参照],prec=<fp16/fp32>,nsize=32x4,nns=32

vpp-perf-monitorによる1フレーム当たりの平均処理時間 (ms)

prescreen	format	GTX1060	GTX1080	RTX2070
		fp32	fp32	fp32	fp16
new_block	yuv420 8bit	5.18 ms	2.69 ms	2.21 ms	1.11 ms
	yuv420 10bit	6.00 ms	2.85 ms	2.22 ms	1.17 ms
none	yuv420 8bit	13.79 ms	6.50 ms	6.96 ms	3.14 ms
	yuv420 10bit	15.20 ms	7.22 ms	7.13 ms	3.19 ms

やはり、もともと重めなフィルタだけあって、GTX1060などだと完全にフィルタのほうが足を引っ張ってしまい、hwエンコーダに十分な速度でフレームを提供できなくなってしまって、あまり嬉しくない感じ。

一方、Turingで使えるfp16はfp32と比べて理論的には倍速で計算できるので、それ専用に実装してみると、やはりかなり速く、hwエンコードの速度にそれなりについていけるように思う。RTX2070だから速いというのもあるけど、Turingならfp16は使えるはずなので、GTX1660ぐらいでもそこそこ速度が出るのではないだろうか?

まあ、nns/nsize等いじればいくらでも重くできるのがこのフィルタの怖いところ。デフォルトのパラメータは、hwエンコに適するよう比較的軽めのものにしてある。

なお、Turingであってもfp16が使えるのはx64版だけな点に注意。これは、fp16に対応しているCUDA 9.0以降がなぜかVisual Studio 2015環境下でのx86ビルドに対応していないためなので、すみませんがどうしようもないのです…。

もっともAviutlでもエンコーダはプロセスを分けているので、普通にx64 OSなら特に問題はない気もする。

---

Q: 24fps化したい場合は?
A: たぶんできないで、そちらはvpp-afsでお願いします。

Q: Tensorコアでもっと速くなる?
A: うまく使えばきっと速いのだろうけど、実装が大変そうなのと、GTX1660Ti以下で恩恵がない実装になるのがちょっと…。将来、下位シリーズまでTensorコアが展開されていけばうれしいけど…。

その他不具合・要望等ありましたらコメントください。

---

ダウンロード>>
ダウンロード (ミラー) >>
OneDriveの調子がいまいちの時はミラー(GDrive)からどうぞ。同じものです。

NVEncCのオプションについてはこちら。
NVEncCオプション一覧>

ソースはこちら>>

---

---

CrystalDiskInfoの表示。14000GBはいつ見ても圧巻。



ベンチマーク結果(1GB)↓。265MB/sと、これまたHDDとしては恐ろしい速度だ。



このHDD、キャッシュが512MBもあるというので、念のためテスト容量を32GBにして再テスト↓。ややスコアが下がるものの、それでも250MB/s越えはすごい気がする。



とはいえ、ずっと250MB/sを維持できたとしても14000GBすべて読むには15.5時間かかる…というと14TBという容量の巨大さがわかると思う。(しかも実際には内周に行くにつれて速度は下がる)

---

参考までにこれまでのベンチマークまとめ。

容量	メーカー	型番	Seq. Read	表	裏	info	bench
320GB	SA	HD321KJ	63.7	*	*	*	*
500GB	H	HDP725050GLA360	93.9	*	*	*	*
500GB	H	HDP725050GLA360						カッコンして死亡
1TB	WD	WD10EACS_00ZJB0	80.9	*	*	*	*	不良セクタ増
1TB	WD	WD10EACS_00ZJB0						不良セクタ増で死亡
1.5TB	WD	WD15WARS_00Z5B1	96.9	*	*	*	*
1.5TB	SA	HD154UI	114.6	*	*	*	*
2TB	H	HDS722020ALA300	132.9	*	*	*	*
2TB	H	HDS723020BLA642	149.0	*	*	*	*
2TB	H	HDS723020BLA642	172.4	*	*	*	*
2TB	H	HDS723020BLA642	172.4	*	*	*	*
2TB	WD	WD20EARS_00MVWB0	120.6	*	*	*	*
2TB	WD	WD20EARS_00MVWB0	118.8	*	*	*	*
2TB	WD	WD20EARS_00MVWB0	126.7	*	*	*	*
3TB	H	HDS723030ALA640	155.3	*	*	*	*
4TB	H	HDS724040ALE640	169.6	*	*	*	*	不良セクタ増
4TB	H	HDS724040ALE640		*	*
4TB	H	HDS724040ALE640		*	*
4TB	H	HDS724040ALE640		*	*
5TB	T	MD04ACA500	196.7			*	*
6TB	H	HDN726060ALE610	226.9	*	*	*	*
6TB	T	MD04ACA600	196.7	*	*	*	*
10TB	H	HUH721010ALE600	245.7			*	*
10TB	WD	WD100EFAX_6BLHPN0	202.8	*		*	*
14TB	T	MN07ACA14T	237.6	*	*	*	*
14TB	WD	WUH721414ALE6L4	265.4	*	*	*	*

H ... HGST / WD ... WesternDigital / T ... Toshiba / SA ... Samsung