自動フィールドシフト 高速化版 +17

今回は高速化ではないけど更新。

解析用バッファも確保を分割して行うことで、メモリ確保エラーを低減。
さすがにこれでメモリ確保エラーが出たら、メモリブロックサイズの問題ではなく、本当にメモリが足りないか、AviutlのVirtual Sizeが2GB(or 4GB)超えてるんだと思う…。

---

にしても速くするネタがもう尽きた。全体並列化もやってしまったのでネタがそろそろ本当にない…。

もうハードウェアに期待するしかないんだけど…Skylakeはどうなんでしょ。

・AVX512BW / AVX512DQはSkylakeに載るのかな? (AVX512Fはどうでもいいのですよ…)
・Skylakeでシャッフル系のスループットの悪さは治るかな?
・Skylakeで256bitシャッフルのレイテンシの悪さは治るかな?
・そもそも本当に来年出るのかな?

出る出る詐欺で遅れに遅れたBroadwellちゃんにはあんまり興味ないです…。

---

ダウンロード>> (skydrive)　(dropbox)

---

x264guiEx 2.24v2

・mp4box用iniでもflacの圧縮率を設定できるように。
書き忘れてました。

---

ダウンロード>>
ダウンロード (ミラー) >>
Skydriveの調子がいまいちの時はミラー(dropbox)からどうぞ。同じものです。

x264guiExの導入>

---

x264guiEx 2.24

バグの修正。

「チャプター位置にキーフレームを設定する」機能が正常に動作していなかったのを修正。

指摘していただき、ありがとうございました。

---

ダウンロード>>
ダウンロード (ミラー) >>
Skydriveの調子がいまいちの時はミラー(dropbox)からどうぞ。同じものです。

x264guiExの導入>

---

QSVEnc 1.27

ポケモン発売前になんとか間に合わせることができた。

---

QSVEncとしては久しぶりの大型更新。

Intel Media SDKを更新し、API v1.11に対応。

正確には、Media SDKはIntel Integrated Native Developer Experience 2015の一部、という扱いになったらしいのだけど、…名前長い。わかりにくい名前とか長い名前ってのは良くないと思うのですよ…。

というわけで今後「Intel Integrated Native Developer Experience 2015の一部のMedia SDK」は「Media SDK 2015」と書くことにする。

続きを読む

続きを閉じる

---

共通

---

API v1.11に対応。

・LA_HRD (先行探索レート制御 (HRD互換)) モードに対応。(--la-hrd)
先行探索レート制御と画質はあまり変わらそうなので、面白みはないけど、再生互換性が高まるかもしれないので、地味に良いかもしれない。

・QVBR (品質ベース可変レート制御) モードに対応。(--qvbr, --qvbr-q)
こちらのほうが新しいモードとして面白い。品質と平均ビットレート、最大ビットレートを指定できる。

イメージとしては、
1.基本的には品質ベースでエンコード
2. 平均ビットレートを超えそうになったら、画質を落として平均ビットレートを保つ
3. 平均ビットレートを超えないなら、指定した品質ベースで容量を縮める
かんじ。

普通のVBRは、平均ビットレートを維持するため、動きが少ないなど圧縮率の高いところでも無駄に容量を食ってしまう。しかしQVBRでは、ある程度適切なビットレートを指定すれば普通のVBRであったような無駄が減り、その指定したビットレートの範囲内でより柔軟に割り振りをしてくれる。

なかなかおもしろいモードだと思う。

・先行探索レート制御に使用可能な「ウィンドウベースレート制御」を追加。 (--la-window-size)
設定したフレーム分の時間幅を持って、ビットレートが最大ビットレートを超えないよう制御するらしい。LA-HRDのほうだと特に有効かもしれない。

・VppのImage Stablizerを追加。効果の程は謎。(--vpp-image-stab)
使ってみたけど…よくわからない。

・機能情報表示を拡充。
1.27で追加した機能に対応。

・ログ表示を改善。
少し下に長くなりすぎていたのを改善。上下に長いのは嫌いなので…。圧縮。

---

Intelの10.18.10.3960ドライバがAPI v1.11対応だった。(3907はAPI v1.10)

Intelドライバの対応状況について詳細はこちら。

ただ、今回追加された機能も、おそらくはHaswell以降が必要になるんじゃないかと思う。

ちなみにHaswellだとこんなかんじ。(3960ドライバ)


ただ、3960ドライバはあまり安定してない気が…。

---

QSVEnc ダウンロード>>
ダウンロード (ミラー) >>
OneDriveの調子がいまいちの時はミラー(dropbox)からどうぞ。同じものです。
Intel Media SDKのソフトウェア用dllはfull版にのみ含めるようにしました。

QSVEncBenchmark.zipはベンチマーク用です。(220MBと重いので注意)。run_benchmark.batをダブルクリックで実行です(要 Avisynth + lsmashsource.dll)。

QSVEncCのオプションについてはこちら。
QSVEncCオプション一覧>

---

ffmpegOut 0.05

ポケモンが出るまでにまとめて更新しとく。

---

おおざっぱに1年半ぶりぐらいの更新。

一番重要なのは文字化けする問題をだいたい修正できたこと。

続きを読む

続きを閉じる

---

今まではファイル名に日本語入れただけで文字化けとか、とてつもなく残念だったけど…やっと日本語がちゃんと表示される。

・設定ファイルを刷新。
- 設定ファイルにVP9用の設定を追加。
- 設定ファイルにx265用の設定を追加。

・x264guiEx 2.23までの機能の取り込み
- iniファイルにfdkaac用の設定を追加。
- flacの圧縮率を設定できるように
- wine互換モードを追加
- 音声エンコーダのログも出力できるように
- 音声ディレイをカットする機能を追加。
- デフォルトの音声エンコーダを変更する機能を追加 (その他の設定から)
- 色空間変換でAVX2対応。
- ログウィンドウで出力ファイル名を右クリックから「動画を再生」「動画のあるフォルダを開く」機能を追加。
- ログが文字化けすることがあるのを修正。
- ログにmuxer/音声エンコーダのバージョンを表示するように。
- ログにx265guiEx/Windowsのバージョン情報、CPU情報を表示。
- ログにエンコード中のCPU使用率を表示するように。

---

ダウンロード>>

---

IntelドライバとQSVEnc (2014年11月版)

2014年11月現在の調査結果。

続きを読む

続きを閉じる

---

【検証環境 ～2011.09.30】
Win7 x64
Core i5 2500 + H61
4GB RAM
Intel Graphics Driver 8.15.10.2376
Intel Graphics Driver 8.15.10.2509

【検証環境 2011.10.01～】
Win7 x64
Core i5 2500 + Z68
GeForce 8600GT as Primary GPU
4GB RAM
Intel Graphics Driver 8.15.10.2509

【検証環境 2012.01～】
Win7 x64
Core i5 2500 + Z68
4GB RAM
Intel Graphics Driver 8.15.10.2509
Intel Graphics Driver 8.15.10.2559 (API v1.1)
Intel Graphics Driver 8.15.10.2626 (API v1.3)
Intel Graphics Driver 8.15.10.2653 (API v1.3)

【検証環境 2012.05～】
Win7 x64
Core i7 3770K + ASUS P8Z77-M
16GB RAM
Intel Graphics Driver 8.15.10.2696 (API v1.3)
Intel Graphics Driver 8.15.10.2729 (API v1.4)
Intel Graphics Driver 8.15.10.2753 (API v1.4)
Intel Graphics Driver 8.15.10.2761 (API v1.4)
Intel Graphics Driver 8.15.10.2867 (API v1.4)
Intel Graphics Driver 9.17.10.2932 (API v1.4)
Intel Graphics Driver 9.17.10.3071 (API v1.4)

【検証環境 2013.06～】
Win7 x64
Core i7 4770K + Asrock Z87 Extreme4
16GB RAM
Intel Graphics Driver 9.18.10.3165 (API v1.6)
Intel Graphics Driver 9.18.10.3187 (API v1.6)
Intel Graphics Driver 9.18.10.3220 (API v1.7)
Intel Graphics Driver 9.18.10.3257 (API v1.7)
Intel Graphics Driver 10.18.10.3336 (API v1.7)
Intel Graphics Driver 10.18.10.3354 (API v1.7)
Intel Graphics Driver 10.18.10.3412 (API v1.7)
Intel Graphics Driver 10.18.10.3464 (API v1.8)
Intel Graphics Driver 10.18.10.3496 (API v1.8)
Intel Graphics Driver 10.18.10.3612 (API v1.10)

【検証環境 2014.10～】
Win8.1 x64
Core i7 4770K + ASUS Z87 Gryphon
16GB RAM
Intel Graphics Driver 10.18.10.3652 (API v1.10)
Intel Graphics Driver 10.18.10.3907 (API v1.10)
Intel Graphics Driver 10.18.10.3960 (API v1.11) new!

【Intel Media SDKとAPIの対応関係】
API v1.11 … Intel Media SDK 2015 new!
API v1.10 … Intel Media SDK 2014 R2 for Server (有料?)
API v1.9 … Intel Media SDK 2014 R2 for Client
API v1.8 … Intel Media SDK 2014
API v1.7 … Intel Media SDK 2013 R2
API v1.6 … Intel Media SDK 2013
API v1.4 … Intel Media SDK 2012 R3
API v1.4 … Intel Media SDK 2012 R2
API v1.3 … Intel Media SDK 2012 (Intel Media SDK v3.0)
API v1.1 … Intel Media SDK v2.0

---

自動フィールドシフト 高速化版 +16

+16
フレームバッファ確保を分割して行うことで、メモリ確保エラーを減らし、安定性を向上。
提案してくださったHayatePP様、ありがとうございました。

+15
2つの処理を統合することで高速化。(2% 前後)

これまで並列化されていなかった部分も並列化(サブスレッド)。
これにより、Sandy-E / Ivy-E / Haswell-E などで、～25% 高速化。

続きを読む

続きを閉じる

---

サブスレッドの導入 (並列化されていなかった部分を並列化)

---

自動フィールドシフトはこれまでフレームを解析する部分(scan_frame)しか並列化されていなかった。トラックバーで設定できる「スレッド数」はこのscan_frame部分のスレッド数に相当する(afs メインスレッド数)。

これは(以前の開発環境では)他の部分がメモリアクセス中心の処理のため、並列化してもあまり速度が上がらないため。

ところが、以前測定したように、5960XなどQuad-Channelな環境では、マルチスレッドにしても比較的よくメモリ帯域が伸びていく。

ということは、たとえメモリアクセス中心の処理だったとしても、こういう環境では速度があがるんじゃないかなと思ったので、scan_frame以外の部分の並列化を行う「サブスレッド」を導入して、速度を測った。

---

環境
Aviutl 1.00
Win8.1 x64
MPEG2 1920x1080i, 29.97fps, 10240frames
m2v.aui 0.7.5a

Core i7 4770K Core 3.9GHz / UnCore 3.9Ghz, DDR3-2600, 2ch, 16GB
Core i7 5960X Core 4.4GHz / UnCore 4.0GHz, DDR4-2666, 4ch, 32GB

afs設定
映画/アニメ プリセット、(scan_frame)スレッド数 16

---

測定するときには、自動フィールドシフト設定画面のトラックバーにある「スレッド数」(下の図で灰色のscan_frame部分のスレ数)は16にしたまま、今回導入したサブスレッド(灰色のところ以外の並列数)を1～4まで変化させて測った。

1フレーム平均所要時間 [メインスレッド数: 16 固定] (+14 / +16 (サブスレッド数: 1～4))


scan_frame部分(灰色)のスレッド数は変わらないので、当然その部分の速度は前と(ほぼ)変わらない。

5960Xでは、サブスレッドを増やしていくと、他の部分が高速化され、所要時間が大幅に短縮されていくのがわかる。サブスレッド数を1(並列化なし)から2並列にすると25%近く高速化し、その後も少しづつ速くなっている。

一方、4770Kでは、サブスレッドを1から2に増やしても所要時間の短縮はほんのすこしで、さらにサブスレッド数を増やすと今度は逆に遅くなっていってしまう。

---

5960Xではサブスレッド数を2にするだけで大きな効果があるので、4770Kとのバランスも考えて、公開版ではサブスレッド数を"2"にしてある。

大きな効果があるのを確認したのはHaswell-Eだけだけど、似たような傾向にあるSandy-E, Ivy-Eでも効果があるんじゃないかと思う。

---

あと、HayatePP様にご提案いただいて、今回からafsで使うバッファ用のメモリを16フレーム分一気に取るのではなく、フレームごとに取るようにして、メモリ確保の失敗の回避を試みている。メモリの断片化のせいで、まとまったメモリ確保に失敗することがあり、細かく確保することでこれを回避しやすくなる、と教えていただいた。

指摘していただきありがとうございます。

メモリの確保は初期化時にしか行わないので、メモリ確保回数が増えることで遅くなることは考えなくても良さそう。

こちらの環境では意図的にメモリを食いつぶすなどしないとメモリ確保失敗は起こらないので、わたしには効果の程はよくわからないけれど、メモリ確保失敗が起こりにくくなっていればと思う。

あと64bitOSなら、Aviutlの設定でLargeAddressAwareにチェックを入れていただければ、さらに発生しにくくなるかと。

---

ダウンロード>> (skydrive)　(dropbox)

---

x265 ビルド ～ Visual Studio PGOビルド

コメントで教えていただき、昨日書いたように、Visual Studio Community 2013が公開され、Professional相当の機能が使えるようになった。これによってPGO (Profile Guided Optimization, プロファイリングによる最適化) ビルドができるようになった。

そこで、PGOビルドなx265を作ってみた。PGOビルドはGUIからやると割と面倒なので、あまり好きじゃないけどコマンドベースで。

普通のビルドに比べて2～3%高速。やる価値あるかというと、少なくとも「やって損はない」かな、と。

※2015.06.01 更新 - 最適化オプションを調整。

続きを読む

続きを閉じる

---

PGOビルド

---

通常のコンパイラの最適化は、コンパイル時にコードを解析して最適化をかける。PGO (プロファイリングによる最適化) は、それに加えて、実際にプログラムを実行した時の情報を使ってさらなる最適化を加える。gccだと、-fprofiledかな?

実際の手順は、

1. 情報収集用の実行ファイルをまずコンパイル。

2. 1で作成した実行ファイルで実際にプログラムを走らせ、情報を収集。exeを実行すると同じフォルダにpgcファイルができる(これが収集した情報)。

3. 2で収集した情報をもとにさらに最適化。

行われる最適化は、

・より的確なインライン展開の判断。

・レジスタ割り当ての最適化。

・最適な/Og ←→ /Os 切り替え。

・関数レイアウトの最適化。測定した関数の呼び出し傾向をもとに、呼び出される関数を呼び出し元の近くに配置し、(命令)キャッシュ効率を向上させる。

・使用頻度の低い部分の分離。これもキャッシュ効率の向上につながる。

・プログラム実行中、どちらがtrueになりやすいかという情報に基づいて、条件分岐の最適化。

などなど。

---

ビルドの準備

---

Visual Studio Community 2013
CMake (Win32 Installer をダウンロード)
Mercurial (MSI installer かInno Setup installerのどちらかを)
yasm
適当なy4mファイル (ffmpegとかで自分で作るか、このあたりから適当に bus_cif.y4mとかで)

ffmpegでy4mを作る場合、
ffmpeg.exe -y -i <ソース動画> -an -pix_fmt yuv420p -f yuv4mpegpipe -frame 240 <出力.y4m>
とかで作れば良いと思う。

---

1. インストーラに従ってVisual Studio Community 2013をインストール。ダウンロード・インストール方法はこちら。

2. インストーラに従ってMericurialをインストール。環境変数を設定してもらうのを忘れないようにする。



3. インストーラに従ってCMakeをインストール。環境変数を設定してもらうのを忘れないようにする。



4.ダウンロードしたyasmをパスの通じているところへ配置する。さっきCMakeのbinにパスを通しているので、Cmake\binに放り込んだ。




5. ひとまず、コマンドプロンプトで、
がそれぞれ反応があるか確かめる。

これで準備は完了。

---

ビルド実行

---

これで終わり。

---

効果は?

---

環境
Win 8.1 x64
Core i7 5960X (8C/16T, L3=20MB)
Core 4.4GHz / Cache 3.8GHz
DDR4-2666, 4ch, 32GB
Aviutl 1.00
lwinput r726
x265guiEx 3.48v2

ソース
グリザイアの果実 (アニメ) OP を一度x264 (crf=18) + x264guiEx + afsでエンコードしたもの。
1920x1080p 23.976fps H.264/AVC 2155frames 8483kbps

x265.exe 1.4+62 x64 8bit
・PGOビルド
・普通のLTCGビルド
実行ファイルはこちら。

x265 オプション
--preset medium --crf 21
--preset slow --crf 21 --pmode

---

結果

	LTCG	PGO	高速化率
medium	26.86 fps	27.63 fps	+2.9%
slow + pmode	9.82 fps	10.07 fps	+2.5%

普通のLTCGビルド (9.87 fps)


PGOビルド (10.07fps)


わずかだが、確かに速い。

---

とまあ、こんな感じで、たしかに効果はあるけど、すごい効果があるわけでもない。でも速いならそれに越したことはなく、やって損はない、という感じ。

これもVisual Studio Community 2013が公開されたからできることなので、ありがたいことだと思う。

---

x265guiEx 3.49

Cドライブ死亡以後、まだいろいろインストールできてないものの、Visual Studioは入ったので、更新。

・x265の--deblock <int>:<int>に対応。
・--tune grainに対応。
・x265guiEx.iniのx265デフォルト値の見直し。
- keyintのデフォルトは250
- --preset fastは--ref 2

オプションまわり、ご指摘いただきありがとうございました。

・更新画面を開くとエラーで落ちてしまうことへの対策…をしたつもり。
ここも報告いただいた問題。ただ、残念ながらどうすれば再現できるのか全くわかっていないので、今回の対策で修正できていないかもしれません。ごめんなさい。

更新画面については、

・System.UnauthorizedAccessと出る
・Windows Update以後発生するようになった
・最近のx265guiExで起こるようになった

など頂いた手がかりを参考に調べていきたいと思います。

---

ダウンロード>>
ダウンロード (ミラー) >>

---

Visual Studio Community 2013

みなさまからコメントをいただいたように、Visual Studio Community 2013が公開となっている。

このバージョンはVisual Studio 2013 Update4に対応するとともに、Visula Studio Professionalまでの機能が使えるということで、なかなか素晴らしい物になっている。

続きを読む

続きを閉じる

---

Visual Studio Communityの画面に飛ぶと下の方からダウンロード画面に飛べる。


少し下の方にVisual Studio Community & Expressとあるので、ここをクリックすると下のような画面が表示される。

左側のISOかwebインストーラの好きな方と右側の日本語パッケージをダウンロードしておく。



インストールを起動するとこんなかんじ。



基本的には、次へ進めていけばいい。



なんかいろいろインストールできるらしいけど、ここでは絶対使いそうにないもののチェックを外した。



インストールが終わるとこんな感じ。とりあえず起動してみる。

まあ、日本語パッケージが別であることからわかるように、このままでは英語表示になっている。



このままでは使えないので、日本語化する。さっきダウンロードした日本語化パッケージを実行する。



なんか途中でエラーが出たが、無視して進めた。

日本語化パックをインストールして起動しても、そのままでは英語のままだった。Toolsから設定を開き、Environment > International Settingsから日本語を選んで、Visual Studioを再起動する。



やっと日本語になった。



いろいろな種類が新しいプロジェクトとして作れる。



・Visual Basic
・Visual C# (Win Form, web, WCF, Share Point, ASP.NETなどなど)
・Visual C++ (win32, C++/cliだけでなく、MFC,ATLも)
・Visual F#
・SQL Server
・Javascript
・Python
・TypeScript

いままで拡張の形でしか使えなかったpythonが標準で入ってるし、またExpressにはなかったATLやMFCを使うこともできる。

---

Expressでは使えなかった機能として、

・アドイン
・ATL, MFC
・リソースエディタ
・PGOビルド
・プロファイラ (パフォーマンスレポート)
・コード分析
・Spy++(まあどっかから単体でダウンロードできるけど)

などがあってこのへんが無料で使えるっていうのはかなりすごいことだと思う。無料でいろいろなアドインもあるので、試してみたい。

---

別の話題として、Visual Studio 2015 Previewも公開された。

.NET FrameworkのLinux/Mac対応など、なかなかすごい気もするが、とりあえずC++に注目してみてみる。

主な便利そうなものだけ。

・UTF-8, UTF-16, UTF-32対応と生文字列リテラル (C++11)
・alignofとalignas(C++11)
・ラムダ式初期化キャプチャー (C++14)
・ジェネリックラムダ式 (C++14)

生文字列リテラルは欲しかった機能のひとつ。C#にはすでにあるので便利。

・コンパイル時間の短縮。

・自動ベクトル(SIMD)化の強化。
範囲for文への対応強化とか、#pragma loop(ivdep)対応とか、if-then-elseをマスキングで生成できるとか。…てかif-then-elseのマスキングできなかったのか…。
やっぱ自動SIMD化・自動並列化は圧倒的にIntel Compilerが得意。

自動ベクトル化は整数演算系の場合はあまり役に立たないのだけど、浮動小数点演算の場合は基本的に型(floatかdouble)が安定しているため自動ベクトル化が効きやすいことが多い。まあそれでもなかなか難しいとは思う。

・better code generation for std::min and std::maxてのはなんだろう。

ところで、OpenMP 4.0はなしですかねえ。

---