SMB Multichannelを活用する

Windows 8/8.1向け。

SMB Multichannelを使ってネットワークドライブを高速化する。

録画データがメインマシンにではなく、別のマシンにあり、そのドライブをドライブごとネットワークドライブにしてアクセスしている。で、その際の速度・快適性を上げるため、SMB Multichannelを使ってみよう、という話。

メモ書き程度なのでちょっとわかりにくいです。

続きを読む

続きを閉じる

---

1. SMB Multichannelの前に、レイテンシの削減

---

普通にハブを介して有線で接続すると、こんな感じになる。

PC(1) メインPC (接続側)	PC(2) ネットワークドライブ側
Win 8.1 x64	Win 8.1 x64
Intel Core i7 5960X	Intel Core i7 4770K
DDR4-2666, 4ch, 32GB	DDR3-2400, 2ch, 16GB
ASUS X99 Deluxe	ASUS Z87 Gryphon
Intel I218V (オンボード)	Intel I217V (オンボード)
Intel I211-AT (オンボード)	Intel Gigabit CT
Intel Gigabit CT	Intel Gigabit CT

リモートデスクトップをしたり、ネットワークドライブの録画データをAviutlでシークしたり、単なるファイルコピーではなく細かいファイルを大量にコピーしたりすると、ネットワークのレイテンシが邪魔して、だいぶもっさりする。

レイテンシに関しては、無線は論外なのだけど、有線であっても、ハブを経由しているとやはりレイテンシはだいぶ増える。なので、これを解消するには2台のマシンを直結してやれば良い。

さいわいにして、メインマシンのマザーボード X99 Deluxeにはネットワークアダプタが2つある。あとは、LANカードをネットワークドライブのあるPCに追加して、LANケーブルで直結し、適当にIPアドレスをふっておけば、最短経路を使ってアクセスしてくれるようになる。

---

2. SMB Multichannelでスループットの向上

---

Gigabit LANの帯域はその名の通り1Gbpsで、理論帯域は125MB/s、ファイルコピーの実効帯域は110MB/s前後でしかない。これでは、HDDの速度を活かしきれているとはいえない。

そこで、この帯域を拡大することを考える。

2つのネットワークアダプタを束ねて使用するチーミングというのがあるが、これはファイル共有のような用途では実効帯域は上がらない。なので、Win7まではGigabit LAN以上の帯域が欲しければ、めちゃくちゃ値段のする10Gigabit LANしか選択肢がなかった。ところがWin8からは、SMB Multichannelという技術によって、2つの経路があれば、これを両方使用して帯域を拡大することができる。対象となるPCへの接続が複数のネットワークによってなされており、そのネットワークアダプタを束ねることが可能な場合、SMBのMultichannelは自動的に有効になり、帯域が拡大する。

基本的には、こんな感じのネットワーク構成にすれば良いことになる。



ただ、束ねるネットワークアダプタは同種のものでなければならないらしい。(参考1)(参考2)
ここでハマった。

同種というのは、
・同じ理論帯域
・RSSサポートの有無
・RDMAサポートの有無
がすべて揃っていることを意味する。

つまり、GigabitLANと100MbpsのLANは混ぜられないし、RSSサポートのあるアダプタとないアダプタは混ぜられない。

特に面倒なのがRSSサポートの有無で、上に書いたようにこれが揃っていないと束ねて使うことができない。最近のネットワークアダプタは、基本的にはRSSに対応しているようにみえる。実際にネットワークドライバの設定を見ると、RSSのキューの数が設定できるし、RSSに対応しているように思う。


ネットワークアダプタ Intel I218-Vのドライバの設定画面。RSSのキューの数が設定できる。

問題は、これがSMB(ファイル共有)で使えるとは限らないということ。

SMBでRSSが使えるかどうかは、Power Shellで確認することができる。

まずはメインPC側のデバイスマネージャでネットワークアダプタを確認。



ここで、Intel I218-VとIntel I211はX99 Deluxeのネットワークアダプタで、Intel Gigabit CT Adapterは別途購入したPCIe LANカード。載っているチップはIntel 82574L。

さて、PowerShellでも確認。

PS C:\Windows\system32> Get-Netadapter

Name                      InterfaceDescription                    ifIndex Status LinkSpeed
----                      --------------------                    ------- ------ ---------
イーサネット              Intel(R) I211 Gigabit Network Connec...       3 Up       1 Gbps
イーサネット 2            Intel(R) Ethernet Connection (2) I218-V      14 Up       1 Gbps
Slot06 x16                Intel(R) Gigabit CT Desktop Adapter          15 Up       1 Gbps
VMware Network Adapte...8 VMware Virtual Ethernet Adapter for ...      12 Up     100 Mbps
VMware Network Adapte...1 VMware Virtual Ethernet Adapter for ...      11 Up     100 Mbps

次に、ネットワークアダプタの状態を確認。

PS C:\Windows\system32> Get-SmbClientNetworkInterface

Interface Index RSS Capable RDMA Capable Speed    Friendly Name
--------------- ----------- ------------ -----    -------------
3               True        False        1 Gbps   イーサネット
5               False       False        0  bps   isatap.{F42CFD76...
11              False       False        100 Mbps VMware Network A...
4               False       False        0  bps   isatap.{2D1437E0...
9               False       False        0  bps   isatap.{8E753259...
10              False       False        0  bps   isatap.{BBB0B02B...
13              False       False        0  bps   isatap.{86E3EA53...
15              True        False        1 Gbps   Slot06 x16
14              False       False        1 Gbps   イーサネット 2
12              False       False        100 Mbps VMware Network A...

ここで、NIC「イーサネット」(= Intel I211)と「Slot06 x16」(= Intel(R) Gigabit CT Desktop Adapter)はRSS Capable = Trueだが、なぜか「イーサネット 2」 (= Intel I218-V)が、RSS Capable = Falseとなってしまっている。Intel I218-Vはさきほどドライバ上はRSSが使えそうだったが…

このため、これをSMB Multiconnectionを使うためには、2台のPCの直結に使用するネットワークアダプタには、「イーサネット 2」は使用できず、「イーサネット」と「Slot06 x16」でなければならない。(当然、もう一台のPCのほうも1GbpsでRSS Capable=Trueでなければならない)

実際の接続状態をIPアドレスとの対応関係で確認。

PS C:\Windows\system32> Get-SmbServerNetworkInterface

Interface Index RSS Capable RDMA Capable Speed    IpAddress
--------------- ----------- ------------ -----    ---------
15              True        False        1 Gbps   192.168.2.20
15              True        False        1 Gbps   fe80::80c1:16e3:...
14              False       False        1 Gbps   240f:7f:3958:1:9...
14              False       False        1 Gbps   240f:7f:3958:1:2...
14              False       False        1 Gbps   192.168.0.20
14              False       False        1 Gbps   fe80::2caf:3f2:2...
3               True        False        1 Gbps   192.168.3.20
3               True        False        1 Gbps   fe80::b429:7253:...
11              False       False        100 Mbps fe80::ad9a:3c4e:...
11              False       False        100 Mbps 192.168.10.1
12              False       False        100 Mbps 192.168.205.1
12              False       False        100 Mbps fe80::7cb1:6a29:...

メインPCの直結用のIPアドレスである、192.168.2.20と192.168.3.20がRSS Capable=Trueとなっているアダプタに接続されていることが確認できる。

実際にSMB Multichannelが構成されているかを確認。

PS C:\Windows\system32> Get-SmbConnection

ServerName          ShareName           UserName            Credential          Dialect             NumOpens
----------          ---------           --------            ----------          -------             --------
rigaya2-pc          d                   RIGAYA-PC\rigaya    MicrosoftAccount... 3.02                8

PS C:\Windows\system32> Get-SmbMultichannelConnection

Server Name    Selected       Client IP      Server IP      Client Interfa Server Interfa Client RSS Cap Client RDMA Ca
                                                            ce Index       ce Index       able           pable
-----------    --------       ---------      ---------      -------------- -------------- -------------- --------------
rigaya2-pc     True           192.168.3.20   192.168.3.1    3              18             True           False
rigaya2-pc     True           192.168.2.20   192.168.2.1    15             19             True           False

意図したとおりの接続関係が構築できている。

実際にファイルをコピーして確認してみる。

まずは通常のGigabit LAN状態。100MB/sちょっと。



次に、SMB Multichannelが有効の状態。200MB/sを超えている。



この時のタスクマネージャ。



両方のアダプタが使われていることが確認できる。

---

3. まとめ

---

というわけで、SMB Multichannelで帯域増強ができた。これまでは、両PC間のデータ転送はLAN速度が律速になっていたが、これで再びHDDの速度を最大限活用できるようになった。

---

4. Power Shellによるその他のネットワーク情報の確認

---

Get-NetAdapter

PS C:\Windows\system32> Get-Netadapter

Name                      InterfaceDescription                    ifIndex Status LinkSpeed
----                      --------------------                    ------- ------ ---------
イーサネット              Intel(R) I211 Gigabit Network Connec...       3 Up       1 Gbps
イーサネット 2            Intel(R) Ethernet Connection (2) I218-V      14 Up       1 Gbps
Slot06 x16                Intel(R) Gigabit CT Desktop Adapter          15 Up       1 Gbps
VMware Network Adapte...8 VMware Virtual Ethernet Adapter for ...      12 Up     100 Mbps
VMware Network Adapte...1 VMware Virtual Ethernet Adapter for ...      11 Up     100 Mbps

Get-NetAdapterRss

PS C:\Windows\system32> Get-NetAdapterRss


Name                                            : イーサネット
InterfaceDescription                            : Intel(R) I211 Gigabit Network Connection
Enabled                                         : True
NumberOfReceiveQueues                           : 2
Profile                                         : NUMAStatic
BaseProcessor: [Group:Number]                   : 0:0
MaxProcessor: [Group:Number]                    : 0:14
MaxProcessors                                   : 8
RssProcessorArray: [Group:Number/NUMA Distance] : 0:0/0  0:2/0  0:4/0  0:6/0  0:8/0  0:10/0  0:12/0  0:14/0
IndirectionTable: [Group:Number]                : 0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6
                                                  0:4    0:6    0:4    0:6    0:4    0:6    0:4    0:6

Name                                            : イーサネット 2
InterfaceDescription                            : Intel(R) Ethernet Connection (2) I218-V
Enabled                                         : True
NumberOfReceiveQueues                           : 2
Profile                                         : NUMAStatic
BaseProcessor: [Group:Number]                   : 0:0
MaxProcessor: [Group:Number]                    : 0:14
MaxProcessors                                   : 4
RssProcessorArray: [Group:Number/NUMA Distance] : 0:0/0  0:2/0  0:4/0  0:6/0  0:8/0  0:10/0  0:12/0  0:14/0
IndirectionTable: [Group:Number]                :

Name                                            : Slot06 x16
InterfaceDescription                            : Intel(R) Gigabit CT Desktop Adapter
Enabled                                         : True
NumberOfReceiveQueues                           : 2
Profile                                         : NUMAStatic
BaseProcessor: [Group:Number]                   : 0:0
MaxProcessor: [Group:Number]                    : 0:14
MaxProcessors                                   : 8
RssProcessorArray: [Group:Number/NUMA Distance] : 0:0/0  0:2/0  0:4/0  0:6/0  0:8/0  0:10/0  0:12/0  0:14/0
IndirectionTable: [Group:Number]                : 0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2
                                                  0:0    0:2    0:0    0:2    0:0    0:2    0:0    0:2

Get-NetAdapterHardwareInfo

PS C:\Windows\system32> Get-NetAdapterHardwareInfo

Name                           Segment Bus Device Function Slot NumaNode PcieLinkSpeed PcieLinkWidth Version
----                           ------- --- ------ -------- ---- -------- ------------- ------------- -------
イーサネット                         0   9      0        0             0      2.5 GT/s             1 1.1
イーサネット 2                       0   0     25        0             0       Unknown
Slot06 x16                           0   3      0        0    6        0      2.5 GT/s             1 1.1

Get-NetAdapterAdvancedProperty

PS C:\Windows\system32> Get-NetAdapterAdvancedProperty

Name                      DisplayName                    DisplayValue                   RegistryKeyword RegistryValue
----                      -----------                    ------------                   --------------- -------------
イーサネット              フロー制御                     受信/送信 有効                 *FlowControl    {3}
イーサネット              割り込み加減                   オン                           *InterruptMo... {1}
イーサネット              IPv4 チェックサムのオフロード  受信/送信 有効                 *IPChecksumO... {3}
イーサネット              ジャンボ パケット              9014 バイト                    *JumboPacket    {9014}
イーサネット              大量送信オフロード V2 (IPv4)   オン                           *LsoV2IPv4      {1}
イーサネット              大量送信オフロード V2 (IPv6)   オン                           *LsoV2IPv6      {1}
イーサネット              RSS キューの最大数             2 キュー                       *NumRssQueues   {2}
イーサネット              アドレス解決プロトコル (ARP... オン                           *PMARPOffload   {1}
イーサネット              近隣要請 (NS) オフロード       オン                           *PMNSOffload    {1}
イーサネット              優先パケットと VLAN            優先パケットと VLAN 有効       *PriorityVLA... {3}
イーサネット              受信バッファ                   256                            *ReceiveBuffers {256}
イーサネット              受信側スケーリング             オン                           *RSS            {1}
イーサネット              速度とデュプレックス           オートネゴシエーション         *SpeedDuplex    {0}
イーサネット              TCP チェックサムのオフロー...  受信/送信 有効                 *TCPChecksum... {3}
イーサネット              TCP チェックサムのオフロー...  受信/送信 有効                 *TCPChecksum... {3}
イーサネット              送信バッファ                   512                            *TransmitBuf... {512}
イーサネット              UDP チェックサムのオフロー...  受信/送信 有効                 *UDPChecksum... {3}
イーサネット              UDP チェックサムのオフロー...  受信/送信 有効                 *UDPChecksum... {3}
イーサネット              Wake On Magic Packet           オン                           *WakeOnMagic... {1}
イーサネット              Wake on Pattern Match          オフ                           *WakeOnPattern  {0}
イーサネット              省電力イーサネット             システムが起動している場合...  EEELinkAdver... {1}
イーサネット              PME をオンにする               オン                           EnablePME       {1}
イーサネット              割り込み加減率                 アダプティブ                   ITR             {65535}
イーサネット              リンク ステート イベントのログ オン                           LogLinkState... {51}
イーサネット              ギガビット マスター スレー...  自動検出                       MasterSlave     {0}
イーサネット              ローカル管理されるアドレス                                    NetworkAddress  {--}
イーサネット              パワーダウン時に速度を落とす   オン                           ReduceSpeedO... {1}
イーサネット              リンクを待機                   自動検出                       WaitAutoNegC... {2}
イーサネット              Wake on Link 設定              オフ                           WakeOnLink      {0}
イーサネット 2            フロー制御                     受信/送信 有効                 *FlowControl    {3}
イーサネット 2            割り込み加減                   オン                           *InterruptMo... {1}
イーサネット 2            IPv4 チェックサムのオフロード  受信/送信 有効                 *IPChecksumO... {3}
イーサネット 2            ジャンボ パケット              オフ                           *JumboPacket    {1514}
イーサネット 2            大量送信オフロード V2 (IPv4)   オン                           *LsoV2IPv4      {1}
イーサネット 2            大量送信オフロード V2 (IPv6)   オン                           *LsoV2IPv6      {1}
イーサネット 2            RSS キューの最大数             2 キュー                       *NumRssQueues   {2}
イーサネット 2            プロトコル ARP オフロード      オン                           *PMARPOffload   {1}
イーサネット 2            プロトコル NS オフロード       オン                           *PMNSOffload    {1}
イーサネット 2            優先パケットと VLAN            優先パケットと VLAN 有効       *PriorityVLA... {3}
イーサネット 2            受信バッファ                   256                            *ReceiveBuffers {256}
イーサネット 2            受信側スケーリング             オン                           *RSS            {1}
イーサネット 2            速度とデュプレックス           オートネゴシエーション         *SpeedDuplex    {0}
イーサネット 2            TCP チェックサムのオフロー...  受信/送信 有効                 *TCPChecksum... {3}
イーサネット 2            TCP チェックサムのオフロー...  受信/送信 有効                 *TCPChecksum... {3}
イーサネット 2            送信バッファ                   512                            *TransmitBuf... {512}
イーサネット 2            UDP チェックサムのオフロー...  受信/送信 有効                 *UDPChecksum... {3}
イーサネット 2            UDP チェックサムのオフロー...  受信/送信 有効                 *UDPChecksum... {3}
イーサネット 2            Wake On Magic Packet           オン                           *WakeOnMagic... {1}
イーサネット 2            Wake on Pattern Match          オフ                           *WakeOnPattern  {0}
イーサネット 2            アダプティブ インターフレー... オフ                           AdaptiveIFS     {0}
イーサネット 2            省電力イーサネット             オン                           EEELinkAdver... {1}
イーサネット 2            PME をオンにする               オン                           EnablePME       {1}
イーサネット 2            割り込み加減率                 アダプティブ                   ITR             {65535}
イーサネット 2            リンク ステート イベントのログ オン                           LogLinkState... {51}
イーサネット 2            ギガビット マスター スレー...  自動検出                       MasterSlave     {0}
イーサネット 2            ローカル管理されるアドレス     --                             NetworkAddress  {--}
イーサネット 2            パワーダウン時に速度を落とす   オン                           ReduceSpeedO... {1}
イーサネット 2            システム無動作時の節電機能     オン                           SipsEnabled     {1}
イーサネット 2            リンクを待機                   自動検出                       WaitAutoNegC... {2}
イーサネット 2            Wake on Link 設定              オフ                           WakeOnLink      {0}
Slot06 x16                フロー制御                     受信/送信 有効                 *FlowControl    {3}
Slot06 x16                割り込み加減                   オン                           *InterruptMo... {1}
Slot06 x16                IPv4 チェックサムのオフロード  受信/送信 有効                 *IPChecksumO... {3}
Slot06 x16                ジャンボ パケット              9014 バイト                    *JumboPacket    {9014}
Slot06 x16                大量送信オフロード V2 (IPv4)   オン                           *LsoV2IPv4      {1}
Slot06 x16                大量送信オフロード V2 (IPv6)   オン                           *LsoV2IPv6      {1}
Slot06 x16                RSS キューの最大数             2 キュー                       *NumRssQueues   {2}
Slot06 x16                優先パケットと VLAN            優先パケットと VLAN 有効       *PriorityVLA... {3}
Slot06 x16                受信バッファー                 256                            *ReceiveBuffers {256}
Slot06 x16                受信側スケーリング             オン                           *RSS            {1}
Slot06 x16                速度とデュプレックス           オートネゴシエーション         *SpeedDuplex    {0}
Slot06 x16                TCP チェックサムのオフロー...  受信/送信 有効                 *TCPChecksum... {3}
Slot06 x16                TCP チェックサムのオフロー...  受信/送信 有効                 *TCPChecksum... {3}
Slot06 x16                送信バッファー                 512                            *TransmitBuf... {512}
Slot06 x16                UDP チェックサムのオフロー...  受信/送信 有効                 *UDPChecksum... {3}
Slot06 x16                UDP チェックサムのオフロー...  受信/送信 有効                 *UDPChecksum... {3}
Slot06 x16                Wake On Magic Packet           オン                           *WakeOnMagic... {1}
Slot06 x16                Wake on Pattern Match          オフ                           *WakeOnPattern  {0}
Slot06 x16                アダプティブ・インターフレ...  オフ                           AdaptiveIFS     {0}
Slot06 x16                PME をオンにする               オフ                           EnablePME       {0}
Slot06 x16                割り込み加減率                 アダプティブ                   ITR             {65535}
Slot06 x16                リンク・ステート・イベント...  オン                           LogLinkState... {51}
Slot06 x16                ギガビット・マスター・スレ...  自動検出                       MasterSlave     {0}
Slot06 x16                ローカル管理されるアドレス     --                             NetworkAddress  {--}
Slot06 x16                パワーダウン時に速度を落とす   オン                           ReduceSpeedO... {1}
Slot06 x16                リンクを待機                   自動検出                       WaitAutoNegC... {2}
Slot06 x16                Wake on Link 設定              オフ                           WakeOnLink      {0}
VMware Network Adapte...8 Priority / VLAN tag            Priority & VLAN Enabled        *PriorityVLA... {3}
VMware Network Adapte...8 Wake on magic packet           Enabled                        *WakeOnMagic... {1}
VMware Network Adapte...8 Wake on pattern match          Enabled                        *WakeOnPattern  {1}
VMware Network Adapte...8 Wake on LAN                    Enabled                        EnableWakeOnLan {1}
VMware Network Adapte...8 VLAN ID                        --                             VlanId          {--}
VMware Network Adapte...1 Priority / VLAN tag            Priority & VLAN Enabled        *PriorityVLA... {3}
VMware Network Adapte...1 Wake on magic packet           Enabled                        *WakeOnMagic... {1}
VMware Network Adapte...1 Wake on pattern match          Enabled                        *WakeOnPattern  {1}
VMware Network Adapte...1 Wake on LAN                    Enabled                        EnableWakeOnLan {1}
VMware Network Adapte...1 VLAN ID                        --                             VlanId          {--}

Get-SmbClientConfiguration

PS C:\Windows\system32> Get-SmbClientConfiguration


ConnectionCountPerRssNetworkInterface : 4
DirectoryCacheEntriesMax              : 16
DirectoryCacheEntrySizeMax            : 65536
DirectoryCacheLifetime                : 10
EnableBandwidthThrottling             : True
EnableByteRangeLockingOnReadOnlyFiles : True
EnableLargeMtu                        : True
EnableMultiChannel                    : True
DormantFileLimit                      : 1023
EnableSecuritySignature               : True
ExtendedSessionTimeout                : 1000
FileInfoCacheEntriesMax               : 64
FileInfoCacheLifetime                 : 10
FileNotFoundCacheEntriesMax           : 128
FileNotFoundCacheLifetime             : 5
KeepConn                              : 600
MaxCmds                               : 50
MaximumConnectionCountPerServer       : 32
OplocksDisabled                       : False
RequireSecuritySignature              : False
SessionTimeout                        : 60
UseOpportunisticLocking               : True
WindowSizeThreshold                   : 8

Get-SmbServerConfiguration

PS C:\Windows\system32> Get-SmbServerConfiguration


AnnounceServer                  : False
AsynchronousCredits             : 64
AutoShareServer                 : True
AutoShareWorkstation            : True
CachedOpenLimit                 : 0
AnnounceComment                 :
EnableDownlevelTimewarp         : False
EnableLeasing                   : True
EnableMultiChannel              : True
EnableStrictNameChecking        : True
AutoDisconnectTimeout           : 0
DurableHandleV2TimeoutInSeconds : 30
EnableAuthenticateUserSharing   : False
EnableForcedLogoff              : True
EnableOplocks                   : True
EnableSecuritySignature         : False
ServerHidden                    : True
IrpStackSize                    : 15
KeepAliveTime                   : 2
MaxChannelPerSession            : 32
MaxMpxCount                     : 50
MaxSessionPerConnection         : 16384
MaxThreadsPerQueue              : 20
MaxWorkItems                    : 1
NullSessionPipes                :
NullSessionShares               :
OplockBreakWait                 : 35
PendingClientTimeoutInSeconds   : 120
RequireSecuritySignature        : False
EnableSMB1Protocol              : True
EnableSMB2Protocol              : True
Smb2CreditsMax                  : 2048
Smb2CreditsMin                  : 128
SmbServerNameHardeningLevel     : 0
TreatHostAsStableStorage        : False
ValidateAliasNotCircular        : True
ValidateShareScope              : True
ValidateShareScopeNotAliased    : True
ValidateTargetName              : True
EncryptData                     : False
RejectUnencryptedAccess         : True

---

ちょっと更新

勝手にダウンロードリンク集を更新。

しばらくエクセルファイルのほうのみを更新してたけど、エクセルの表示に時間がかかることもあり、やっぱりHTMLのほうも更新することにした。

といってもHTMLを自分で書くのはやっぱり辛い(面倒)ので、エクセルの内容をpython + openpyxlで自動的にHTMLを起こすようにした。パパっと変換できるようになった。

pythonもVisual Studioで書くことができ、なかなか便利。

画質比較 2015.01

NVEncでHEVCに対応したので、
・NVEnc (H.264/AVC)
・NVEnc (H.265/HEVC)
・x264
・x265 8bit
・x265 10bit
で容量をそろえて画質比較してみる。

続きを読む

続きを閉じる

---

検証環境

---

環境1 (NVEnc)
Win8.1 x64
Intel Core i7 5960X @ (Core:4.4GHz, Uncore:3.8GHz)
ASUS X99 Deluxe
GeForce GTX 970
DDR4-2666, 16GB RAM, 15-15-15-36-1
NVIDIA グラフィックドライバ 347.25

環境2 (x264, x265, QSVEnc)
Win8.1 x64
Intel Core i7 4770K @ 3.9GHz
ASUS Z87 Gryphon
Intel HD Graphics 4600
DDR3-2400, 16GB RAM, 10-12-12-31-2
Intel ドライバ 10.18.10.3960

Aviutl 1_00
NVEnc 1_00 (347.25ドライバ)
QSVEnc 1.20 (3960ドライバ)
x264guiEx 2.24v3
x265guiEx 3.51
x264 8bit, x64 rev2525
x265 8bit/10bit, x64 1_4+409

ソース
この大空に、翼をひろげて FLIGHT DIARY オープニングムービー(Downloadできるやつ)
utvideo YUY2, 1280x720p, 30.00fps, 3140frmaes, 約1分45秒, 70.5MB

エンコード設定
NVEnc (H.264/AVC)
CQP 26:30:33, ref 3, bframes 3, gop-len 300, cabac, deblock, q-pel

NVEnc (H.265/HEVC)
CQP 24:31, ref 3, gop-len 300, q-pel

QSVEnc
LA-ICQ 34, TU 2:higher, LA-depth 30, LA-quality slow, ref 3, bframes 3, b-pyramid, gop-len 300

x264
--preset slower --crf 27_3 --qcomp 0.7 --aq-strength 0.2 --psy-rd 1:0.2 --keyint 300 --ref 4

x265 (8bit/10bit)
(8bit) --crf 22_9
(10bit) --crf 22_7
(共通)--preset slower --qcomp 0.7 --psy-rd 1.2 --keyint 300 --rd 3 --pmode

---

結果

---

ビットレート比較


だいたい1400kbps～1450kbpsぐらいにそろえた。


エンコード速度



NVEncはたしかに速い。(※NVEncだけi7 5960X環境だというのもあります)

速いのだが…画質が…(後述)

ソフトエンコは、重めな設定にふったこともあり、やはり遅い。i7 5960Xを使えば、倍速にはできるが…。

---

画質比較 (1722frame目)

---

わかりにくい場合は別のタブで複数の画像を開いて、タブ切り替えで比べてみてください。

オリジナル


NVEnc H.264/AVC 1396kbps
かなりぼけぼけの微妙な画質。輪郭の乱れもひどいし、背景のテクスチャも潰れまくってる。


NVEnc H.265/HEVC 1418kbps
正直驚いたのはこれ。HEVCだけど、BフレームなしなのにNVEncのH.264よりは良い画質だといえそう。ただ、あくまでNVEncのH.264との比較だし、髪の部分の妙なざわつきはかなり違和感がある。


QSVEnc 1449kbps
背景のテクスチャはか少し潰れてしまっているが、違和感を感じる部分は少なく、すこしボケた程度におさまっている。


x264 1421kbps
さすがというべきか、かなり画質が保たれている。ただ、髪の色にまだ若干あやしい部分がある。


x265 8bit 1431kbps
素晴らしい画質。劣化部分を探すほうが難しい。まあ、だいぶ遅いのでこのぐらいの画質じゃないと困る(笑)


x265 10bit 1436kbps
10bitもやってみたけど、若干の違いがあるほかは、8bitと比べてもよくわからない。

---

画質比較 (2160frame目)

---

オリジナル


NVEnc H.264/AVC 1396kbps
結構残念。


NVEnc H.265/HEVC 1418kbps
Bフレームないのによく頑張っている。


QSVEnc 1449kbps
すこしボケ気味だが、自然なかんじになっている。


x264 1421kbps
だいぶ健闘しているが、まだ破綻気味。


x265 8bit 1431kbps
だいぶスッキリしてきれい。


x265 10bit 1436kbps
こういうところでは8bitより10bitのほうがきれいな気がする。

---

まとめ

---

NVEncのHEVCはBフレームなしでもある程度の画質があり、非常に速いようだ。ただ、QSVのICQ,LA-ICQのようなよいレート制御モードが無いため、CQPで戦わざるを得ず、QSVと比べると低い画質となってしまっている。

NVEncの利点としては、QSVと異なりGPUパワーをほぼ消費しないことだと思う。エンコードの一部をGPUで処理するQSVと異なり、NVEncはほぼ完全なハードウェア実装だと思われる。これはやっぱりNVIDIAらしくゲームのリアルタイム配信を想定していて、ゲームのパフォーマンスを下げないためなのだろう。Bフレームがないのも、Bフレームを入れると圧縮率は向上するけど、レイテンシーが増えてしまうため、とりあえずはなくてもいいかなという感じかもしれない。

QSVはGPUパワーを消費するけど、そのぶん実装の柔軟性が高く、ICQのような高度なレート制御が可能になってるんじゃないかと思う。Skylakeに載るかもしれないQSVのHEVCにも期待したい。…まあIntelの14nmとBroadwellが微妙な今、Skylakeほんとに今年出るのって話はあるけど。

ソフトウェアエンコのx264,x265は時間が掛かる分、圧倒的にきれいだ。この動画で1400kbps台はかなり厳しいと思うけど、特にx265はかなり画質がよく、さすがだと思う。あとは速度かなあ…重い設定とはいえ、いまは文字通り「桁が違う」遅さになっている。(x265のpreset mediumとかなら30fpsぐらいは行けると思うので、設定次第ではあるけど)

個人的にはグラデーションに強いx265の10bitを特に高速化してほしいなあ…。

---

NVEnc 1.00 (HEVC対応)

まだ変なところがあるかもしれないけど、ひととおりチェックを済ませたので、NVEnc 1.00として公開。

続きを読む

続きを閉じる

---

1.00での変更点

---

・NVEnc API v5.0に対応し、HEVCハードウェアエンコードに対応。
動作には347.09以降のドライバが必要。

これがいちばんやりたかったこと。これに伴い、内部的には大部分のコードを作りなおした。

ただ残念ながら現時点ではBフレームが全く使えない状態でのエンコードになってしまう。なので圧縮率としてはかなり厳しい物になるんじゃないかなと思う。

これがわたしの書いたコードが悪いのか、ドライバの問題なのか、あるいはハードウェアの限界なのかはわからない。

・デフォルトパラメータを高品質よりに調整。
・プリセットを更新。HEVC用のプリセットを追加。

・コマンドライン版NVEncCを追加。
- raw, y4m … YV12読み込み
- avs …YV12/YUY2読み込み

QSVEncに対するQSVEncC.exeのNVEnc版を作った。需要あるかはわからないけど。

ただ、現時点ではQSVEncCにあるような多くの機能はなく、とてもシンプルになっている。もしなにか欲しい機能があったら言ってください。

・x264guiEx 2.24までの更新を反映。
- qaacについて、edtsにより音声ディレイのカットをする機能を追加
- 音声エンコーダにfdkaacを追加
- muxerのコマンドに--file-formatを追加。
- flacの圧縮率を変更できるように
- 音声やmuxerのログも出力できるように
- 0秒時点にチャプターがないときは、ダミーのチャプターを追加するように。Apple形式のチャプター埋め込み時に最初のチャプターが時間指定を無視して0秒時点に振られてしまうのを回避。
- ログにmuxer/音声エンコーダのバージョンを表示するように。
- ログが文字化けすることがあるのを改善。
- 音声エンコーダにopusencを追加。
- nero形式のチャプターをUTF-8に変換すると、秒単位に切り捨てられてしまう問題を修正。
- CPU使用率を表示。

---

1.00べーた からの修正点

---

[共通]
・HEVCの参照距離が適切に設定されないのを修正。

[NVEncC]
・colormatrix, colorprim, transferが正しく設定されないのを修正。
・短縮オプションの一部がヘルプにないのを修正。
・AVSリーダーでYUY2読み込みが正常に行われていなかったのを修正。

---

HEVCエンコの謎

---

さっき書いたように、わたしのGTX970と、あと情報提供いただいたGTX980では、NVEncのAPIから使える機能を表示するとHEVCエンコのMax Bframesが0になってしまう(=Bフレームが全く使えない)。

GTX970の例

NVEncC.exe --check-features > S:\nvenc_features.txt

Environment Info
OS : Windows 8.1 (x64)
CPU: Intel Core i7-5960X @ 3.00GHz [TB: 4.40GHz] (8C/16T)
GPU: GeForce GTX 970 (13 EU) @ 1253 MHz (347.25)
RAM: Total 32670 MB / Used 20774 MB

使用可能な各機能の情報を表示します。
コーデック: H.264/AVC
Max Bframes               4
RC Modes                  63
Field Encoding            1
MonoChrome                0
FMO                       0
Quater-Pel MV             1
B Direct Mode             1
CABAC                     1
Adaptive Transform        1
Max Temporal Layers       0
Hierarchial P Frames      0
Hierarchial B Frames      0
Max Level                 51
Min Level                 1
4:4:4                     0
Max Width                 4096
Max Height                4096
Dynamic Resolution Change 1
Dynamic Bitrate Change    1
Forced constant QP        0
Dynamic RC Mode Change    0
Subframe Readback         0
Constrained Encoding      0
Intra Refresh             1
Custom VBV Bufsize        1
Dynamic Slice Mode        1
Ref Pic Invalidiation     1
PreProcess                0
Async Encoding            1
Max MBs                   65536
MAX MB per sec            983040
Lossless                  1

コーデック: H.265/HEVC
Max Bframes               0
RC Modes                  63
Field Encoding            0
MonoChrome                0
FMO                       1
Quater-Pel MV             1
B Direct Mode             0
CABAC                     1
Adaptive Transform        0
Max Temporal Layers       0
Hierarchial P Frames      0
Hierarchial B Frames      0
Max Level                 62
Min Level                 1
4:4:4                     0
Max Width                 4096
Max Height                4096
Dynamic Resolution Change 1
Dynamic Bitrate Change    1
Forced constant QP        0
Dynamic RC Mode Change    0
Subframe Readback         0
Constrained Encoding      1
Intra Refresh             1
Custom VBV Bufsize        1
Dynamic Slice Mode        1
Ref Pic Invalidiation     1
PreProcess                0
Async Encoding            0
Max MBs                   65536
MAX MB per sec            983040
Lossless                  0

わたしのプログラムの問題、ドライバの問題、ハードウェアの問題(限界)、どれなのか…

もしGTX960をお持ちの方がいらっしゃれば、この情報を教えていただけると幸いです。
(2015.01.25) GTX960についても情報頂きました。やはりMax B Frames = 0とのことです。情報頂きありがとうございました。
GTX980について教えてくださった方も、ありがとうございました。

NVEncCフォルダ内のNVEncC_test.batをダブルクリックしていただけると、nvenc_features.txtというファイルができるので、その内容を教えていただければと思います。

---

ダウンロード>>
ダウンロード (ミラー) >>
OneDriveの調子がいまいちの時はミラー(dropbox)からどうぞ。同じものです。

---

あれ～?

きのうやってしまったので、いろいろ試してみた。

GPU-Zはこんな感じ。



GTX970はちゃんとHEVCハードウェアエンコできるっぽいのだけど…?

続きを読む

続きを閉じる

---

NVEncのAPIから使える機能を表示すると下のような感じ。ちゃんとHEVCが使えるみたい。

NVEncC.exe --check-features > S:\nvenc_features.txt

Environment Info
OS : Windows 8.1 (x64)
CPU: Intel Core i7-5960X @ 3.00GHz [TB: 4.40GHz] (8C/16T)
GPU: GeForce GTX 970 (13 EU) @ 1253 MHz (347.25)
RAM: Total 32670 MB / Used 20774 MB

使用可能な各機能の情報を表示します。
コーデック: H.264/AVC
Max Bframes               4
RC Modes                  63
Field Encoding            1
MonoChrome                0
FMO                       0
Quater-Pel MV             1
B Direct Mode             1
CABAC                     1
Adaptive Transform        1
Max Temporal Layers       0
Hierarchial P Frames      0
Hierarchial B Frames      0
Max Level                 51
Min Level                 1
4:4:4                     0
Max Width                 4096
Max Height                4096
Dynamic Resolution Change 1
Dynamic Bitrate Change    1
Forced constant QP        0
Dynamic RC Mode Change    0
Subframe Readback         0
Constrained Encoding      0
Intra Refresh             1
Custom VBV Bufsize        1
Dynamic Slice Mode        1
Ref Pic Invalidiation     1
PreProcess                0
Async Encoding            1
Max MBs                   65536
MAX MB per sec            983040
Lossless                  1

コーデック: H.265/HEVC
Max Bframes               0
RC Modes                  63
Field Encoding            0
MonoChrome                0
FMO                       1
Quater-Pel MV             1
B Direct Mode             0
CABAC                     1
Adaptive Transform        0
Max Temporal Layers       0
Hierarchial P Frames      0
Hierarchial B Frames      0
Max Level                 62
Min Level                 1
4:4:4                     0
Max Width                 4096
Max Height                4096
Dynamic Resolution Change 1
Dynamic Bitrate Change    1
Forced constant QP        0
Dynamic RC Mode Change    0
Subframe Readback         0
Constrained Encoding      1
Intra Refresh             1
Custom VBV Bufsize        1
Dynamic Slice Mode        1
Ref Pic Invalidiation     1
PreProcess                0
Async Encoding            0
Max MBs                   65536
MAX MB per sec            983040
Lossless                  0

問題は、HEVCのMax Bframesが0になっていること。あれ～?

なんかまだバグってんのかな。まさかGTX960じゃないとだめなのかな…

一応、ここまでできたものを置いときます。(HEVCエンコも可能 (ただしBフレームなし…)

ただ、大部分のコードを書きなおしているのにテストが足りてないと思うので、べーた版です。試すだけにしてください。あと、もしよかったら
NVEncC.exe --check-features
の様子を教えていただけると嬉しいです。
不具合修正したNVEnc 1.00を公開しました。
また--check-featuresの結果をGTX980, GTX960についてお二方に情報提供いただき、現在はいずれもMax B Frames = 0だと教えていただきました。教えて下さり、ありがとうございました。

NVEnc 1.00 べーた
ダウンロード>>

---

あたらしいGPUを買いました

あたらしいGPUを買ったのです。

続きを読む

続きを閉じる

---

あたらしいGPUを買いに行ったはずでした。



あれ?

箱大きいですね。



なんか長いですね。はて、おかしいな。

…もう眠いのであした取り付けて遊んでみましょう。

---

GTX960のうわさ

1/23ぐらいに出るGTX960がびみょーらしい。

なんかGTX660からGTX960に移行しようとするとメモリ帯域が144GB/s→112GB/sと激減するのに、お値段はおたかいらしいのですが、これはいったい?　…128bitバスってローエンドのGTX750と一緒…

GTX970と実に2倍も帯域が違うという…

なにをどうしたらミドルレンジの製品を128bitにしちゃうのかよくわからんのですが、それならそれで安くしてほしいものです。

どうしたものか…

delogoSIMD更新(2)

トラックバーの上限を拡張しても、編集ダイアログの入力欄に256までの上限がかかる問題を修正。

これで直っているかと思います。

透過性ロゴ SIMD版 ダウンロード
delogoSIMD_20150110.zipです。

delogoSIMD更新

・トラックバーの上限を拡張しても、開始・終了などに256までの上限がかかる問題を修正。

・AVX2/SSE2版をたぶん少し高速化。(測定不能…)

透過性ロゴ SIMD版 ダウンロード
delogoSIMD_20150108.zipです。

あけましておめでとうございます

今年もよろしくお願いします。

今年もよい年となりますように。

…なんか一瞬雪が降っていたのは見なかったことにしよう。うん。さむいのきらい。

2015年はなにあるかな～ & なにしようかな～みたいなのを続きに。

続きを読む

続きを閉じる

---

今年期待したいものとか (PC/動画関連)

---

Win10
今年出るとうわさの新しいWindows。てっきりWin9になると思っていた。Win8はVista同様やはり黒歴史となるのだろうか。

個人的にはWin8はVistaよりはマシだと思うけど (注:Classic Shellは導入するものとする)

x265
crf/psy/2pass/pmodeといった重要な機能が追加され便利になり、さらにだいぶ速くなってきてる。でもまだまだ遅いので10bit版も含めて来年も高速化を期待したいなと。…なんだかんだで10bitのほうが綺麗なのに8bitとくらべてだいぶ遅いのがつらいところ…。

Skylake
AVX512とか新しいQSVとか。ほんとに今年出るのかねえ。

4K
4K + IPS or VA + グレア + 10万以下をぜひ…

---

去年作ったものとか

---

簡易インストーラ
neroaacが消えた騒ぎで、qaacに対応したりした。変更当初うまくうごかないことが多かったようですみません…。

x265guiEx
x265のオプションについていけるよう、更新中。オプションの検証など、ご協力いただいたりしてありがとうございました。

高速化
去年も懲りずに自動フィールドシフトを高速化した。コードはだいぶんとカオス度を増したけど、まあそんなのはどうでもいい。要は速くてちゃんと処理できればいいのですよ。

あとはPMD_MTとか透過性ロゴも高速化したりした。

---

今年やりたいこと

---

やり残していること
簡易インストーラが不安定なことがまだある?
x265guiExの更新画面が不安定。たまに「解凍に失敗しました。No such file or directory」とか出ます。…いや、ダウンロードはできてるはずなんだよなあ…。なぜだ。謎。

やりたいこと
自動フィールドシフト AVX-512高速化
QSVEnc SkylakeでH.265/HEVCエンコ
NVEnc GTX960でH.265/HEVCエンコ

AVX-512って書いたけど、これはどうやら本当にSkylakeにAVX-512が載るらしいのでこれで遊んでみたいな…と。ただ、そのためにはVisual Studio(VC++)がAVX-512に対応してくれないとできないんだけど…。

---

毎年言ってますが、去年もそこそこやらかしました。すみません…。

簡易インストーラで、だいぶ導入がうまくいかないみたいなことは減らせていると思うのだけど、今度は簡易インストーラ自体がたまに変なようで…ごめんなさい。でもなぜだ…。

バグの報告をしてくださったり、さらに検証などにも協力いただいた方々、本当にありがとうございました。


今年もいろいろ楽しい年でありますように。

---