【XigmaNAS】QNAP NASへのデータバックアップ(Rsync)

XigmaNASの環境が整ったので、これを今後のメインNASにするべく、あちこちに拡散して管理していたデータを集めました。MP3をはじめとするオーディオデータ、写真とビデオ、各種ドキュメントファイルなどです。
DTCP-IPサーバー機能を持った別のNASなどに溜めていた写真の転送にずいぶん時間を取られました（相手側の転送スピードが30MB/s程度しか出ない）が、ようやく全てのデータがXigmaNASに集まりした。
普段のデータサーバーとしては非常に快適ですが、やはりバックアップは欲しくなります。
そこで、今回の作業で使わなくなる予定だったQNAP HS-210にその役割を担ってもらうことにしました。
HDDはXigmaNASにした自作PCで使っていた4TBのHDDが余っていたので、これと同じWDの4TBのHDDを購入して、RAID0にすることで8TB相当のNASとして設定します。
そしてこれに対して週に１回Rsync等でXigmaNAS上のデータをバックアップするという作戦です。

XigmaNASの方は常に起動した状態で使用します（本当は夜中は止めたいのですが、止め方がわかっていません。WebUIに出てこないので非推奨な使い方？）ので、QNAP HS-210の方を週に１回立ち上げて、その時にファイル同期をさせるという形です。
このやり方であるなら、XigmaNASはサーバー設定、QNAP HS-210をクライアントにしてQNAP HS-210からXigmaNASにデータを取りに行かせる形が良いように思って設定を探したのですが、QANPの方はいくら探しても出てきません。やれそうなことは書いてあるのに実際は設定が見当たりませんでした。QNAP HS-210はそういったときはRTRRを使うようですが、XigmaNAS側にRTRRがないので使えません。

という事で、QNAP HS-210側をサーバー設定とし、XigmaNASからQNAP HS-210が起動している時間帯にXigmaNAS側のRsyncで同期させるという方法をとることにしました。
設定するにあたりいろいろ不明点があり調べて設定していったので備忘録も兼ねてここに書いておきます。

[QNAP HS-210]
・ボリュームにバックアップ用のフォルダを作成
　＊XigmaNASのバックアップと一目でわかるフォルダ名に
・専用のユーザーを１つ作り、上記バックアップ用のフォルダにアクセス権を付与
・HybridBackupSyncアプリをインストール、起動し、
　1.ストレージ領域の設定でローカルNASに上記バックアップ用フォルダを設定
　2.バックアップサーバーの設定でRsyncサーバーを以下のように設定
　　- ポート番号：873 Defaultのまま
　　- 「リモートサーバーからこのNASへの同期を有効にする」にチェック
　　- 「データをこのNASに同期することを他のリモートRsyncサーバーに許可する」にチェック
　　　合わせて、ユーザー名、パスワードを先に作ったユーザー名で設定

[XigmaNAS]
・Rsyncで使うためのユーザーを新規作成。
　＊この時ユーザー名はQNAP HS-210と同じ名前、パスワードに設定
・上記ユーザー用のホームディレクトリを作成
・ホームディレクトリにRsyncで用いるパスワードファイル *.pwd ファイルを作成
　ファイルの中は上記で設定したパスワードを平文で記載
・上記パスワードファイルのアクセス権をchmod で 600（自分にしかrw権限がない）に設定

・WebUIで「サービス」→「Rsync」を選択。「クライアント」を選んでから、Toolboxの＋ボタンを押して新規設定
　- ローカル共有（接続先）：バックアップしたい最上位のフォルダを選択
　- リモートRsyncサーバー　：QNAP HS-210のIPアドレスを設定
　- リモートモジュール（ソース）：QNAP HS-210で設定したバックアップ用のフォルダ名
　- 誰が　：Rsync用のユーザー名を選択
　- 同期時間：同期したい日時を設定
・高度なオプションを有効にする
　- 再帰：「ディレクトリの再起を行います」にチェック
　- Rmote Rsync Daemon：「リモートrsyncデーモンを必要とせずに実行します。（デフォルトは無効）」はチェックしない
　- 時刻：「更新時刻を保持します。」にチェック
　- 圧縮：「ファイルデータを圧縮して転送します。」はチェックしない
　- アーカイブ：「アーカイブモード」はチェックしない
　- 削除：「送信側に存在しないファイルを受信側で削除します。」にチェック
　- Delete Algorithm：「After」を選択
　- 寡黙モード：「エラーで無いメッセージの出力を抑制します。」はチェックしない
　- Preserve Permissions：「このオプションはrsyncに、宛先のパーミッションをソースのパーミッションと同一になるように設定します。」にチェック
　- Preserve Extendedd Attributes：「このオプションはrsyncに、ソースと同一になるように宛先の拡張属性をアップデートさせます。」にチェック
　- Reverse Direction：「このオプションはrsyncに、ローカルデータをリモートサーバにコピーさせます。」にチェック（これは重要）
　- Extra Options：先に設定したパスワードファイルの置き場所を設定。
　　　　　　　　　 --password-file=/mnt/*****/****/***.pwd
　　　　　　　　　のように設定。”password"の前は"-"（ハイフン)が２つ

以上の設定で無事XigmaNASからQNAP HS-210にバックアップができました。
設定で特に困ったのが、XigmaNAS側のパスワードの設定でした。クライアントの設定のところには「誰が」という項目はあるのですが、それに対するパスワードを記載するところがありません。
そのままでrsyncを動かすとやはり認証エラーで止まってしまいます。
いろいろ調べると色々な人がこの認証のところで困っているようでしたが、私とも少し症状が違う人が多くてちょっと悩みました。というか探すのに時間がかかりました。解決方法は設定のところに書いた通り、パスワードファイルを用意して、それを設定するというところですが、ファイルのアクセス権の設定は配置してあるフォルダの所有権も含めて正しくしないといけないようで、そこが解決までに一番時間がかかったことでした。

以上でデータのバックアップができたわけですが、転送したデータが全部で3.5TB程度もありQNAP HS-210側の書き込みスピードが20MB/s以下のため完了するのにはまるまる3日かかりました。

XigmaNASのRAID5とQNAP HS-210のバックアップという形でデータ保全を設定した形になります。個人としてはこれくらいで良いのかなと思っていますが、動画ファイルや写真ファイルはまだ前のHDDやNAS(Buffalo LS420）にも残してあります。今のところは特に困っていないのでこのまま残すことでなんとなく流石にここまでやれば十分かなという気になっています。

【XigmaNAS】10Gb Ethernet搭載

前の記事で書いた通り、XigmaNASの実現で100MB/s超で転送できるNASが出来ました。非常に嬉しい反面、ここまで簡単に行くと皆さんが導入している10GbEthernet環境も俄然興味が湧いてきます。
10GbE環境にすれば３桁は余裕ということで期待できます。

XigmaNASの方も導入事例はたくさんあるようですし、MBに差すだけで認識して使えるようになるPCIボードもいろいろあるようでした。
いろいろなサイトを参考にさせてもらった結果、Mellanox Connectx-3 MCX311A 10GbE SFP+ という商品を中古で購入しました。
これを選んだのは、もちろんXigmaNASでの使用実績がいくつかあったことのほかに、流通量が多く比較的安価な中古品が多いこと、そして発熱が少ないという情報をいくつか読んだためです。
いろいろ調べてみると10GbEに関する機器はまだまだ発熱が多いものばかりのようでした。今回はNASで使う予定ですので、いつも以上に発熱は気にした方が良いのではないかと思いました。

という事で購入したのですが、実は一点ミスがありました。いろいろなカードを選ぶ中で何故か途中で「SFP+」というキーワードを頭から外してしまっていました。
しかし購入手続きをしてから、「そういえばSFP+ってなんだったっけ！？」となって調べてみて大きなミスに気づきました。。全くお恥ずかしい話です。
Macの方は当然普通のRJ-45コネクタですし、将来的に家の中に2.5GbE LANを這わせるとすれば（家中のEthernetケーブルを10Gb対応のCAT6aにするのは無理。。）それも全てRJ-45になります。このNASだけ光ケーブルというわけにもいきませんので、RJ-45用のアダプタを購入するしか解はありませんでした。
という事で、追加でamazonで「10Gtek 10GBase-T SFP+モジュール, 10G T, 10Gカッパー, RJ-45 SFP+ CAT.6a, 最大30メートル, Mellanox互換」を購入しました。

という形で少しドタバタしましたが、まずはMellanox Connectx-3 MCX311Aが届いたので早速NASにインストールしてみました。
PCケースを開けて、PCIコネクタに差して、改めて起動する。それだけで認識してくれました。
RJ-45モジュールが届いたのち、これをConnectx-3 MCX311Aに装着し、接続確認として家のEhternet HUBに接続した上で、NASのEthernet Interfaceの設定をしたらあっさり繋がってくれました。
後は以前の記事の通りです。
繋がった後は非常に快適な環境が出来ました。
なお、その後転送スピードの最適化を少ししてみました。
調べてみると、pingコマンドを使ってMTUのサイズを変えて試してみる事で最適な値を見つけるとのこと。
調べてみた結果MTU 9000だとうまくつながらないようでしたが、8000だとスピード的にも上がるようだったので、NAS, HackintoshともにMTU 8000で設定し直しました。
その設定で試してみた結果

という形でRead側は1000MB/sを越えるようになりました。

実際にはMTU1500で500MB/s程度でている時でももう十分だったのですが、1000の大台を越えると気持ち的にはさらに上がってきますね。
こうなると家の中を早く2.5GbE化したくなってきます。2.5GbE化して恩恵を得られる機材がないので当分やることはないと思いますが。。

【XigmaNAS】Old PCを高速NAS化

先日会社の人達と雑談をしていて、自宅NASの話になりました。家には相当昔に買ったQNAP HS-210というNASがあったのですが、あまりにアクセススピードが遅く、その割に夏になると発熱による警告が出るという有様だったので、昨年夏に1TB SSDに載せ替えて使っている話をしました。HDDからSSDに載せ替えたことで、Mac等PCからのアクセススピードが20MB/s程度から70MB/s程度に改善していたので容量が小さいので良ければそんな解もあるよねというような話をしていました。
そのことをきっかけに、そう言えば家に使っていないPCがあるんだけど、あれってNASにできないのかな？と思って調べてみたところ、ごく普通に皆さんが活用していることを知りました。
サイトも方法も沢山見つかりました。
スピードもHDDであっても普通に100MB/sを超えるとのこと。なぜこれまで見つけられなかったのか（過去に何回か調べてみたことはあったはず）分かりませんが、これはやる価値があると思いました。

うちで使っていなかったPCのスペックですが、
CPU : Intel Core i7-2600
MB : GIGABYTE B75M-D3H
Mem : 24GB
SSD : Samsung 860EVO 250GB
HDD : WD 4TB 5400rpm
GPU : MSI GeForce GTX 1060 6G OC
Case : Fractal Design mode605
といった構成です。
最近のQNAPやSynolgyなどのメーカー製NASに搭載されている Intel Celeron N9095とスペックを比べると
Celeron N9095 Single-core 664 , Multi-core 2025
Corei7-2600. Single-core 607 , Multi-core 2062
という事で、coreの数も一緒ですし、数字的には全く遜色ありませんし、メモリも24GB載せているので全く足りないということもないだろうと思いました。
たまに家族のイベントで撮影した動画を編集をしてそれをTVで見たりといったこともしていたので少しだけ盛った仕様にしていたのが今更ながら幸いしたといったところでしょうか。
これに上記QNAP HS-210で高温警告が出て使用をやめていた NAS用の3TBのHDD３つがあったので、これでNASを組む事にしました。

使用するNAS用のOS、システムは XigmaNAS というものにしました。
いくつか選択肢はあるようでしたが、昔々にノートパソコンに乗せて遊んだこともあったFreeBSDがベースということが決め手になりました。

とはいえ、ここで改めて導入手順を詳細に書くほどのことはほとんどありませんでした。
インストール用のパッケージをダウンロード、適当なUSBメディアに焼いて起動＆インストール用のメディアを作成して起動させるだけで、あとは勝手にインストールされていきました。
一点だけ迷った、時間がかかったこととしては起動直後にXigmaNASのロゴが出て、いくつか選択肢が表示されます。放っておくと3秒後くらいにインストールに向けてOSの起動が再開されるわけですが、すぐに画面が表示されなくなりました。待てど暮らせど画面は消えて真っ暗。
GPUをつけていることが不味いのかと思って外してMotherBoard上のHDMIに繋げてみたり、あるいはVGAにしてみたりしましたが、一向に変わらず。。
いろいろなサイトを見ても特にそのような記述はないので少し悩みましたが、結論は簡単でした。
XigmaNASの起動時、ロゴが表示されたところで何かキーを押すとユーザーが選択できるようにカウントダウンが止まります。
そこでよく見てみると、サイトに上がっている導入事例は
1. Boot Multi user [Enter]
2. Boot SIngle user
3. Escape to load prompt
4. Reboot
5. Cons : Video

となっていたのですが、" 5. Cons" のところが自分のものは"Terminal"（確か）とかになっていました。ということでここを"Video"に設定したところ、無事インストール中の画面が表示され、全て正常に進みました。consoleの設定ということだと思うので、Videoでなくても良いように思うのですが、見かけ上何も動いているように見えなくなってしまったし、その状態で電源ボタンを押すとすぐにシャットダウンしていたので、本当に進まなかったのではないかと思っています。
上記設定を変えた後は特に何もすることなく、インストールが完了しました。
ここまでは起動用のSSDだけをつけて一旦OSをインストールさせていました。まずはOSがちゃんとインストールできるかどうかでNASにできるかどうかが分かるので、そこまではHDDもつけずに進めました。
きちんと起動できPCからWebUIにアクセスできることを確認できたので、3TBのHDD３台を搭載して設定しました。
自分が使っているFractal Design mode605は横置きのHomeTheaterPCと言われていた特殊なPCケースです。起動用のSSDを除くとあと３台分HDDのマウント部があるのですが、３台（SSDも含めて4台)を所定のところに設置するとどう考えても熱がこもってしまうと思ったので、少しHDDの設置場所を工夫する事にしました。このケースは薄型のBD/DVDドライブしか載せられない構造だったのですが、そのドライブを外したところにHDDを１つ置く（本当に置いただけ）形にしました。
これでHDD同士の間隔は開きますし、置いただけのHDDは底面の金属板に接する形で置かれるので放熱的にも優位になって排熱もそこそこうまくいくという魂胆です。
稼働してからXigmaNASのWebUIで見たところ、NAS間でデータ転送中でもHDDの温度はどれも37〜39℃程度で推移していたので、冷却も上手くいっているのだと思います。

HDDのRAIDシステムの構成は上記の通りHDDが3台というのが設置的にも限界であることを考慮して、RAIDZ1(RAID5相当）で組む事にしました。
前の記事でも書きましたが、この状態でもMacからのアクセススピードが100MB/sを超えました。
この位はいくはずと思って始めたOld PCのNAS化でしたが、これまでSSDまで使ってようやく70MB/sといった状態でしたので、非常に嬉しい結果になりました。

作業としてもWindowsをインストールするのよりもよほど簡単でした。上述した起動時のトラブルで半日ほど費やしましたが、そのあとは30分もせずにインストール完了。その後HDDの設置等で多少時間はかかりましたがそれも必要最小限で終了して、それで100MB/sを越えるスピードのNASができたのですから本当に万々歳です。

【Hackintosh】10GbEネットワークカード追加

Hackintoshに10GbE のネットワークカードを追加しました。
妻用PCとして1年半前まで運用していたIntel Corei7-2600 を積んだ自作PCをNAS化したところ思いの外スピードが出ることがわかったので、それならばと言うことでHackintoshと両方に10GbEを積んでみようと思い立ちました。

10GbE化するにあたり、ネットワークカードはどこのものが良いのか調べてみると、Aquantia社のAQC-107というチップを乗せたカードだとiMac 2017辺りに搭載されていたので良いとのこと。
さらに調べると、かつてはpatchを当てるなどしないと動かなかったようですが、Montereyあたりからは、
1. BIOSの VT-dをEnableにする
2. OpenCoreのconfig.plistで、Kernel -> Quirks -> ForceAquantiaEthernet をTrueにする
3. 同じくconfig.plistで Kernel -> Quirks -> DisableIOMapper を Falseにする
の３つを設定すれば動くとの事でした。

よく使われているAQC-107搭載カードで、かつamazonで比較的安価なものをと探した結果、
TP-Link TX401

というカードが手頃でしたので、入手してみました。

入手後早速、上記の通りの設定をしてみたのですが、Hackintool上では認識しているが、OSは認識できていない状態。流石にそう簡単ではありませんでした。
最初に調べた時に、"Due to some outdated firmware shipped on many Aquantia NICs, you may need to update the firmware in Linux/Windows to ensure it's macOS-compatible."
なんてことも書かれていたのですが、今買ったものにそんな古いfirmwareが乗っていることもないのでは？と思ってひとまず置いておいたのでした。
しかしここまで認識しないとなると、万が一購入した個体の不良もないとは言えないので、その確認も含めてWindowsで動かしてみる事にしました。このHackintoshにはParallelsを入れている事もありWindows用の領域はなかったので、改めてUSBメディアにWindows10を入れてみました。
インストールした状態で起動したままの時点ではやはりカードを認識していなかったので焦ってきましたが、会社のサイトから最新のドライバーを取得して当てたところ、無事動くようになりました。
この時点でNASと10GbEで通信するようにはできました。
TP-Link社のサイトにはfirmwareは置いていなかったので、firmwareの更新というものはできていなかったのですが、ないものは仕方ないと思ってこの段階でMacOSを起動してみたところ、無事に認識されて繋がりました。Windows側でドライバーをインストールする前後でMacOS側の設定は何もいじっていないので、ドライバーの更新ソフトの中にfirmwareも入っていたのかもしれないという事にしておく事にしました。


繋がった後は、NASとEthernetクロスケーブルで繋ぎました。家の中のケーブルを貼り替えるのは現実的ではないですし、そもそも他に10GbEを搭載した機材もない。当面はHackintoshとNASの２台しか10GbEを乗せることはないので、最も安価に済ませる方法としてクロスケーブルを選択しました。
繋いで双方のIPaddressの設定をすれば、設定は完了です。ルーターも何もないので手動で固定アドレスを書くだけです。早速NASへのアクセス速度を調べてみると、以下の値が出ていました。


実際にHackitoshの内蔵SSDから44GBのデータを転送してみたところ、6分で転送できました。
内蔵SSDの方がWrite374MB/s、Read499MB/sでしたので（NASの方が早い！）ネットワークの実力は出ていると思います。実測だと120MB/s程度の計算ですが、それでも本当に早いのでPC側のストレージは本当に小容量で良いのではないかと思いました。（家中どこでもスピードを出せるわけではあありませんが）
家の中には家族のものを含めて４台PCがあるのですが、今後はなるべく新しいNASにデータを集約させられるとそこだけバックアップ取れば良いし、管理も楽になると感じています。
非常に満足感の高い機能追加になりました。

最後に。
今回Etherカードを追加したためPCIのスロットも全て埋まりました。

おかげでWi-Fi/Bluetoothのカードがグラフィックボードとギリギリにまでなってしまい、１つのファンの1/4を塞いでいます。ちょっと不安ですが、仕方ないですね。