NVMe over ROCEのベンチマークをとってみたので、以前に計測したiSCSIとNVMe over TCPのベンチマークと比較してみる。 今回のROCEも以前のiSCSIおよびNVMe over TCPと同じハードウェア構成で計測しているが、MellanoxのOFEDドライバがまだLinuxの5.xカーネル…

Mellanox OFEDドライバをインストールする。 # ./mlnxofedinstall --add-kernel-support --with-nvmf ./mlnxofedinstallはperlの依存が多く、エラーが出たら解消していく。perl系の依存関係は標準エラー出力をだしてくれず、スクリプトが/tmpに出力したログ…

ラズパイをヘッドレス運用でwifiを使いたい。wpa_supplicantを使って設定する方法のメモ。 設定ファイルはネットの情報を参考にしたらハマったので本家のREADMEを参考にした。 http://w1.fi/cgit/hostap/plain/wpa_supplicant/README # vi /etc/wpa_supplica…

PXEサーバをCentos7で構築する。 基本的にはRed Hatのオンラインドキュメント通り。 第23章 ネットワークからのインストールの準備 Red Hat Enterprise Linux 7 | Red Hat Customer Portal # yum install dhcp tftp-server xinetd httpd /etc/xinetd/tftpを…

デフォルトでブートするエントリーの変更。 現在のメニューの確認方法。/etc/grub2.cfgがリンク切れになっていてエラーになることがあるので、その場合はリンクを張る。 # awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg awk: fatal: cannot open f…

同一環境下（OS、NICやマシン）で、さらに条件を揃えるため、SSDではなくnullデバイスを使用。 下記出力のsdeがiscsiデバイスで、nvme1n1がNVMe Over TCP。両者ともリモートマシン上の同一/dev/nullb0に接続されている。 # lsblk NAME MAJ:MIN RM SIZE RO TY…

マシン2台で直結のテスト環境作ったので忘れないうちにメモしておく。 カーネル5.0からNVMe TCPがサポートされた。 Ubuntu 18.04.03やFedora 31ではモジュール化されている。一応モジュールがあるか確認し、ロードする。モジュールになっていないディストリ…

ディストリビューションのカーネルソースを使いたいと思うと、RPMパッケージで入手するらしく、展開方法などお作法が分かりずらかったので備忘録に残しておく。 まずは必要なパッケージをインストールする。 # dnf install fedpkg fedora-packager rpmdevtoo…

NVMe over Ethernetなどでベンチマークする際にfioを使うが、ネットワークだけに注目したい場合、ターゲットデバイスをSSDなどではなくnullデバイスにすると良い。 やり方は、null_blkドライバをロードすれば良い。するとnullb0デバイスが生成される。 ドラ…

NVIDIA V100のドライバーをUbuntu 18.04にインストールしたので記録しておく。 # lshw -c display *-display description: VGA compatible controller product: ASPEED Graphics Family vendor: ASPEED Technology, Inc. physical id: 0 bus info: pci@0000:…

ドライバをソースコードからコンパイルする場合などに現在稼働中のカーネルバージョンのソースが必要になる。 /usr/src配下にカーネルソースをダウンロードする。 # cd /usr/src # apt-get source linux-image-$(uname -r) ソースコードリポジトリを有効にし…

環境はRHEL7.6、参考ウェブサイトは下記。 http://elrepo.org/tiki/wl-kmod 1. 環境を準備する # yum group install "Development Tools" # yum install redhat-lsb kernel-abi-whitelists # yum install kernel-devel-$(uname -r) 2. 一般ユーザーでビルド…