はじめに
こんにちは。SCSKの松谷です。SCSKに新卒で入社し、今年で2年目になります。
本連載では、ローカルLLM実装に向けた検証過程の具体的な作業内容や得られた知見を共有していきます。 第0回で記載したローカルLLM実装の手順は以下の通りでした。
- 1. CUDA Toolkit, NVIDIAドライバのインサッカー賭けアプリール（第1回） ←今回はここ！
- 2. Dockerのインサッカー賭けアプリール（第2回）
- 3. NVIDIA Container Toolkitのインサッカー賭けアプリール（第3回）
- 4. OllamaによるローカルLLMの実行（第4回）
- 5. Ollama + Open WebUIによるローカルLLMの実行（第5回）
第1回の今回は、検証環境の構築作業の一環として、検証機にCUDAToolkitとNVIDIAドライバを導入した際の内容などについて記載しています。
検証機のスペック
| 項目 | 説明 | |
|---|---|---|
| 1 | OS | Rocky Linux 8.10（Green Obsidian） |
| 2 | CPUコア数 | 8 |
| 3 | メモリ容量 | 32GB |
| 4 | ディスク容量 | 300GB |
| 5 | GPU | NVIDIA A100 PCIe 40GB |
CUDA Toolkitについて
CUDA Toolkitとは、NVIDIA社が開発・提供しているGPU向けの開発環境のことです。CUDA Toolkitは、以下のコンポーネントで構成されています。
- GPUアクセラレーションライブラリ：ディープラーニング向けのライブラリ（cuDNN）など
- デバッグおよび最適化ツール：デバッグ、最適化を支援するツール
- C/C++コンパイラ：CUDA C/C++コードをGPU上で実行可能なコードに変換するコンパイラ（nvcc）
- ランタイムライブラリ：CUDAアプリケーションがGPUとやりとりするためのAPI
AI検証にあたり、推論時にGPUの計算能力を利用したいなどの理由から今回CUDA Toolkitを検証機にインサッカー賭けアプリールします。
CUDA Toolkitのインサッカー賭けアプリール
インサッカー賭けアプリールするバージョンの決定
検証機に搭載されているNVIDIA A100 PCIe 40GBに対応したCUDA Toolkitのバージョンを特定し、インサッカー賭けアプリールするバージョンを決定したいと思います。
NVIDIA A100 PCIe 40GBのCompute Capabilityを以下の公式サイトより調べます。
CUDA GPUs - Compute Capability | NVIDIA Developer
NVIDIA A100のCompute Capabilityは8.0であることがわかりました。
WikipediaにCUDA ToolkitとCompute Capabilityのわかりやすい対応表がありますので、こちらを参考にNVIDIA A100が対応しているCUDA Toolkitのバージョンを確認します。
上記表より、Compute Capabilityが8.0であるNVIDIA A100はCUDA Toolkitのバージョン11.0~12.5に対応していることがわかりました。今回は対応しているバージョンの中で最新の12.5をインサッカー賭けアプリールしていきます。
インサッカー賭けアプリール方法の決定
CUDA Toolkitのインサッカー賭けアプリール方法とそれぞれのメリット、デメリットは以下の通りです。
1.ディサッカー賭けアプリリビューション固有のパッケージ（RPMおよびDebパッケージ）を利用したインサッカー賭けアプリール
- a.メリット：ディサッカー賭けアプリリビューションのネイティブパッケージ管理システム（APTやYUM）と連携するため、パッケージ管理システムを通じて、簡単にインサッカー賭けアプリール、アップデート、アンインサッカー賭けアプリールができる
- b.デメリット：特定のLinuxディサッカー賭けアプリリビューションにのみ対応している
2.ディサッカー賭けアプリリビューションに依存しないパッケージ（runfileパッケージ）を利用したインサッカー賭けアプリール
- a.メリット：幅広いLinuxディサッカー賭けアプリリビューションに対応している
- b.デメリット：ディサッカー賭けアプリリビューションのネイティブパッケージ管理システム（APTやYUM）と連携しないため、手動でのアップデートやアンインサッカー賭けアプリールが必要になる場合がある
可能な限り、ディサッカー賭けアプリリビューション固有のパッケージを利用したインサッカー賭けアプリールが公式から推奨されているので、今回はこちらの方法でインサッカー賭けアプリールを行います。
インサッカー賭けアプリール手順の確認
インサッカー賭けアプリール方法が決定したので、以下2つの公式サイトでインサッカー賭けアプリール手順を確認します。
1. Introduction — Installation Guide for Linux 12.5 documentation
CUDA Toolkit 12.5 Downloads | NVIDIA Developer
2つの公式サイトはどちらも「CUDA Toolkit Archive」で検索して表示されるサイトをクリックし、特定のバージョンを選択することで辿り着くことができます。
2つ目の公式サイトではインサッカー賭けアプリール対象の情報を入力すると、以下のようにインサッカー賭けアプリール方法が表示されます。
2つの公式サイトを参照するのは、片方に載っている内容がもう片方には載っていないといったことがあるからです。 2つを参照しながらインサッカー賭けアプリール作業を行うのが良いと思います。
インサッカー賭けアプリール作業
以下のような手順で、NVIDIAドライバとCUDA Toolkitをインサッカー賭けアプリールしていきます。
EPELリポジトリパッケージのインサッカー賭けアプリール（NVIDIAドライバがDKMSやlibvdpauなど、EPELのようなサードパーティ製のリポジトリでのみ提供されている外部パッケージに依存するため）
[root@aitest ~]# dnf install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm古い署名鍵の削除
[root@aitest ~]# rpm --erase gpg-pubkey-7fa2af80*CUDAリポジトリパッケージのインサッカー賭けアプリール
[root@aitest ~]# wget https://developer.download.nvidia.com/compute/cuda/12.5.0/local_installers/cuda-repo-rhel8-12-5-local-12.5.0_555.42.02-1.x86_64.rpm
[root@aitest ~]# rpm -i cuda-repo-rhel8-12-5-local-12.5.0_555.42.02-1.x86_64.rpmパッケージ管理システムのキャッシュをクリア
[root@aitest ~]# dnf clean allNVIDIAドライバとCUDA Toolkitのインサッカー賭けアプリール
[root@aitest ~]# dnf module install nvidia-driver:latest-dkms
[root@aitest ~]# dnf install cuda-toolkit-12-5再起動してインサッカー賭けアプリールしたドライバやライブラリをロード
[root@aitest ~]# reboot環境変数PATHを設定
[root@aitest ~]# vi /etc/profile
⋮
PATH="/usr/local/cuda-12.5/bin:${PATH}"
export PATH動作確認
[root@aitest ~]# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Wed_Apr_17_19:19:55_PDT_2024
Cuda compilation tools, release 12.5, V12.5.40
Build cuda_12.5.r12.5/compiler.34177558_0
[root@aitest ~]# nvidia-smi
Fri Aug 16 17:16:55 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 555.42.02 Driver Version: 555.42.02 CUDA Version: 12.5 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA A100-PCIE-40GB Off | 00000000:07:00.0 Off | 0 |
| N/A 56C P0 43W / 250W | 229MiB / 40960MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 2683 G /usr/libexec/Xorg 70MiB |
| 0 N/A N/A 2852 G /usr/bin/gnome-shell 135MiB |
+-----------------------------------------------------------------------------------------+NVIDIAドライバとCUDA Toolkitを問題なくインサッカー賭けアプリールすることができました。
おわりに
今回は、第1回として「CUDA Toolkitのインサッカー賭けアプリール」に焦点を当て、紹介しました。 インサッカー賭けアプリール手順が公式サイト間で違いがあり苦労しましたが、なんとかインサッカー賭けアプリールをすることができました。 CUDA Toolkitをインサッカー賭けアプリールする際の手助けになれば幸いです。 次回は、検証環境の構築作業として「Dockerのインサッカー賭けアプリール」をテーマに記載していきます。お楽しみに！
次回（第2回）のコラムはこちら
著者プロフィール
松谷 康平（まつたに こうへい） サッカーベッティング インフラエンジニア 2023年に新卒で入社。現在はお客様のインフラ環境の構築を担当。 所属組織では、AI検証活動を積極的に行っている。
お問い合わせ・資料DL
NVIDIAソリューションに関するご相談や、各種資料ダウンロードはこちらから
