cuda

CUDA（Compute Unified Device Architecture）是由NVIDIA推出的一种并行计算平台和编程模型。它允许开发者使用通用编程语言（如C、C++）来利用NVIDIA GPU进行并行计算。CUDA提供了一组库、编译器、运行时系统和开发工具，使开发者能够更轻松地利用GPU的计算能力。

cuda-toolkit

CUDA Toolkit是用于CUDA开发的软件包，包括了CUDA编译器、运行时库、GPU驱动程序、开发工具等。CUDA Toolkit提供了一整套用于开发GPU加速应用程序的工具和库，以及与NVIDIA硬件和驱动程序的兼容性。

nvidia-driver

nvidia-driver（NVIDIA驱动程序）是操作系统与NVIDIA GPU硬件之间的软件接口。它负责管理GPU硬件的操作、资源分配、性能优化等任务。CUDA依赖于NVIDIA的驱动程序，因为它需要与GPU硬件进行通信以执行并行计算任务。在使用CUDA进行开发时，确保安装了与CUDA兼容的NVIDIA驱动程序是很重要的。

理解驱动的定义，有助于理解nvidia-driver

驱动的定义：驱动（Driver）是一种计算机程序或软件，它允许操作系统或其他软件与硬件设备进行通信和交互。驱动程序的主要作用是提供对硬件设备的抽象接口，使操作系统或应用程序能够使用硬件而无需了解其具体细节。

cuDNN

CuDNN（CUDA Deep Neural Network library）是NVIDIA提供的用于深度学习任务的GPU加速库。它是专门为使用CUDA（Compute Unified Device Architecture）平台的深度学习框架而设计的，旨在优化深度神经网络的计算性能。

CuDNN提供了一系列高度优化的基本操作和算法，例如卷积、池化、归一化等，这些操作是深度学习中常见的基本构建块。通过使用CuDNN，深度学习框架可以利用NVIDIA GPU的并行计算能力，加速神经网络的训练和推理过程。

cuda和cuda-toolkit的区别

CUDA是一种并行计算平台和编程模型，而CUDA Toolkit是包含用于CUDA开发的一系列软件工具和库的集合。在进行CUDA开发时，通常需要安装CUDA Toolkit，因为它提供了必要的工具和库，使开发者能够有效地利用NVIDIA GPU的计算资源。

cuda的卸载方式

官方建议

#To uninstall the CUDA Toolkit, 
#run cuda-uninstaller in /usr/local/cuda-12.1/bin
cd /usr/local/cuda-12.1/bin && cuda-uninstaller

#To uninstall the NVIDIA Driver, run 
nvidia-uninstall

根据cuda-toolkit的文件名，判断cuda和nvidia-driver的版本

cuda-toolkit的文件名：cuda_12.1.0_530.30.02_linux.run

验证

问题一

命令nvidia-smi显示：

NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2

命令nvcc -V显示：

Cuda compilation tools, release 11.8, V11.8.89

Build cuda_11.8.r11.8/compiler.31833905_0

为什么上面两个命令显示cuda的version不一样？

您提到的 nvidia-smi 和 nvcc -V 显示的 CUDA 版本不一致可能是由于它们分别报告不同的信息。

nvidia-smi:

nvidia-smi 显示的 CUDA 版本通常是指安装的 NVIDIA 驱动程序所支持的 CUDA 版本。
这是与 GPU 驱动程序版本相关的信息，而不仅仅是 CUDA 编译工具的版本。

在您的例子中，nvidia-smi 显示的 CUDA 版本是 12.2，这是 NVIDIA 驱动程序版本 535.129.03 所支持的 CUDA 版本。

nvcc:

nvcc -V 显示的 CUDA 版本是 CUDA 编译工具（即 NVIDIA CUDA Compiler）的版本。
这是与安装的 CUDA Toolkit 相关的信息。

在您的例子中，nvcc -V 显示的 CUDA 版本是 11.8，这是您安装的 CUDA 编译工具版本。

虽然 CUDA 编译工具的版本和 GPU 驱动程序支持的 CUDA 版本通常是相关的，但它们并不总是一一对应。

您可以确保您的代码使用的 CUDA 版本与您的 GPU 驱动程序兼容。通常情况下，您可以根据您的实际需求，选择安装适当版本的 CUDA Toolkit 和相应的 GPU 驱动程序。

转自：https://zhuanlan.zhihu.com/p/669089641