运行本地模型的准备工作

由于本平台的用户多数并非技术背景，因此本文将侧重介绍相关功能，并提供详细的安装指南，而不过多涉及技术细节。

核心组件：CUDA、cuDNN

CUDA（Compute Unified Device Architecture）
由 NVIDIA 推出的并行计算平台和编程模型，允许开发者充分利用 NVIDIA GPU 的强大计算能力。它扩展了 C/C++ 编程接口，使计算密集型任务能够从 CPU 转移至 GPU，从而显著提升计算速度。简单来说，CUDA 让显卡能够处理复杂的计算任务，特别是在大规模数据处理时提升效率。

cuDNN（CUDA Deep Neural Network）
NVIDIA 专为深度学习优化的 GPU 加速库，构建在 CUDA 之上，提供高效的计算功能，如卷积、池化、归一化和激活函数等。它被广泛应用于 TensorFlow、PyTorch、MXNet 等深度学习框架中，大幅提高训练和推理速度。简单来说，cuDNN 让显卡更高效地处理神经网络的核心运算，加速模型训练和推理。

大多数开源的生成式 AI 工具依赖 NVIDIA 显卡运行，原因正是它们使用了 CUDA 和 cuDNN 技术，因此你如果在本地跑AigcPanel，至少要有一个NVIDIA的显卡，否则所有模型运行都会比较吃力。