1、安装GPU监控软件

　　第一步是安装一个GPU监控软件。有多个选项可用，包括用于 NVIDIA GPU 的 NVIDIA-SMI 和用于 AMD GPU 的 AMD System Monitor。在本文中，我们将使用 NVIDIA-SMI 作为示例。

　　要安装 NVIDIA-SMI，您需要在服务器上安装 NVIDIA 驱动程序。您可以使用以下命令检查您的服务器是否安装了 NVIDIA 驱动程序：

　　nvidia-smi

　　如果没有安装 NVIDIA-SMI，可以使用以下命令安装：

　　sudo apt-get install nvidia-smi

　　2、检查 GPU 使用情况

　　安装 GPU 监控软件后，您可以使用以下命令检查 GPU 使用情况：

　　nvidia-smi

　　此命令显示 GPU 使用情况的摘要，包括 GPU 利用率、内存使用情况和温度。

　　3、检查单个进程使用情况

　　如果要查看单个进程的GPU使用情况，可以使用以下命令：

　　nvidia-smi pmon

　　此命令显示当前使用 GPU 的所有进程的表格，以及它们的 GPU 利用率、内存使用情况和 PID(进程 ID)。

　　4、使用监控工具

　　如果您想随时间监控 GPU 使用情况，可以使用 NVIDIA 系统管理界面 (nvidia-smi)、Grafana 和 Prometheus 等监控工具。这些工具允许您收集和可视化有关 GPU 使用率、温度和其他指标的数据。