H100/H200 GPU-Probleme

nvidia-smi

Führen Sie das Dienstprogramm nvidia-smi aus, um die acht GPUs online anzuzeigen.

Anmerkung

Bei den GPU-Nummern (0 bis 7) in der Ausgabe handelt es sich um die logischen Nummern. In der folgenden Tabelle finden Sie Angaben für die Zuordnung zwischen den logischen Nummern und den physischen GPU-Sockeln.

Logische Nummer	Physischer GPU-Sockel	Position des GPU-Sockels
0	GPU 3
1	GPU 1
2	GPU 2
3	GPU 4
4	GPU 7
5	GPU 5
6	GPU 6
7	GPU 8

Abbildung 1. nvidia-smi

nvidia-smi -L

Führen Sie das Dienstprogramm nvidia-smi -L aus, um die acht GPUs online mit UUID anzuzeigen.

Anmerkung

Bei den GPU-Nummern (0 bis 7) in der Ausgabe handelt es sich um die logischen Nummern. In der folgenden Tabelle finden Sie Angaben für die Zuordnung zwischen den logischen Nummern und den physischen GPU-Sockeln.

Logische Nummer	Physischer GPU-Sockel	Position des GPU-Sockels
0	GPU 3
1	GPU 1
2	GPU 2
3	GPU 4
4	GPU 7
5	GPU 5
6	GPU 6
7	GPU 8

Abbildung 2. nvidia-smi -L

nvidia-smi -q --id=1 -f <output file name>

Führen Sie das Dienstprogramm nvidia-smi -q --id=1 -f <output file name> aus, um GPU-Bestandsinformationen zu exportieren.

Geben Sie in <output file name> den gewünschten Dateinamen ein, um die Ausgabe zu speichern. Beispiel: nvidia-smi -q --id=1 -f /tmp/queryoam1.txt.

Abbildung 3. nvidia-smi -q --id=1 -f <output file name>

nvidia-smi --id=0 -q -d ECC,PAGE_RETIREMENT

Führen Sie das Dienstprogramm nvidia-smi --id=0 -q -d ECC,PAGE_RETIREMENT aus, um ECC-Fehler (ECC – Error Checking and Correction, Fehlerüberprüfung und -korrektur) und den Status stillgelegter Seiten zu exportieren.

ECC Mode
    Current                           : Enabled
    Pending                           : Enabled
Ecc Errirs
    Volatile
        SRAM Correctable              : 0
        SRAM Uncorrectable Parity     : 0
        SRAM Uncorrectable SEC-DED    : 0
        DRAM Correctable              : 0
        DRAM Uncorrectable:           : 0
    Aggregate
        SRAM Correctable              : 0
        SRAM Uncorrectable Parity     : 0
        SRAM Uncorrectable SEC-DED    : 0
        DRAM Correctable              : 0
        DRAM Uncorrectable            : 0
        SRAM Threshold Exceeded       : No
    Aggregate Uncorrectable SRAM Sources
        SRAM L2                       : 0
        SRAM SM                       : 0
        SRAM Microcontroller          : 0
        SRAM PCIE                     : 0
        SRAM Other                    : 0
    Retired Pages
        Single Bit ECC                : N/A
        Double Bit ECC                : N/A
        Pending Page Blacklist        : N/A

nvidia-smi pci --getErrorCounters

Führen Sie das Dienstprogramm nvidia-smi pci --getErrorCounters aus, um Fehlerzähler der acht GPUs anzuzeigen.

Abbildung 4. nvidia-smi pci --getErrorCounters

nvidia-smi pci --getErrorCounters --id=<id number>

Führen Sie das Dienstprogramm nvidia-smi pci --getErrorCounters --id=<id number> aus, um Fehlerzähler für eine bestimmte GPU anzuzeigen.

Geben Sie die ID-Nummer einer bestimmten GPU in <id number> ein. Beispiel: nvidia-smi pci --getErrorCounters --id=2.

Abbildung 5. nvidia-smi pci --getErrorCounters --id=<id number>