En général les GPU des supercalculateurs sont dopés aux stéroïdes, même chose pour les CPU, les communications, etc.
Par exemple sur Jean Zay, on a des GPU V100 16GB, V100 32GB, et des A100 80GB. Leurs communications sont souvent en NV-Link (plus rapide en multi-GPU que le PCIe). Donc si la station a du matériel analogue, les perfs seront analogues. Si par contre vous avez des RTX 3090 (très performante mais pas beaucoup plus que 12GB de mémoire), et des communications PCIe, vous aurez des performances bien inférieures (mais à un coût bien inférieur aussi)