Cost, Billing, and Ops13 Oktober 2026Flatkey Team

H100 SXM vs PCIe: NVLink, Daya, Performa, dan Biaya Sewa

Bandingkan H100 PCIe vs SXM untuk NVLink, konsumsi daya, performa beban kerja, dan biaya sewa sebelum menyewa GPU cloud.

Jika Anda mencari h100 pcie vs sxm, jawaban singkatnya sederhana: pilih H100 SXM ketika workload Anda diuntungkan oleh bandwidth multi-GPU yang rapat, topologi NVLink/NVSwitch, dan envelope daya yang lebih tinggi; pilih H100 PCIe ketika Anda membutuhkan biaya sewa yang lebih rendah, akses single-GPU yang lebih mudah, atau bentuk server yang lebih sederhana.

Jawaban yang lebih sulit adalah dari sisi ekonomi. Jam H100 PCIe yang lebih murah tidak otomatis lebih murah jika job berjalan lebih lama, menghabiskan lebih banyak waktu menunggu komunikasi GPU-to-GPU, atau memaksa Anda untuk melakukan over-sharding pada model. Jam H100 SXM yang lebih mahal tidak otomatis lebih baik jika layanan inferensi Anda hemat memori, terikat CPU, atau sebagian besar hanya menggunakan satu GPU.

Panduan ini membandingkan H100 SXM vs PCIe pada NVLink, daya, perilaku performa yang diharapkan, dan biaya sewa. Panduan ini juga memisahkan listing H100 PCIe biasa dari H100 NVL, sebuah produk NVIDIA keluarga PCIe dengan dukungan jembatan NVLink yang sering disalahartikan sebagai sewa H100 PCIe generik.

H100 PCIe vs SXM secara singkat

Poin keputusan	H100 SXM	H100 PCIe / keluarga PCIe
Cocok terbaik	Pelatihan multi-GPU, inferensi throughput tinggi, job yang diskalakan di 4-8 GPU	Eksperimen single-GPU, layanan inferensi lebih kecil, sewa berbiaya lebih rendah, kompatibilitas server lebih luas
Format fisik	Modul SXM dalam sistem bergaya HGX/DGX	Kartu PCIe dual-slot atau sistem keluarga PCIe
Kisah interkoneksi	Dirancang untuk komunikasi GPU-to-GPU bandwidth tinggi; NVIDIA mencantumkan NVLink 900 GB/s pada H100 SXM	PCIe biasa sangat bergantung pada desain server; NVIDIA H100 NVL adalah opsi khusus keluarga PCIe dengan dukungan jembatan NVLink
Envelope daya	NVIDIA mencantumkan H100 SXM dengan TDP konfigurabel hingga 700W	NVIDIA mencantumkan H100 NVL pada TDP konfigurabel 350-400W; banyak sewa H100 PCIe biasa dipilih untuk slot server berdaya lebih rendah
Bandwidth memori	NVIDIA mencantumkan H100 SXM pada 3,35 TB/s	NVIDIA mencantumkan H100 NVL pada 3,9 TB/s, tetapi itu tidak sama dengan setiap listing H100 PCIe generik
Pola sewa	Harga on-demand rata-rata lebih tinggi pada snapshot Price of Compute 13 Oktober 2026, tetapi penyedia yang terdaftar lebih banyak	Harga on-demand rata-rata lebih rendah pada snapshot yang sama, dengan penyedia yang terdaftar lebih sedikit
Risiko pembeli	Membayar SXM ketika workload tidak dibatasi interkoneksi	Memilih PCIe yang kurang memadai ketika workload benar-benar membutuhkan kolektif multi-GPU yang cepat

Bagi sebagian besar tim, perbedaan nvidia h100 sxm vs pcie bermuara pada topologi. SXM biasanya lebih cocok ketika GPU perlu bertindak seperti satu mesin yang sangat terhubung erat. PCIe biasanya lebih cocok ketika setiap GPU bisa bekerja secara independen atau ketika fleksibilitas sewa lebih penting daripada efisiensi klaster maksimum.

Aturan cepat

Gunakan aturan ini sebelum melihat harga:

Jika workload Anda sebagian besar...	Mulailah dengan...	Mengapa
Pelatihan terdistribusi, fine-tuning, atau inferensi batch besar di banyak GPU	H100 SXM	Topologi NVLink/NVSwitch dapat mengurangi bottleneck komunikasi
Inferensi single-GPU, embeddings, job batch, prototipe, atau pengujian latensi	H100 PCIe	Anda mungkin tidak menggunakan interkoneksi yang cukup untuk membenarkan premi sewa SXM
Menyajikan satu model besar yang nyaris muat di satu GPU	Uji keduanya	Memori, tensor parallelism, dan bentuk batch menentukan pemenang sebenarnya
Eksperimen singkat di mana waktu antrean penting	Sewa yang tersedia dan memenuhi kebutuhan memori	Menunggu bentuk fisik yang sempurna bisa lebih mahal daripada selisih harga
Inferensi produksi tanpa perlu kontrol CUDA langsung	Bandingkan sewa GPU dengan baseline model/API	API terkelola bisa lebih murah secara operasional saat utilisasi rendah atau tidak stabil

Jika Anda hanya membutuhkan kapasitas kelas H100 sesekali, bandingkan jalur GPU dengan jalur model/API terkelola sebelum memesan perangkat keras. Flatkey memberi tim satu API key, satu permukaan penagihan, dan akses yang kompatibel dengan OpenAI ke banyak keluarga model, yang sering kali menjadi baseline yang lebih sederhana ketika kontrol GPU langsung bukan tujuannya.

NVLink adalah perbedaan arsitektural terbesar

NVLink adalah alasan utama h100 pcie vs sxm bukan sekadar pertanyaan format slot.

Halaman publik H100 NVIDIA mencantumkan NVLink generasi keempat pada 900 GB/s interkoneksi GPU-to-GPU untuk H100, dan tabel produk H100-nya mencantumkan H100 SXM dengan NVIDIA NVLink pada 900 GB/s plus PCIe Gen5 pada 128 GB/s. Itulah topologi yang biasanya dibayar oleh penyewa SXM: desain server di mana beberapa GPU dapat berkomunikasi dengan bandwidth tinggi dan latensi yang dapat diprediksi.

Untuk pelatihan terdistribusi, ini penting karena all-reduce, tensor parallelism, pipeline parallelism, dan sinkronisasi optimizer dapat menjadi bottleneck. Workload yang terlihat compute-bound pada satu GPU dapat menjadi communication-bound begitu mencakup empat atau delapan GPU. Dalam kasus itu, pertanyaan H100 SXM vs PCIe harus dijawab dengan waktu job yang di-benchmark, bukan hanya oleh harga per jam.

PCIe berbeda. Ia fleksibel, umum, dan lebih mudah dipasang ke banyak desain server, tetapi itu tidak otomatis berarti setiap GPU memiliki konektivitas NVLink yang rapat ke setiap GPU lain di node. Beberapa sistem H100 keluarga PCIe memang menyertakan opsi bridge. Produk H100 NVL dari NVIDIA secara khusus adalah desain PCIe dual-slot berpendingin udara dengan dukungan jembatan NVLink dan 188 GB HBM3 pada konfigurasi berpasangan untuk inferensi LLM. Itu tidak berarti setiap listing cloud yang disebut "H100 PCIe" memiliki topologi yang sama.

Ajukan pertanyaan ini ke penyedia sewa sebelum berasumsi jawabannya:

Apakah ini H100 PCIe biasa, H100 NVL, HGX H100, atau desain server lainnya?
Berapa banyak GPU yang ada di node tersebut?
Apakah NVLink diaktifkan antar GPU yang Anda sewa?
Apakah NVSwitch tersedia?
Berapa bandwidth measured NCCL all-reduce pada tipe node yang persis sama?
Apakah GPU didedikasikan untuk satu pelanggan atau dibagikan melalui penjadwal marketplace?

Jawaban-jawaban itu biasanya lebih penting daripada kata-kata "PCIe" dan "SXM" itu sendiri.

Konsumsi daya dan batasan pusat data

Kata kunci nvidia h100 sxm vs pcie power consumption biasanya mengarah ke kekhawatiran praktis: apakah provider, rack colo, atau cluster privat Anda dapat mendukung profil daya dan pendinginannya?

NVIDIA mencantumkan H100 SXM hingga TDP yang dapat dikonfigurasi 700W. NVIDIA juga mencantumkan H100 NVL, produk PCIe dual-slot berpendingin udara, dengan TDP yang dapat dikonfigurasi 350-400W. Secara sederhana, SXM dirancang untuk server akselerasi berdensitas tinggi di mana platform mengharapkan daya, pendinginan, dan integrasi board yang dibutuhkan oleh cluster GPU kelas atas. Kartu keluarga PCIe cocok untuk bentuk server yang lebih konvensional.

Untuk sewa, perbedaan daya muncul secara tidak langsung:

Kapasitas SXM sering dijual di dalam sistem multi-GPU padat seperti HGX, DGX, atau yang setara.
Kapasitas PCIe lebih mudah ditemukan pada bentuk node yang lebih kecil dan marketplace.
SXM mungkin memiliki throughput yang lebih kuat per job untuk pekerjaan yang intensif komunikasi.
PCIe mungkin memiliki ketersediaan yang lebih baik atau biaya masuk yang lebih rendah untuk job GPU tunggal.

Jangan bandingkan TDP seolah-olah itu tarif listrik yang Anda bayar. Penyewa GPU cloud biasanya membayar harga per jam yang dibundel. Pertanyaan ekonominya adalah apakah sistem SXM dengan daya lebih tinggi menyelesaikan pekerjaan jauh lebih cepat atau mendukung throughput batch yang jauh lebih tinggi sehingga biaya per job yang selesai menjadi lebih rendah.

Performa: saat SXM biasanya unggul

SXM biasanya menang saat GPU perlu berkoordinasi.

Contoh:

Pretraining multi-GPU atau continued pretraining.
Fine-tuning penuh ketika gradien berpindah antar GPU secara sering.
Inferensi tensor-parallel untuk model besar yang tidak muat dengan rapi pada satu GPU.
Serving berthroughput tinggi di mana batching dan overhead komunikasi menentukan tokens per second.
Workload ilmiah atau HPC yang bergantung pada traffic GPU peer-to-peer yang cepat.

Dalam kasus-kasus ini, perbandingan harga h100 pcie vs sxm yang sempit bisa menyesatkan. Jika node SXM 30% lebih mahal per GPU-hour tetapi mengurangi waktu job sebesar 40%, biaya efektif per run yang selesai tetap bisa membaik. Jika harganya 60% lebih mahal dan job Anda hanya melihat peningkatan 5%, PCIe adalah pilihan yang lebih baik.

Itulah mengapa keputusan produksi harus memakai metrik di tingkat workload:

Workload	Metrik yang lebih baik daripada harga per jam
Fine-tuning	Biaya per training run yang berhasil
Batch inference	Biaya per satu juta token atau output yang diterima
Realtime inference	Biaya per request yang dilayani pada latensi target
Embeddings	Biaya per satu juta vektor yang dihasilkan
Evaluation harnesses	Biaya per rangkaian benchmark yang selesai

Untuk tradeoff pemilihan GPU yang lebih luas, lihat panduan Flatkey tentang H100 vs A100, H200 vs H100, dan GPU terbaik untuk inferensi LLM.

Performa: saat PCIe sudah cukup

H100 PCIe bisa menjadi titik awal yang lebih baik ketika workload tidak membutuhkan komunikasi GPU-ke-GPU yang padat.

Contoh:

Inferensi single-GPU untuk model yang muat di memori.
Generasi embedding di mana setiap GPU dapat memproses batch independen.
Preprocessing data, evaluasi, atau offline batch scoring.
Eksperimen fine-tuning awal sebelum scale-up.
Job yang sensitif terhadap biaya di mana waktu wall-clock kurang penting daripada pengeluaran per jam.

Ini adalah kesalahan yang paling umum dalam membeli H100 SXM vs PCIe: tim menyewa sistem SXM kelas atas karena terasa lebih aman, lalu menjalankan workload yang hampir tidak menggunakan topologi yang mereka bayar.

Mulailah dengan PCIe jika workload Anda dapat dipecah menjadi unit independen. Beralihlah ke SXM ketika profiling menunjukkan bahwa komunikasi GPU, pemecahan model, atau pemanfaatan multi-GPU menahan throughput.

Biaya sewa: snapshot Oktober 2026

Pasar sewa bergerak cepat, jadi perlakukan perbedaan harga nvidia h100 sxm vs pcie price difference sebagai snapshot yang bertanggal, bukan kebenaran permanen.

Snapshot Price of Compute API yang diperiksa pada 13 Oktober 2026 menunjukkan:

SKU	Rata-rata on-demand	Provider dalam rata-rata	Rata-rata spot	Provider dalam rata-rata spot	Harga terdaftar terendah yang teramati dalam snapshot
H100 SXM	$4.0185 / GPU-hour	8	$2.157633 / GPU-hour	3	$1.733333 / GPU-hour on-demand di Vast
H100 PCIe	$2.945 / GPU-hour	2	Tidak ada rata-rata spot agregat dalam respons API	n/a	$0.666667 / GPU-hour spot di Vast di ZA

Snapshot itu menunjukkan bahwa PCIe memiliki harga on-demand rata-rata yang lebih rendah, sementara SXM memiliki cakupan provider terdaftar yang lebih luas. Daftar provider juga menunjukkan mengapa Anda tidak boleh memutuskan hanya dari rata-rata: region, pasokan marketplace, risiko interupsi spot, ukuran sewa minimum, storage, egress, dan level dukungan dapat mendominasi biaya akhir.

Untuk konteks pasar sewa yang lebih luas, gunakan panduan Flatkey tentang harga sewa GPU, perbandingan GPU cloud, dan biaya tersembunyi GPU cloud.

Cara membandingkan biaya H100 SXM vs PCIe dengan benar

Gunakan rumus ini alih-alih berhenti di harga per jam:

biaya efektif =
  harga GPU per jam
  x GPU yang digunakan
  x jam wall-clock
  + storage
  + transfer data
  + waktu setup/debug yang idle
  + biaya retry atau gangguan

Kemudian normalisasikan berdasarkan output bisnis:

biaya per output yang diterima =
  biaya efektif / output yang diterima

Untuk training, output yang diterima bisa berupa satu checkpoint yang lolos evaluasi. Untuk inference, bisa berupa satu juta token, gambar, klip, embedding, atau request yang dapat digunakan. Ini penting karena h100 sxm vs pcie price bisa berbalik setelah Anda mengukur output yang diterima, bukan sekadar jam GPU mentah.

Contoh logika keputusan:

Skenario	Apa yang diuji	Hasil yang mungkin
Satu model 70B, satu GPU, batch size sedang	Harga per jam PCIe, latensi, headroom memori	PCIe bisa menang
Model 70B+ dipecah across GPU	Bandwidth NCCL, token/detik, tail latency	SXM bisa menang
Fine-tuning dengan sinkronisasi yang sering	Waktu step dan total runtime	SXM sering layak diuji
Embedding untuk korpus besar	Utilisasi GPU dan overhead antrean	PCIe bisa cukup
Proof of concept singkat	Waktu setup dan ketersediaan	H100 termurah yang tersedia bisa menang
API produksi di mana kontrol GPU langsung tidak diperlukan	Harga model/API dan overhead operasional	Rute API terkelola bisa mengalahkan salah satu jalur sewa

Baris terakhir adalah tempat Flatkey masuk dalam keputusan. Jika tim Anda menginginkan output model, bukan kepemilikan GPU, bandingkan sewa GPU langsung dengan baseline API. Flatkey membantu tim merutekan banyak model dengan satu kunci dan satu permukaan penagihan, mengurangi overhead operasional dalam mengelola akun penyedia yang terpisah.

Daftar periksa pengadaan

Sebelum menyewa atau memesan kapasitas H100, tanyakan:

Apakah listing tersebut H100 SXM, H100 PCIe biasa, H100 NVL, atau HGX H100?
Berapa banyak GPU dalam setiap node?
Apakah bentuk sewa yang tepat mengekspos NVLink? Jika ya, topologinya seperti apa?
Apakah NVSwitch tersedia?
CPU, RAM, NVMe lokal, dan jaringan apa yang disertakan?
Apakah harganya on-demand, reserved, spot, marketplace, atau promosi?
Apakah storage, snapshot, IP publik, dukungan, dan egress sudah termasuk?
Bisakah Anda menjalankan NCCL dan benchmark tingkat workload sebelum berkomitmen?
Apa yang terjadi jika kapasitas spot ditarik kembali atau node gagal?
Apakah rute model/API terkelola akan memenuhi kebutuhan produk yang sama dengan pekerjaan operasional yang lebih sedikit?

Untuk ekonomi tingkat klaster, gunakan panduan TCO klaster GPU dan perbandingan GPU cloud vs model API dari Flatkey.

Rencana benchmark yang direkomendasikan

Jalankan tes yang sama pada H100 PCIe dan H100 SXM sebelum menandatangani reservasi yang lebih panjang.

Mulailah dengan framework yang sama persis yang akan Anda gunakan di produksi, seperti vLLM, SGLang, PyTorch FSDP, DeepSpeed, atau TensorRT-LLM.
Catat utilisasi GPU, utilisasi memori, token per detik, waktu step, tail latency, serta job yang gagal/diretry.
Jalankan benchmark komunikasi seperti tes NCCL jika job mencakup beberapa GPU.
Uji ukuran batch yang realistis, bukan hanya maksimum sintetis.
Masukkan waktu setup, staging data, dan waktu debugging yang idle ke dalam biaya.
Bandingkan biaya per output yang diterima, bukan hanya harga per jam GPU.
Simpan baseline model/API jika produk tidak memerlukan kontrol CUDA langsung.

Rencana benchmark ini sangat penting untuk perbedaan nvidia h100 sxm vs pcie karena gap performanya bergantung pada workload. Sistem SXM yang sangat baik untuk satu job training multi-GPU bisa jadi terlalu berlebihan untuk antrean inference batch independen.

Mana yang harus Anda pilih?

Pilih H100 SXM jika:

Workload Anda mencakup beberapa GPU dan overhead komunikasi terlihat.
Anda membutuhkan sistem gaya HGX/DGX dengan bandwidth GPU-ke-GPU yang tinggi.
Waktu step training atau throughput inference multi-GPU lebih penting daripada harga per jam terendah.
Anda dapat menjaga GPU tetap sibuk cukup lama untuk membenarkan premi.

Pilih H100 PCIe jika:

Anda menjalankan inference GPU tunggal, eksperimen, atau job batch.
Anda membutuhkan biaya awal yang lebih rendah atau bentuk server yang lebih fleksibel.
Workload Anda diparalelkan di antara job independen, bukan GPU yang sangat terikat.
Anda ingin memvalidasi permintaan sebelum membayar kapasitas SXM yang padat.

Pilih rute model/API jika:

Produk Anda membutuhkan output, bukan akses GPU tingkat rendah.
Pemanfaatan bersifat bursty atau tidak dapat diprediksi.
Anda tidak ingin mengelola kapasitas, driver, antrean, checkpoint, dan penagihan di berbagai cloud GPU.
Anda sudah membutuhkan model GPT, Claude, Gemini, open-weight, gambar, atau video dalam satu permukaan integrasi.

Jawaban praktis untuk h100 pcie vs sxm bukanlah "SXM selalu lebih cepat" atau "PCIe selalu lebih murah." Jawaban yang tepat adalah: benchmark workload Anda yang spesifik, normalisasikan berdasarkan output yang diterima, dan gunakan jalur infrastruktur paling sederhana yang memenuhi kebutuhan produk.

Pertanyaan yang Sering Diajukan

Apakah H100 SXM lebih cepat daripada H100 PCIe?

Sering kali, ya, untuk workload multi-GPU yang mendapat manfaat dari topologi NVLink/NVSwitch yang padat dan envelope daya SXM yang lebih tinggi. Tetapi workload single-GPU atau paralel yang longgar mungkin tidak mendapatkan peningkatan yang cukup untuk membenarkan biaya sewa tambahan.

Apa perbedaan utama H100 SXM vs PCIe?

Perbedaan utamanya adalah desain sistem di sekitar GPU. H100 SXM dibangun untuk server akselerasi rapat dengan bandwidth GPU-ke-GPU yang tinggi. H100 PCIe adalah form factor berbasis kartu yang cocok untuk desain server yang lebih konvensional; beberapa produk keluarga PCIe, seperti H100 NVL, menambahkan dukungan bridge NVLink, tetapi listing PCIe generik harus diverifikasi.

Apakah setiap rental H100 PCIe menyertakan NVLink?

Tidak. Jangan berasumsi bahwa setiap listing H100 PCIe mengekspos NVLink atau NVSwitch. Tanyakan kepada penyedia tentang topologi node yang tepat dan, untuk job multi-GPU, jalankan tes NCCL pada bentuk sewa tersebut.

Mengapa H100 SXM lebih mahal untuk disewa?

Kapasitas SXM biasanya dijual sebagai bagian dari sistem yang lebih padat dan berdaya lebih tinggi dengan interkoneksi GPU-ke-GPU yang lebih kuat serta integrasi klaster. Harga sewa juga bergantung pada penyedia, wilayah, tekanan kapasitas, ketentuan reservasi, dukungan, dan apakah listing tersebut on-demand atau spot.

Apakah H100 PCIe bagus untuk inferensi LLM?

Ya, H100 PCIe bisa bagus untuk inferensi LLM ketika model muat di memori dan layanan tidak memerlukan komunikasi multi-GPU yang berat. Untuk inferensi model besar yang di-shard atau throughput maksimum per node, H100 SXM layak dijadikan bahan benchmark.

Bagaimana membandingkan biaya rental H100 SXM vs PCIe?

Bandingkan biaya per job yang selesai atau biaya per output yang diterima. Sertakan jam GPU, jumlah GPU, waktu job, penyimpanan, transfer, debugging saat idle, gangguan, dan dukungan. Harga per jam saja tidak menangkap tradeoff h100 sxm vs pcie price yang sebenarnya.

Kapan saya sebaiknya melewati rental GPU dan menggunakan API?

Gunakan baseline API ketika Anda tidak memerlukan kontrol CUDA langsung, kernel kustom, bobot model privat, atau kepemilikan penuh klaster. Jika beban kerja bersifat bursty atau tim terutama membutuhkan respons model, rute API terpadu Flatkey bisa lebih sederhana daripada menyewa dan mengoperasikan kapasitas H100 secara langsung.