Sebagai perbandingan kasar pada perangkat komputer modern:
NVMe SSD (Gen 4/5): Kecepatan bacanya hanya sekitar 7 hingga 14 GB/detik.
Pinned RAM (DDR5): Kecepatan transfernya mencapai sekitar 60 hingga 90 GB/detik.
VRAM GPU (HBM3/GDDR6X): Kecepatan transfernya super fantastis, mencapai 1.000 hingga 3.000 GB/detik (1-3 Terabyte/detik).
Jadi, membaca data langsung dari SSD ibaratnya berjalan kaki, sementara membaca dari VRAM adalah secepat jet tempur. Ketika MoE memaksa sistem melakukan streaming pakar dari SSD, AI akan mengalami apa yang disebut I/O Bottleneck (prosesor menganggur menunggu data selesai dibaca dari disk).
Bagaimana Mesin GLM 5.2 Mengakali Perlambatan Ini?
Para insinyur pembuat mesin C (Colibrì) pada diagram Anda tahu persis masalah ini. Mereka tidak bisa menghilangkan perlambatan tersebut, tetapi mereka mengakalinya agar tidak terlalu terasa oleh pengguna menggunakan 3 trik cerdas yang ada di diagram Anda:
1. Expert Cache (LRU) - Menggunakan Prinsip Kemiripan Topik
Sama seperti manusia yang kalau sedang mengobrol tentang "coding" pasti kalimat berikutnya masih seputar "coding", AI juga demikian. Mesin ini menyediakan ruang kecil di RAM bernama Expert Cache.
Jika sekelompok expert pemrograman sudah dipanggil ke RAM, mereka akan ditahan di sana. Selama Anda masih membahas topik yang sama, AI tidak perlu membaca SSD lagi karena pakarnya sudah stand-by di RAM. Pakar di RAM baru akan dihapus (Least Recently Used / LRU) jika Anda tiba-tiba mengganti topik pembicaraan ke hal lain (misal: resep masakan).
2. Speculative Decoding (Trik Nomor 7 di Diagram)
Ini adalah trik "menebak masa depan". Sembari expert besar dimuat dari SSD yang lambat, sistem menjalankan model AI yang jauh lebih kecil (sangat ringan dan muat penuh di RAM) untuk menebak dan menyusun beberapa kata berikutnya terlebih dahulu. Ketika expert besar dari SSD selesai dimuat, ia tinggal memverifikasi tebakan tersebut. Teknik ini bisa memotong waktu tunggu hingga 2-3 kali lebih cepat.
3. Kompresi Ekstrem (FP8 \(\rightarrow \) INT4 Quantization)
Ukuran file expert diperkecil secara ekstrem hingga tersisa seperempat dari ukuran aslinya. Jika file expert yang harus ditransfer mengecil dari 40 GB menjadi hanya 10 GB, maka waktu yang dibutuhkan SSD untuk mengirim data ke RAM juga otomatis terpangkas menjadi 4 kali lebih cepat.
Kesimpulan Trade-Off (+ / -)
Sistem yang ada pada diagram Anda adalah sebuah kompromi ekonomi:
Pilihan A (Ideal tapi Sangat Mahal): Menyewa server data center dengan 8 kartu grafis NVIDIA H100 seharga milyaran rupiah agar semua 256 experts bisa langsung stand-by di VRAM. Hasilnya: Jawaban keluar instan (ratusan token per detik).
Pilihan B (Mesin GLM C di Diagram): Memanfaatkan NVMe SSD laptop Anda yang murah. Pengorbanannya adalah kecepatan ketikan jawaban AI mungkin akan melambat (misal hanya belasan token per detik, mirip kecepatan manusia mengetik), tetapi keuntungannya Anda bisa menjalankan AI super pintar kelas dunia secara gratis dan offline di rumah.
