DeepSeek Buka 2026 dengan mHC, Resep Arsitektur agar Model AI Besar Lebih Stabil Dilatih
Makalah DeepSeek tentang Manifold-Constrained Hyper-Connections (mHC) mengekang Hyper-Connections agar sifat identity mapping koneksi residual pulih, sehingga pelatihan model besar lebih stabil dengan biaya tambahan kecil.
Di saat banyak laboratorium AI masih berlibur, DeepSeek justru menutup 2025 dengan sebuah makalah riset yang langsung ramai dibahas: mHC (Manifold-Constrained Hyper-Connections). Makalah bernomor arXiv 2512.24880 ini diunggah pada 31 Desember 2025, dengan pendiri DeepSeek, Liang Wenfeng, tercantum di antara para penulisnya.
Masalah yang ingin dipecahkan
Hampir semua model bahasa besar modern bertumpu pada koneksi residual: keluaran setiap lapisan dijumlahkan dengan masukannya (x + F(x)). Trik sederhana ini membuat sinyal "identitas" selalu bisa lewat, sehingga model ratusan lapisan tetap stabil saat dilatih.
Belakangan muncul gagasan Hyper-Connections (HC) yang melebarkan aliran residual menjadi beberapa jalur paralel, lalu mencampurnya dengan matriks yang dipelajari. Hasilnya lebih bertenaga, tetapi ada harga yang dibayar: sifat identitas tadi rusak, pelatihan menjadi tidak stabil pada skala besar, dan akses memori bertambah berat.

Solusi DeepSeek: kekang matriksnya
Ide mHC adalah membatasi matriks pencampur Hyper-Connections agar selalu berada pada sebuah "manifold" tertentu — yaitu himpunan matriks doubly stochastic, matriks yang jumlah setiap baris dan kolomnya sama dengan satu. Proyeksi ke himpunan ini dilakukan dengan algoritma Sinkhorn-Knopp. Karena matriks seperti itu tidak bisa memperbesar sinyal secara liar, sifat identity mapping koneksi residual pulih kembali.
DeepSeek juga menyertai idenya dengan optimasi infrastruktur agar tambahan biaya komputasinya tetap kecil — ciri khas laboratorium ini sejak model V3 dan R1 yang terkenal efisien.

Hasil yang dilaporkan
- Pada Hyper-Connections tanpa kendala, penguatan sinyal gabungan antarlapisan bisa membengkak hingga sekitar 3000 kali; dengan mHC angkanya tertahan di kisaran 1,6 kali.
- Eksperimen dilakukan hingga model berukuran 27 miliar parameter, dengan peningkatan kinerja dan skalabilitas dibanding pendekatan sebelumnya.
- Setelah dioptimasi, tambahan waktu pelatihan untuk empat aliran residual dilaporkan sekitar 6,7%.
Mengapa ini penting?
Riset arsitektur seperti ini jarang terdengar seheboh peluncuran chatbot baru, tetapi justru menentukan seberapa murah dan stabil model generasi berikutnya bisa dilatih. Para pengamat membaca makalah ini sebagai petunjuk arah arsitektur model DeepSeek selanjutnya. Karena makalahnya terbuka, laboratorium lain — termasuk komunitas open source — juga bisa langsung menguji dan mengadopsinya.
Sumber
- mHC: Manifold-Constrained Hyper-Connections (arXiv:2512.24880) — arXiv
- mHC: Manifold-Constrained Hyper-Connections — Hugging Face Papers
- DeepSeek's Manifold-Constrained Hyper-Connections (mHC) — DZone
Gambar sampul dan ilustrasi dibuat oleh redaksi komputerkampus.com. Berita ini adalah bagian dari rangkuman berita teknologi Pekan 1 · 1–4 Januari 2026.