Lewati ke isi
Minggu, 22 November 2026 Tutorial & berita teknologi Tentang Kontak
Komputerkampus.com
Berita Kecerdasan Buatan

DeepSeek Buka 2026 dengan mHC, Resep Arsitektur agar Model AI Besar Lebih Stabil Dilatih

Makalah DeepSeek tentang Manifold-Constrained Hyper-Connections (mHC) mengekang Hyper-Connections agar sifat identity mapping koneksi residual pulih, sehingga pelatihan model besar lebih stabil dengan biaya tambahan kecil.

Sampul berita: makalah mHC DeepSeek

Di saat banyak laboratorium AI masih berlibur, DeepSeek justru menutup 2025 dengan sebuah makalah riset yang langsung ramai dibahas: mHC (Manifold-Constrained Hyper-Connections). Makalah bernomor arXiv 2512.24880 ini diunggah pada 31 Desember 2025, dengan pendiri DeepSeek, Liang Wenfeng, tercantum di antara para penulisnya.

Masalah yang ingin dipecahkan

Hampir semua model bahasa besar modern bertumpu pada koneksi residual: keluaran setiap lapisan dijumlahkan dengan masukannya (x + F(x)). Trik sederhana ini membuat sinyal "identitas" selalu bisa lewat, sehingga model ratusan lapisan tetap stabil saat dilatih.

Belakangan muncul gagasan Hyper-Connections (HC) yang melebarkan aliran residual menjadi beberapa jalur paralel, lalu mencampurnya dengan matriks yang dipelajari. Hasilnya lebih bertenaga, tetapi ada harga yang dibayar: sifat identitas tadi rusak, pelatihan menjadi tidak stabil pada skala besar, dan akses memori bertambah berat.

Diagram evolusi dari koneksi residual ke Hyper-Connections lalu mHC

Solusi DeepSeek: kekang matriksnya

Ide mHC adalah membatasi matriks pencampur Hyper-Connections agar selalu berada pada sebuah "manifold" tertentu — yaitu himpunan matriks doubly stochastic, matriks yang jumlah setiap baris dan kolomnya sama dengan satu. Proyeksi ke himpunan ini dilakukan dengan algoritma Sinkhorn-Knopp. Karena matriks seperti itu tidak bisa memperbesar sinyal secara liar, sifat identity mapping koneksi residual pulih kembali.

DeepSeek juga menyertai idenya dengan optimasi infrastruktur agar tambahan biaya komputasinya tetap kecil — ciri khas laboratorium ini sejak model V3 dan R1 yang terkenal efisien.

Kartu angka hasil mHC: penguatan sinyal sekitar 3000 kali pada HC turun menjadi sekitar 1,6 kali

Hasil yang dilaporkan

  • Pada Hyper-Connections tanpa kendala, penguatan sinyal gabungan antarlapisan bisa membengkak hingga sekitar 3000 kali; dengan mHC angkanya tertahan di kisaran 1,6 kali.
  • Eksperimen dilakukan hingga model berukuran 27 miliar parameter, dengan peningkatan kinerja dan skalabilitas dibanding pendekatan sebelumnya.
  • Setelah dioptimasi, tambahan waktu pelatihan untuk empat aliran residual dilaporkan sekitar 6,7%.

Mengapa ini penting?

Riset arsitektur seperti ini jarang terdengar seheboh peluncuran chatbot baru, tetapi justru menentukan seberapa murah dan stabil model generasi berikutnya bisa dilatih. Para pengamat membaca makalah ini sebagai petunjuk arah arsitektur model DeepSeek selanjutnya. Karena makalahnya terbuka, laboratorium lain — termasuk komunitas open source — juga bisa langsung menguji dan mengadopsinya.

Sumber

Gambar sampul dan ilustrasi dibuat oleh redaksi komputerkampus.com. Berita ini adalah bagian dari rangkuman berita teknologi Pekan 1 · 1–4 Januari 2026.

Tentang penulis

komputerkampus.com
komputerkampus.com

Redaksi Berita Teknologi

Akun redaksi komputerkampus.com. Setiap pekan merangkum sepuluh berita teknologi yang paling ramai dibicarakan: celah keamanan (CVE) di PHP, Nginx, Node.js dan perangkat lunak populer, rilis model dan fitur AI terbaru, p...

Tulisan lainnya

Terkait