SK hynix dan TetraMem berkolaborasi dalam chip eksperimental untuk meningkatkan efisiensi energi pada

Perkembangan ini menjadi salah satu sorotan penting dalam perkembangan komponen dan performa PC. SK hynix, TetraMem, dan peneliti dari University of Southern California telah mengembangkan sistem-on-chip (SoC) komputasi dalam memori (IMC) berbasis memristor untuk perangkat…

SK hynix, TetraMem, dan peneliti dari University of Southern California telah mengembangkan sistem-on-chip (SoC) komputasi dalam memori (IMC) berbasis memristor untuk perangkat edge AI. Perangkat ini dirancang untuk mempercepat inferensi jaringan saraf dalam model AI yang ringan sambil mengonsumsi lebih sedikit daya dibandingkan GPU atau NPU kelas atas. Secara umum, SoC ini merupakan chip pembuktian konsep, karena kinerjanya akan mencapai puncaknya pada sekitar 2, 54 TOPS dalam skenario kasus terbaik teoretis, yaitu 16X lebih rendah dari persyaratan Copilot+ Microsoft.

Komputasi dalam memori (IMC) berbasis memristor mempercepat jaringan saraf dengan melakukan komputasi analog langsung di dalam susunan memori, sehingga mengurangi pergerakan data dan konsumsi daya. Namun, konvolusi mendalam (DWC) — operasi inti dalam jaringan ringan seperti MobileNet — melakukan pemfilteran per saluran independen dengan penggunaan kembali data yang terbatas dan oleh karena itu memetakan dengan buruk ke susunan palang konvensional. Untuk mengatasi keterbatasan ini, peneliti dari SK hynix, TetraMem, dan USC mengembangkan SoC yang dilengkapi fitur crossbar IMC konvensional dan arsitektur IMC berbasis memristor yang secara khusus dioptimalkan untuk DWC.

NPU yang dioptimalkan DWC adalah fitur utama dari keseluruhan SoC. Untuk mempercepat konvolusi yang mendalam, TetraMem mengganti garis seleksi lurus yang digunakan pada palang 1T1R konvensional dengan topologi zig-zag. Hasilnya, NPU berisi delapan blok palang 252 × 28 yang garis pemilihan diagonalnya mengaktifkan 252 sel memori di 28 kolom, yang memungkinkan 28 konvolusi 3 × 3 independen berjalan secara paralel sambil menggunakan 100% array untuk penyimpanan bobot. Sembilan NPU yang tersisa mempertahankan palang 1T1R konvensional untuk lapisan 1×1 yang runcing dan padat serta mempertahankan throughput dan efisiensi energi komputasi dalam memori tradisional.

Secara konseptual, pendekatan ini mirip dengan filosofi NVFP4 Nvidia, yang keduanya berupaya mencapai presisi efektif yang lebih tinggi dari perangkat keras berpresisi rendah. Namun, implementasinya berbeda secara mendasar: NVFP4 mengandalkan representasi floating-point digital dan faktor penskalaan, sedangkan SoC memristor meningkatkan presisi dengan mengkompensasi kesalahan pemrograman analog menggunakan dua subarray yang diprogram.

Dalam hal akurasi, SoC mencapai akurasi inferensi ujung ke ujung sebesar 80, 36%, yang cocok dengan model perangkat lunak 4-bit yang sesuai. Sedangkan untuk performa, SoC memberikan throughput puncak 0, 254 TOPS per NPU dan mencapai efisiensi energi sebesar 21, 3 TOPS/W pada 100 MHz dan 11, 9 TOPS/W pada 400 MHz. Menurut penulis, hal ini lebih baik dibandingkan dengan akselerator komputasi dalam memori berbasis SRAM yang diterbitkan meskipun diproduksi pada proses 65 nm yang lebih lama. SoC ini juga melebihi efisiensi energi A100 INT8 milik Nvidia dengan urutan besarnya, klaim makalah bersama tersebut. Namun, klaim-klaim tersebut sebagian besar tidak berdasar.

SK hynix, TetraMem, dan peneliti dari University of Southern California telah mengembangkan IMC SoC berbasis memristor yang menampilkan akselerator konvolusi mendalam baru yang meningkatkan pemanfaatan crossbar untuk beban kerja AI yang ringan. Para mitra telah berhasil membuatnya menggunakan teknologi proses 65nm yang sudah ketinggalan zaman dan membuatnya berfungsi, mencapai efisiensi energi 21, 3 TOPS/W dan akurasi inferensi yang sebanding dengan model perangkat lunak 4-bit meskipun faktanya memristor dapat diprogram dengan akurasi sekitar 2-bit. Meskipun arsitektur memvalidasi bahwa pendekatan ini berhasil, makalah ini tidak mengungkapkan kinerja penuh SoC, dan tidak jelas apakah 10 NPU chip tersebut dapat jenuh atau tidak.

Secara keseluruhan, perkembangan ini memberi gambaran tentang arah terbaru di perkembangan komponen dan performa PC dan alasan mengapa topik ini tetap relevan untuk terus dipantau.

Baca sumber asli dari tomshardware. com