Broadcom dan OpenAI memperkenalkan prosesor inferensi Jalapeño yang dibuat khusus

Perkembangan ini menjadi salah satu sorotan penting dalam perkembangan komponen dan performa PC. OpenAI dan Broadcom telah memperkenalkan Jalapeño, prosesor inferensi yang dibuat khusus dan dirancang khusus untuk model bahasa besar modern dan beban kerja AI agen di masa depan…

OpenAI dan Broadcom telah memperkenalkan Jalapeño, prosesor inferensi yang dibuat khusus dan dirancang khusus untuk model bahasa besar modern dan beban kerja AI agen di masa depan, yang dirancang untuk memberikan kinerja per watt yang mereka klaim lebih tinggi daripada perangkat keras terdepan saat ini. OpenAI menganggap proyek perangkat kerasnya sebagai proyek yang strategis dan membayangkan Jalapeño menjadi generasi pertama perangkat keras inferensinya.

OpenAI menekankan bahwa Jalapeño adalah ASIC inferensi yang dibuat khusus dan bukan akselerator pelatihan yang digunakan ulang atau prosesor AI untuk tujuan umum. OpenAI mengatakan arsitektur Jalapeño dirancang berdasarkan pemahamannya tentang perilaku LLM dan dimaksudkan untuk mengatasi hambatan praktis yang penting untuk inferensi dalam skala besar, termasuk pergerakan data yang mahal, keseimbangan antara sumber daya komputasi dan memori, efisiensi jaringan, dan perilaku secara keseluruhan. OpenAI juga menyatakan bahwa desain prosesor dimaksudkan untuk mengawinkan throughput tinggi dengan latensi rendah (itulah sebabnya ia menggunakan chiplet komputasi dan memori HBM yang besar dan bukan jenis DRAM yang lebih murah seperti banyak akselerator inferensi lainnya), yang akan sangat berguna untuk penalaran dan beban kerja agen.

“Jalapeño dirancang dari awal untuk inferensi LLM menggunakan wawasan mendetail dari kolaborasi erat kami dengan peneliti OpenAI,” kata Richard Ho, yang memimpin program perangkat keras OpenAI. “Kami mengoptimalkan arsitektur di sekitar kernel, pergerakan memori, jaringan, dan pola penyajian yang paling penting untuk model AI terdepan. Berdasarkan pengujian awal, Jalapeño akan secara efisien mengeksekusi beban kerja terpenting kami mendekati batas teoretis perangkat keras.”

Ukuran chip komputasi Jalapeño menunjukkan bahwa chip ini memiliki kemampuan komputasi yang cukup besar, namun, tentu saja, kami tidak dapat membuat perkiraan kinerja berdasarkan metrik ini. Namun, dapat dikatakan bahwa cetakan komputasi Jalapeño jauh lebih besar daripada cetakan komputasi akselerator inferensi lain yang ada di pasaran dan lebih mirip prosesor untuk pelatihan AI. Berbicara mengenai prosesor untuk pelatihan AI, kita semakin sering melihat desain multi-chiplet untuk beban kerja ini karena perusahaan seperti AMD dan Nvidia ingin mengemas kinerja sebanyak mungkin. Sementara itu, fakta bahwa OpenAI dan Broadcom memilih menggunakan chiplet komputasi besar mungkin menunjukkan bahwa mereka ingin mengurangi latensi sebanyak mungkin.

Perusahaan-perusahaan tersebut mengatakan bahwa chip tersebut telah selesai diproduksi hanya dalam waktu sembilan bulan dan dijadwalkan untuk diterapkan mulai akhir tahun 2026, yang menunjukkan waktu penyelesaian yang sangat cepat dalam desain ASIC. Tidak jelas apakah Broadcom dan OpenAI secara ekstensif menggunakan kecerdasan buatan untuk mendefinisikan dan kemudian mengembangkan Jalapeño, meskipun perusahaan tersebut mengakui bahwa mereka menggunakan model OpenAI untuk mempercepat bagian dari pekerjaan desain dan optimasi chip. Biasanya, diperlukan waktu 1, 5 – 2 tahun untuk merancang ASIC dari awal, sehingga AI dapat mempersingkat siklus pengembangan. Cara lain untuk mempercepat siklus desain adalah penggunaan kembali logika Broadcom secara ekstensif di berbagai desain khusus untuk menghasilkan chip baru lebih cepat dibandingkan perusahaan lain.

Patut dicatat bahwa, menurut pengumuman tersebut, Jalapeño dirancang untuk mendukung tidak hanya beban kerja OpenAI sendiri tetapi juga LLM saat ini dan masa depan di seluruh industri, yang berpotensi memungkinkan OpenAI menjual perangkat kerasnya kepada pihak ketiga, dengan asumsi bahwa OpenAI dapat memperoleh pasokan yang cukup dari Broadcom dan TSMC. Sementara itu, kepala eksekutif Broadcom mengindikasikan bahwa Jalapeño akan diterapkan di pusat data berskala gigawatt bersama Microsoft dan mitra lainnya mulai tahun ini, meskipun tidak jelas apakah prosesor tersebut akan digunakan secara eksklusif untuk beban kerja OpenAI atau akan tersedia untuk penyewa lain juga.

Secara keseluruhan, perkembangan ini memberi gambaran tentang arah terbaru di perkembangan komponen dan performa PC dan alasan mengapa topik ini tetap relevan untuk terus dipantau.

Baca sumber asli dari tomshardware. com