Matematika di balik chip OpenAI Jalapeño

Perkembangan ini menjadi salah satu sorotan penting dalam perkembangan AI dan transformasi digital. Perkembangan finansial OpenAI sangat bergantung pada biaya infrastruktur, sebuah kenyataan yang mendorong pengembangan chip OpenAI Jalapeño khusus yang baru.

Perkembangan finansial OpenAI sangat bergantung pada biaya infrastruktur, sebuah kenyataan yang mendorong pengembangan chip OpenAI Jalapeño khusus yang baru. Dikembangkan bekerja sama dengan Broadcom, sirkuit terintegrasi khusus aplikasi (ASIC) mewakili upaya langsung untuk memitigasi belanja modal besar yang terkait dengan perangkat keras pihak ketiga.

Meskipun Nvidia saat ini memiliki sekitar 75% margin keuntungan pada prosesor kelas atas, OpenAI beroperasi dengan margin yang lebih ketat, mempertahankan sekitar 33 sen keuntungan dari setiap dolar yang dihasilkan setelah memperhitungkan biaya operasional yang sangat besar. Beban finansial dalam menjalankan model bahasa besar dalam skala besar sangatlah berat.

Chip OpenAI Jalapeño, yang dijuluki sebagai “Prosesor Intelijen” pertama perusahaan, dibuat khusus untuk inferensi model bahasa besar (LLM) daripada beban kerja AI tujuan umum. OpenAI menyediakan desain arsitektur inti berdasarkan peta jalan model spesifik dan sistem layanannya, sementara Broadcom mengelola rekayasa silikon dan integrasi jaringan berkinerja tinggi.

Untuk mencapai hal ini dalam skala besar, platform ini mengintegrasikan silikon jaringan Tomahawk dari Broadcom langsung ke dalam desainnya, sehingga memungkinkan prosesor khusus untuk berkomunikasi di lingkungan pusat data yang besar dan terkluster.

Dengan beralih ke silikon khusus, OpenAI beralih dari sekadar lapisan perangkat lunak menjadi perusahaan infrastruktur yang terintegrasi secara vertikal. Strategi full-stack ini mencakup keseluruhan pipeline: arsitektur chip, kernel perangkat lunak, sistem memori, penjadwalan jaringan, dan lapisan aplikasi akhir. Sama seperti penggabungan ketat Apple antara perangkat keras berpemilik dan iOS, OpenAI kini dapat mengoptimalkan infrastrukturnya sesuai dengan peta jalan model internalnya.

Integrasi ini menggerakkan roda gila operasional yang berkesinambungan. Peningkatan efisiensi infrastruktur menurunkan biaya model pelatihan dan pelayanan. Pelayanan yang lebih terjangkau menghasilkan produk yang lebih baik dan responsif, sehingga mendorong volume pengguna dan pendapatan untuk diinvestasikan kembali ke infrastruktur khusus generasi berikutnya.

Secara keseluruhan, perkembangan ini memberi gambaran tentang arah terbaru di perkembangan AI dan transformasi digital dan alasan mengapa topik ini tetap relevan untuk terus dipantau.

Baca sumber asli dari artificialintelligence-news. com