Cara mengecilkan anggaran token tanpa mengecilkan tim
Jensen Huang memiliki ujian apakah seorang insinyur layak dipertahankan, dan hal itu disertai dengan anggaran token.
Sumber: artificialintelligence-news. com
Perkembangan ini menjadi salah satu sorotan penting dalam perkembangan AI dan transformasi digital. Jensen Huang memiliki ujian apakah seorang insinyur layak dipertahankan, dan hal itu disertai dengan anggaran token.
Jensen Huang memiliki ujian apakah seorang insinyur layak dipertahankan, dan hal itu disertai dengan anggaran token. Berbicara di All-In Podcast pada penutupan GTC 2026, kepala eksekutif Nvidia mengatakan bahwa jika konsumsi token AI tahunan seorang insinyur senilai $500, 000 berada di bawah setengah gaji mereka, “Saya akan sangat khawatir.” Nvidia, dia menegaskan, sedang berupaya mendapatkan tagihan token tahunan sebesar $2 miliar untuk tenaga tekniknya.
Uber mengambil manfaat dari pembelajaran tersebut dengan cara yang mahal, dengan memberikan alat pengkodean AI kepada 5.000 insinyur pada bulan Desember dan menghabiskan seluruh anggaran AI tahun 2026 pada bulan April. Chief Operating Officer Andrew Macdonald mengakui bahwa meskipun 70% kode yang berkomitmen dihasilkan oleh AI, tidak ada koneksi ke apa pun yang diberitahukan pelanggan: “Tautan itu belum ada.”
Letakkan kedua kegagalan tersebut secara berdampingan dan masalah sebenarnya akan menjadi fokus. Perusahaan memperlakukan tagihan token sebagai hal yang tetap dan tenaga kerja sebagai hal yang fleksibel, padahal yang terjadi adalah sebaliknya. Pemotongan gaji terjadi sekali dan membawa serta pengetahuan institusional. Ternyata, anggaran token membengkak di setengah lusin tempat jika ada yang mau merekayasanya.
Perusahaan keamanan ProjectDiscovery mendokumentasikan peningkatan tingkat cache hit dari 7% menjadi 84% dengan merestrukturisasi permintaan, memotong total pengeluaran LLM sebesar 59 menjadi 70% sambil melayani 9, 8 miliar token dari cache. Latihan rekayasa tunggal ini menghasilkan lebih banyak anggaran daripada yang dihemat sebagian besar putaran PHK yang disebabkan oleh AI.
Sebuah bisnis yang baru saja mendapatkan diskon 60% dari tagihan tokennya memiliki ruang anggaran untuk terus merekrut pekerja di tingkat terbawah. Apakah hal tersebut dapat terwujud merupakan keputusan kepemimpinan, bukan keputusan finansial.
Provokasi Huang dari Nvidia akan terus bergema melalui seruan pendapatan, dan jumlah belanja modal akan terus meningkat. Perusahaan-perusahaan yang unggul bukanlah perusahaan-perusahaan yang paling banyak membelanjakan uangnya untuk membeli token atau memangkas jumlah orang yang paling banyak untuk membelinya—mereka akan menjadi perusahaan-perusahaan yang menyadari bahwa anggaran token selama ini merupakan jalur yang fleksibel, memanfaatkannya dengan teknik daripada jumlah pegawai, dan membelanjakan selisihnya untuk orang-orang yang membuat token tersebut bernilai apa pun.
Secara keseluruhan, perkembangan ini memberi gambaran tentang arah terbaru di perkembangan AI dan transformasi digital dan alasan mengapa topik ini tetap relevan untuk terus dipantau.
Topik yang Berhubungan
Yang Paling Sering Dibaca
