Meninggalkan cloud untuk AI lokal — cara saya menggunakan dua PC mini untuk memproses jutaan token setiap

Perkembangan ini menjadi salah satu sorotan penting dalam perkembangan komponen dan performa PC. Bagi pengguna berat AI, dampak ekonomi dari booming saat ini mulai berdampak buruk.

Bagi pengguna berat AI, dampak ekonomi dari booming saat ini mulai berdampak buruk. Selama setahun terakhir, laboratorium-laboratorium besar telah menaikkan harga sambil memperketat batasan penggunaan — baik melalui batasan harga yang lebih ketat, jendela konteks yang lebih kecil pada tingkat yang lebih rendah, atau perombakan fitur secara bertahap di balik paket yang lebih mahal. Bahkan ketika biaya per token telah turun secara umum, kenyataannya bagi pengguna lebih rumit: volume yang lebih tinggi, alur kerja yang lebih kompleks, dan ekspektasi alat baru berarti tagihan bulanan semakin meningkat, bukan turun.

Pada saat yang sama, model open-weight telah meningkat pesat, perangkat keras konsumen menjadi lebih mumpuni, dan alat seperti LM Studio, Ollama, dan llama. cpp telah membuat penerapan lokal jauh lebih mudah diakses dibandingkan tahun lalu. Hasilnya adalah kebangkitan dalam menjalankan model di mesin Anda sendiri.

Secara keseluruhan, perkembangan ini memberi gambaran tentang arah terbaru di perkembangan komponen dan performa PC dan alasan mengapa topik ini tetap relevan untuk terus dipantau.

Baca sumber asli dari tomshardware. com