Inilah Matematikanya —Bagaimana Tiongkok Menghindari Bubble AI

Oleh b

Bubble AI di Amerika Serikat masih terus tumbuh. Bubble ini menyerap sebagian besar sumber daya keuangan yang tersedia. Namun yang dihasilkannya, dalam bentuk produk nyata, sejauh ini masih sangat sedikit.

Ada beberapa alat pembuat kode (code generation) yang kadang-kadang membantu, tetapi, jika tidak didiskon, biayanya sangat mahal. Ada ChatGPT dan berbagai “kotak obrolan” lain yang pada akhirnya hanyalah bentuk baru dari alat pencarian web yang pada dasarnya tidak dapat diandalkan.

Yang masih kurang adalah aplikasi massal yang berguna dan yang bersedia dibayar oleh miliaran orang.

Namun demikian—sejumlah besar “orang-orang yang sangat penting” percaya bahwa Model Bahasa Besar (Large Language Models), yang menjadi inti dari produk OpenAI dan Anthropic, suatu hari nanti akan mencapai kemampuan makhluk hidup. Menurut pandangan saya, itu omong kosong belaka, tetapi siapa saya untuk mengatakan itu kepada Anda.

NY Times memiliki tulisan panjang (diarsipkan) tentang pendiri Oracle, Larry Ellison, dan pertaruhan hampir semua yang ia miliki pada bubble AI. Tulisan itu menyatakan:

Kisah AI sama seperti kebanyakan lainnya, merupakan kisah finansial sebagaimana kisah teknologi, sebuah pertanyaan tentang bagaimana menyusun investasi yang membingungkan pikiran yang diperlukan untuk melatih dan menjalankan model-model tersebut. Hanya sedikit orang yang meragukan bahwa teknologi ini akan mengubah segalanya. Yang kurang jelas di sini adalah kapan keuntungan akan mulai mengalir masuk dan seberapa besar keuntungan itu nantinya. “Bagi saya, ini adalah masalah matematika,” kata Asad Ramzanali, direktur AI di sebuah pusat kebijakan di Vanderbilt University. “Kita melakukan investasi triliunan dolar dengan mengandalkan pendapatan puluhan miliar dolar.”

Itulah sebabnya Ed Zitron dan lainnya akan dengan tepat memberi tahu Anda bahwa investasi besar-besaran yang dikeluarkan untuk AI sama sekali tidak masuk akal.

Di manakah produk dan pelanggan yang memungkinkan pemulihan kembali ratusan miliar dolar yang (dipertanyakan) yang dihabiskan untuk pusat data AI?

Struktur keuangan dari pembangunan pusat data membuatnya sangat rentan terhadap kehancuran. Kesepakatan itu sendiri dibangun di atas skema utang dan ekuitas yang sangat rumit yang melibatkan pembiayaan sirkuler. Para hyperscaler berinvestasi besar-besaran pada perusahaan yang sama, yang mereka andalkan untuk membeli daya komputasi mereka. Inilah yang oleh para ekonom disebut sebagai struktur kewajiban yang saling terkait (interlocking liability structure). Jika pelanggan mereka kesulitan untuk memonetisasi produk mereka, mereka akan terkena dampak yang lebih parah—dan begitu pula para investor mereka, yang mencakup banyak orang Amerika biasa. Dan ini baru perusahaan-perusahaan AS. Ledakan AI telah menjadi fenomena global; keruntuhan AI juga akan demikian.

NY Times beranggapan bahwa segala sesuatu yang dilakukan AS ditiru di seluruh dunia. Jika bubble pecah di AS, maka konsekuensinya juga akan pecah di tempat lain—terutama di Tiongkok.

Ini adalah kesalahpahaman tentang apa itu model AI Tiongkok, dan apa yang dilakukan perusahaan AI Tiongkok.

Sepanjang tahun lalu, beberapa perusahaan Tiongkok telah mengejutkan publik dengan menawarkan model AI yang kemampuannya hampir setara dengan model terbaik yang dihasilkan perusahaan AS, tetapi ditawarkan dengan harga hanya sepersepuluh dari biaya model AS (yang disubsidi besar-besar).

Selain itu, perusahaan-perusahaan Tiongkok telah menerbitkan bobot (weights) dan kode sumber dari model-model mereka dan mengizinkan siapa pun dengan perangkat keras yang memadai untuk menjalankannya di tempat mereka sendiri.

Majalah Economist telah mencoba memahami hal ini:

Bagaimana Tiongkok mendapatkan hasil yang lebih baik untuk setiap dolar yang dikeluarkan dibandingkan Amerika dalam AI (diarsipkan)
Investasinya jauh tertinggal di belakang Amerika. Model-modelnya tidak demikian

Pengeluaran besar-besaran AI Amerika terlihat sangat boros dibandingkan dengan penghematan Tiongkok. Pada tahun 2026, para raksasa teknologi Tiongkok diperkirakan akan berinvestasi kurang dari sepersepuluh dari jumlah yang diinvestasikan oleh perusahaan-perusahaan Amerika di pusat data (lihat grafik).

Model-model mereka tampak hanya sedikit kurang kuat karena penghematan ini. K3, sebuah model canggih yang diluncurkan bulan lalu oleh Moonshot AI, sebuah perusahaan rintisan yang berbasis di Beijing, adalah 95% lebih pintar (berdasarkan tolok ukur yang banyak digunakan) dibandingkan Fable 5, sebuah model mutakhir dari Anthropic, laboratorium top Amerika lainnya. Harganya juga 70% lebih murah untuk digunakan. Pada 3 Agustus, Alibaba, raksasa teknologi Tiongkok, merilis sebuah model yang dilaporkan termasuk yang terbaik di dunia berdasarkan beberapa ukuran.

Para penulis di Economist melanjutkan dengan merenungkan tentang biaya pusat data yang lebih murah di Tiongkok. Negara tersebut, kata mereka, juga memiliki lebih sedikit peluang untuk berinvestasi pada perangkat keras AS yang terlalu mahal. Pembelinya lebih hemat dan pencarian aplikasi nyata lebih penting bagi Tiongkok daripada pencarian ‘singularitas’ atau semacam ‘kecerdasan umum buatan’ (general artificial intelligence), yang dikejar oleh perusahaan AS.

Semua ini, seperti dalam kutipan tulisan NY Times, sebagian besar adalah omong kosong.

Pembeda nyata antara perusahaan AI AS dan Tiongkok adalah matematika yang mereka gunakan.

Model-model AS berjalan pada algoritma yang boros secara komputasi, sementara model-model Tiongkok menggunakan metode yang lebih cerdas, yang membutuhkan lebih sedikit komputasi, untuk mencapai kualitas yang serupa.

Model bahasa, yang, dengan masukan (input) teks tertentu, menghasilkan keluaran (output) teks yang terkait, bukanlah hal baru.

Sebagian besar didasarkan pada apa yang disebut algoritma jaringan saraf (neural network) yang merupakan simulasi dari fungsi dasar otak manusia. Jaringan saraf dapat dilatih untuk mengenali sebuah masukan untuk kemudian menghasilkan keluaran yang terkait.

Yang menjadi masalah dengan jaringan saraf dan varian awalnya adalah bahwa pelatihan memakan waktu sangat lama yang membatasi ukuran model.

Pada tahun 2018, para peneliti di Google menemukan cara yang elegan untuk mengakali keterbatasan ini:

Model transduksi sekuensial dominan didasarkan pada pada jaringan saraf rekuren atau konvolusional yang kompleks (complex recurrent or convolutional neural networks) dalam konfigurasi encoder-decoder. Model dengan kinerja terbaik juga menghubungkan encoder dan decoder melalui mekanisme perhatian (attention mechanism). Kami mengusulkan arsitektur jaringan baru yang sederhana, yaitu Transformer, yang hanya didasarkan pada mekanisme perhatian, sepenuhnya menghilangkan rekurensi dan konvolusi. Eksperimen pada dua tugas terjemahan mesin menunjukkan bahwa model ini lebih unggul kualitasnya sekaligus lebih dapat diparalelkan dan membutuhkan waktu pelatihan yang jauh lebih singkat.

Perusahaan AS melompat ke model Transformer. Hal itu dilihat sebagai peluang untuk menciptakan model yang lebih besar dan lebih baik dengan harapan bahwa model berukuran besar pada akhirnya akan mencapai atau melampaui kemampuan otak manusia.

Keunggulan model Transformer adalah matematika yang diperlukan untuk melatihnya dapat diparalelkan. Chip komputer yang dibuat untuk menghasilkan grafis memiliki perangkat keras khusus untuk memproses piksel. Alih-alih satu piksel pada satu waktu, mereka menghitung gambar lengkap dengan menghitung nilai (warna) dari ribuan piksel secara bersamaan. Penggunaan Unit Pemrosesan Grafis (GPU) memungkinkan operasi (matriks) terparalel pada ribuan parameter. (Sebuah video oleh Grant Sanderson, Large Language Models explained briefly, memberikan pengantar yang baik tentang hal ini.)

Kekurangan dari model Transformer adalah perilaku eksponensial dari mekanisme perhatiannya. Untuk mencerna satu kalimat masukan, model harus memproses setiap elemen di dalamnya terhadap semua elemen lain yang ada dalam konteks yang sama. Itu adalah operasi eksponensial. Untuk konteks 500.000 kata masukan (misalnya untuk merangkum buku sepanjang itu), model akan membutuhkan 250 miliar operasi. OpenAI, Anthropic, dan lainnya menggunakan banyak trik untuk mengoptimalkan komputasi mereka, tetapi mereka tidak dapat lolos dari batasan eksponensial dasar dari algoritma yang mereka gunakan.

Inilah alasan mengapa input/masukan dari model Transformer saat ini terbatas dan mengapa model-model ini membutuhkan pusat data besar dengan jutaan GPU untuk merespons pertanyaan pengguna.

Karena keterbatasan kapasitas komputasi, para pengembang model Tiongkok harus mengambil jalur yang berbeda. Mereka menggunakan jaringan saraf berulang (recurrent neural networks) dan algoritma yang disebut Long Short-Term Memory (LSTM). Algoritma ini telah dikenal sejak akhir tahun 1990-an dan menjadi dasar bagi sebagian besar terjemahan bahasa mesin. SIRI milik Apple menggunakan model LSTM.

Algoritma LSTM memiliki kekurangan. Dalam bentuk aslinya, pelatihannya tidak dapat diparalelkan. Namun ia mampu ‘melupakan’ konteks yang tidak perlu dan komputasi jawabannya (sebagian besar) bersifat linear, bukan eksponensial.

Algoritma extended LSTM yang lebih baru memungkinkan paralelisasi pelatihan model-model tersebut sambil mempertahankan keunggulan algoritma respons yang (hampir) linear.

Model Kimi yang baru saja diungkap dari perusahaan Tiongkok Moonshot.ai didasarkan pada algoritma xLSTM (yang dimodifikasi), yang disebut Kimi Delta Attention. Model ini juga membagi model menjadi jaringan 800 ‘pakar’ yang hanya sebagian kecil yang diaktifkan untuk menjawab pertanyaan spesifik pengguna.

Meskipun Kimi belum mencapai ukuran parameter dari model AS terbaru, ia memiliki kemampuan yang hampir sama sambil menggunakan komputasi yang jauh lebih sedikit daripada yang dibutuhkan untuk menjalankan model OpenAI yang setara.

Penyedia AI Tiongkok lainnya juga menggunakan algoritma serupa yang membutuhkan komputasi jauh lebih sedikit daripada model Transformer yang lebih disukai AS.

Penyedia model AI AS, OpenAI, Anthropic, Google, Meta, dan SpaceX, semuanya terjebak dengan algoritma model Transformer yang mereka gunakan untuk membangun model mereka. Itulah yang telah mereka bangun selama bertahun-tahun dan itulah yang menjadi keahlian para insinyur mereka. Mereka telah berjanji untuk membangun atau membeli sejumlah besar kapasitas komputasi karena itulah yang dibutuhkan oleh model mereka.

Pilihan algoritma inilah yang telah menciptakan bubble AI AS.

Para pemodel Tiongkok, karena kekurangan modal ventura yang tak terbatas, terpaksa menemukan cara yang lebih baik untuk memecahkan masalah. Penggunaan algoritma yang berbeda memungkinkan mereka memberikan hasil yang hampir serupa dengan biaya yang jauh lebih murah.

Ada juga perbedaan sikap. Di mana pemodal AS seperti Larry Ellison berjuang untuk semacam kecerdasan umum buatan yang mirip dewa, para pengembang dan pemodal Tiongkok (dan beberapa Eropa) jauh lebih tertarik untuk memecahkan masalah dunia nyata (industri).

Robot untuk mengisi mesin pencuci piring dapat beroperasi dengan cukup baik tanpa harus mampu memecahkan konjektur matematika. Selain itu, model AI internalnya harus berjalan pada GPU lokal dan bukan di dalam pusat data yang jauh.

Ketersediaan sumber daya telah memungkinkan pengembang model AS untuk membangun model AI umum yang besar, sangat mumpuni, tetapi sangat mahal. Perusahaan-perusahaan tersebut masih belum menemukan kasus penggunaan yang dapat menutupi biaya pengoperasian model-model ini.

Alih-alih bercita-cita setinggi langit dan tak masuk akal, seperti yang dilakukan perusahaan AS, orang Tiongkok berusaha memecahkan masalah duniawi yang nyata dan lebih membumi.

Sumber daya yang terbatas telah memaksa para pengembang Tiongkok untuk menemukan algoritma yang lebih baik. Orientasi utama mereka adalah pada aplikasi yang bermanfaat, yang akan menghasilkan keuntungan yang sesuai dengan biayanya.

Pada suatu saat, bubble AI di AS akan meledak. Akan ada banyak kerusakan tambahan yang ditimbulkan. Banyak orang akan kehilangan uang mereka. Akan ada sejumlah pusat data kosong yang tidak berguna yang disewakan.

NY Times dan Economist beranggapan bahwa hal ini akan menyebabkan Tiongkok mengalami masalah serupa.

Hal itu kemungkinan besar tidak akan terjadi karena AI Tiongkok didasarkan pada matematika yang berbeda, dan model ekonomi yang berbeda.

Catatan penerjemah:

1. Hyperscaler: Istilah untuk perusahaan penyedia layanan cloud skala besar (seperti AWS, Google Cloud, Microsoft Azure) yang mampu menskalakan infrastruktur komputasi secara masif.
2. Circular financing/Pembiayaan sirkuler: Pola investasi di mana perusahaan saling mendanai satu sama lain dalam lingkaran tertutup, sehingga nilai terlihat besar tetapi sebenarnya bergantung pada struktur yang rapuh.
3. Interlocking liability structure: Struktur di mana kewajiban finansial antar perusahaan saling terkait erat; jika satu gagal, yang lain ikut terdampak.
4. Kimi, Moonshot.ai, K3: Nama model dan perusahaan AI asal China yang disebut dalam esai sebagai contoh pesaing model AS.
5. xLSTM, Transformer: Istilah teknis dalam arsitektur AI. Transformer adalah arsitektur yang digunakan OpenAI (GPT), sementara xLSTM adalah varian LSTM yang lebih efisien secara komputasi.
6. Singularity/Singularitas: Konsep dalam futurisme di mana AI melampaui kecerdasan manusia dan menyebabkan perubahan peradaban yang tak terduga.
7. General Artificial Intelligence/AGI: Kecerdasan buatan yang setara dengan kemampuan kognitif manusia secara umum (bukan hanya untuk tugas spesifik).