Kalau ngomongin model bahasa sekarang, yang kebayang biasanya model dengan ukuran besar. Ratusan juta, miliaran, bahkan puluhan atau ratusan miliar parameter sudah jadi hal yang biasa ketika orang membahas kemampuan reasoning , coding , atau instruction following . Dari situ saya justru penasaran dengan arah yang sebaliknya. Bagaimana kalau saya mencoba membuat model bahasa yang sangat kecil, di bawah 100 juta parameter? Apakah model sekecil itu masih bisa belajar bahasa dengan bai...