Stemmer Visualizer

Masalahnya

Hampir semua mesin pencari dan alat bahasa untuk bahasa Indonesia terlebih dulu mengembalikan kata ke bentuk dasarnya, supaya mempelajari, pelajaran, dan belajar sama-sama dihitung sebagai ajar. Langkah ini disebut stemming. Di Indonesia, stemming hampir selalu memakai algoritma Nazief dan Adriani, biasanya lewat library Sastrawi, sebagai kotak hitam: kata masuk, kata dasar keluar.

Ini membawa tiga masalah bagi mahasiswa, dosen, dan developer yang mengandalkannya. Kata dasar yang salah terlihat sama dengan yang benar, karena keduanya tetap kata Indonesia yang masuk akal. Hasilnya bergantung pada kamus kata dasar yang tersembunyi, sama besarnya dengan bergantung pada aturannya. Lalu ada kata yang punya dua kata dasar yang sah. Beruang bisa berarti ber- ditambah uang ("punya uang") atau kata dasar beruang (hewan). Algoritmanya memilih salah satu tanpa memberi tahu.

Yang saya bangun

Setiap langkah tampil di layar, termasuk jalan buntunya

Ketik sebuah kata, dan jejaknya menampilkan setiap langkah sebagai baris bernomor: apa yang dilepas, aturan mana yang melakukannya, kata sebelum dan sesudahnya, dan apakah kamus mengenali hasilnya. Langkah yang dicoba lalu ditinggalkan tetap terlihat, dicoret dengan warna abu-abu. Anda bisa menelusurinya selangkah demi selangkah, dan sebuah animasi mengupas setiap awalan atau akhiran dari katanya.

Aturannya berupa data yang bisa dibaca ahli bahasa

Tidak satu pun dari 44 aturan ditulis sebagai kode. Setiap aturan disimpan di berkas data lengkap dengan polanya, efeknya, prioritasnya, dan kutipan sumbernya. Mesinnya membaca berkas itu lalu menerapkannya. Ahli bahasa bisa memeriksa aturannya tanpa membaca kode, dan jejaknya bisa menyebut aturan persis yang dipakai. Build gagal kalau ada aturan tanpa kutipan.

Kamusnya bisa diubah

Saya menjadikan kamus sebagai masukan eksplisit untuk setiap perhitungan. Panel kamus memungkinkan Anda mencari, menambah, atau menghapus kata, lalu melihat stem yang tadinya benar menjadi rusak. Perubahan tersimpan di link, jadi keadaan yang rusak itu pun bisa dibagikan. Tampilan perbandingan menunjukkan kata yang sama dengan dan tanpa kamus, sehingga terlihat jelas apa sumbangan kamusnya.

Kata yang ambigu mendapat lebih dari satu jawaban

Aturan yang sama menjalankan dua penelusuran. Yang pertama mengikuti algoritma dan mengembalikan satu jawaban. Yang kedua menjelajahi semua cara kata itu bisa dipecah. Untuk beruang, aplikasi menampilkan kedua kata dasar yang sah dan menjelaskan alasan algoritma memilih salah satunya. Galeri enam kata yang salah dihitung algoritma ini dihitung ulang secara langsung, masing-masing diberi label cara dan titik kegagalannya.

Sastrawi menjadi pembanding untuk pengujian

Saya membandingkan hasil saya dengan Sastrawi pada 315 kata dan menemukan sembilan perbedaan. Tiga di antaranya bug saya: dua entri kamus yang salah dan satu aturan yang terlewat. Enam sisanya diklasifikasikan secara tertulis, dan setiap perbedaan dikunci oleh tes supaya tidak ada yang mengubahnya diam-diam. Makalah aslinya tidak bisa saya dapatkan, jadi setiap aturan ditandai belum terverifikasi dan ada berkas celah yang mencatat di mana harus memeriksanya.

Hasilnya

Stemmer Visualizer sudah live, terbuka untuk umum, dan open source, dalam bahasa Indonesia dan Inggris, serta bisa dipakai offline. Ada tujuh halaman, termasuk referensi aturan yang dibangkitkan dari data aturannya dan mode dokumen yang menandai kata ambigu dalam paragraf yang ditempel. Aplikasi ini memakai daftar kata dasar Sastrawi yang berisi sekitar 30.000 kata. Perubahan itu memperbaiki dua perbedaan tetapi merusak satu kata, perusakan, yang kini menghasilkan rusa. Saya menerimanya dan mencatatnya. Situs ini menautkan Sastrawi sebagai library yang sebaiknya dipakai di produksi. Saya membangunnya dalam sekitar sembilan jam pada 5 Agustus 2026.