Penelitian baru menunjukkan bagaimana pembelajaran bahasa seperti anak kecil dapat dilakukan dengan menggunakan alat AI

Sistem AI, seperti GPT-4, kini dapat mempelajari dan menggunakan bahasa manusia, namun mereka belajar dari masukan bahasa dalam jumlah yang sangat besar—lebih banyak daripada yang diterima anak-anak saat belajar memahami dan berbicara suatu bahasa. Sistem AI terbaik melatih teks dengan jumlah kata mencapai triliunan, sedangkan anak-anak hanya menerima jutaan kata per tahun.

Karena kesenjangan data yang sangat besar ini, para peneliti merasa skeptis bahwa kemajuan AI baru-baru ini dapat memberi tahu kita banyak hal tentang pembelajaran dan perkembangan manusia. Pengujian ideal untuk mendemonstrasikan koneksi akan melibatkan pelatihan model AI, bukan pada data besar dari web, namun hanya pada masukan yang diterima oleh satu anak. Apa yang bisa dipelajari model itu?

Sebuah tim peneliti Universitas New York menjalankan eksperimen yang persis seperti ini. Mereka melatih sistem AI multimodal melalui mata dan telinga seorang anak, menggunakan rekaman video headcam sejak anak tersebut berusia 6 bulan hingga ulang tahun kedua mereka. Mereka memeriksa apakah model AI dapat mempelajari kata-kata dan konsep yang ada dalam pengalaman sehari-hari anak-anak.

Temuan mereka, dilaporkan dalam jurnal Sains, menunjukkan bahwa model, atau jaringan saraf, sebenarnya dapat mempelajari sejumlah besar kata dan konsep menggunakan bagian terbatas dari apa yang dialami anak. Artinya, video tersebut hanya menangkap sekitar 1% dari jam bangun anak, namun itu cukup untuk pembelajaran bahasa yang sebenarnya.

Dalam video ini, para peneliti menjelaskan pekerjaan mereka secara lebih rinci:

“Kami menunjukkan, untuk pertama kalinya, bahwa jaringan saraf yang dilatih berdasarkan masukan realistis perkembangan dari seorang anak dapat belajar menghubungkan kata-kata dengan bagian visualnya,” kata Wai Keen Vong, ilmuwan peneliti di Pusat Ilmu Data dan Pusat Sains Data NYU. penulis pertama makalah.

“Hasil kami menunjukkan bagaimana kemajuan algoritmik terkini yang dipadukan dengan pengalaman naturalistik seorang anak berpotensi membentuk kembali pemahaman kita tentang bahasa awal dan penguasaan konsep.”

“Dengan menggunakan model AI untuk mempelajari masalah nyata pembelajaran bahasa yang dihadapi oleh anak-anak, kita dapat mengatasi perdebatan klasik tentang bahan-bahan apa yang dibutuhkan anak-anak untuk mempelajari kata-kata—apakah mereka memerlukan bias bahasa tertentu, pengetahuan bawaan, atau sekadar pembelajaran asosiatif untuk memulainya. ” tambah Brenden Lake, asisten profesor di Pusat Ilmu Data dan Departemen Psikologi NYU dan penulis senior makalah tersebut. “Sepertinya kita bisa mendapatkan lebih banyak hanya dengan belajar daripada yang diperkirakan secara umum.”

Vong, Lake, dan rekan mereka di NYU, Wentao Wang dan Emin Orhan, menganalisis proses belajar anak yang direkam dalam video orang pertama—melalui kamera ringan yang dipasang di kepala—setiap minggu mulai dari usia 6 bulan hingga 25 bulan, menggunakan lebih dari 60 jam rekaman.

Rekaman tersebut berisi sekitar seperempat juta contoh kata (yaitu, jumlah kata yang dikomunikasikan, banyak di antaranya berulang kali) yang dihubungkan dengan bingkai video tentang apa yang dilihat anak ketika kata-kata tersebut diucapkan dan mencakup berbagai aktivitas berbeda di seluruh dunia. perkembangannya, termasuk waktu makan, membaca buku, dan bermain anak.

Para peneliti NYU kemudian melatih jaringan saraf multimodal dengan dua modul terpisah: Satu modul yang mengambil bingkai video tunggal (pengkode visi) dan modul lainnya yang menggunakan transkripsi ucapan yang diarahkan pada anak (pengkode bahasa).

Kedua pembuat enkode ini digabungkan dan dilatih menggunakan algoritme yang disebut “pembelajaran kontrasif”, yang bertujuan untuk mempelajari fitur masukan yang berguna dan asosiasi lintas modalnya. Misalnya, ketika orang tua mengatakan sesuatu di hadapan anak, kemungkinan besar beberapa kata yang digunakan kemungkinan besar mengacu pada sesuatu yang dapat dilihat anak, pemahaman makna ditanamkan dengan menghubungkan isyarat visual dan linguistik.

“Ini memberi model petunjuk mengenai kata mana yang harus diasosiasikan dengan objek tertentu,” jelas Vong. “Menggabungkan isyarat-isyarat ini memungkinkan pembelajaran kontrastif untuk secara bertahap menentukan kata mana yang termasuk dalam visual tertentu dan untuk menangkap pembelajaran kata-kata pertama seorang anak.”

Setelah melatih model tersebut, para peneliti mengujinya menggunakan jenis evaluasi yang sama yang digunakan untuk mengukur pembelajaran kata pada bayi—menyajikan model dengan kata target dan serangkaian empat opsi gambar berbeda dan memintanya untuk memilih gambar yang cocok dengan kata target. .

Hasil penelitian mereka menunjukkan bahwa model tersebut mampu mempelajari sejumlah besar kata dan konsep yang ada dalam pengalaman sehari-hari anak. Selain itu, untuk beberapa kata yang dipelajari oleh model, model tersebut dapat menggeneralisasikannya ke dalam contoh visual yang sangat berbeda dari yang terlihat di pelatihan, mencerminkan aspek generalisasi yang juga terlihat pada anak-anak ketika mereka diuji di laboratorium.

“Temuan ini menunjukkan bahwa aspek pembelajaran kata ini dapat dilakukan berdasarkan jenis data naturalistik yang diterima anak-anak saat menggunakan mekanisme pembelajaran yang relatif umum seperti yang ditemukan di jaringan saraf,” pengamatan Lake.