Para peneliti memanfaatkan model bahasa besar untuk mempercepat penemuan material

Peneliti Princeton telah menciptakan alat kecerdasan buatan (AI) untuk memprediksi perilaku bahan kristal, sebuah langkah penting dalam memajukan teknologi seperti baterai dan semikonduktor. Meskipun simulasi komputer umumnya digunakan dalam desain kristal, metode baru ini bergantung pada model bahasa yang besar, serupa dengan yang menggerakkan generator teks seperti ChatGPT.

Dengan mensintesis informasi dari deskripsi teks yang mencakup detail seperti panjang dan sudut ikatan antar atom serta pengukuran sifat elektronik dan optik, metode baru ini dapat memprediksi sifat material baru dengan lebih akurat dan menyeluruh dibandingkan simulasi yang ada—dan berpotensi mempercepat proses. merancang dan menguji teknologi baru.

Para peneliti mengembangkan tolok ukur teks yang terdiri dari deskripsi lebih dari 140.000 kristal dari Proyek Material, dan kemudian menggunakannya untuk melatih versi adaptasi model bahasa besar yang disebut T5, yang awalnya dibuat oleh Google Research. Mereka menguji kemampuan alat tersebut untuk memprediksi sifat struktur kristal yang dipelajari sebelumnya, mulai dari garam meja biasa hingga semikonduktor silikon. Kini setelah mereka menunjukkan kekuatan prediksinya, mereka berupaya menerapkan alat tersebut pada desain bahan kristal baru.

Metode ini, yang dipresentasikan pada tanggal 29 November di Materials Research Society’s Fall Meeting di Boston, mewakili tolok ukur baru yang dapat membantu mempercepat penemuan material untuk berbagai aplikasi, menurut penulis studi senior Adji Bousso Dieng, asisten profesor ilmu komputer di Pangeran.

Makalah yang menguraikan metode, “LLM-Prop: Memprediksi Sifat Fisika Dan Elektronik Padatan Kristal Dari Deskripsi Teksnya,” kini diposting ke arXiv server pracetak.

Alat berbasis AI yang ada untuk memprediksi sifat kristal bergantung pada metode yang disebut jaringan saraf grafik, namun alat ini memiliki daya komputasi yang terbatas dan tidak dapat secara memadai menangkap nuansa geometri dan panjang ikatan antar atom dalam kristal, serta sifat elektronik dan optik. yang dihasilkan dari struktur ini. Tim Dieng adalah tim pertama yang mengatasi masalah ini dengan menggunakan model bahasa besar, katanya.

“Kami telah mencapai kemajuan luar biasa dalam visi komputer dan bahasa alami,” kata Dieng, “tetapi kami belum terlalu mahir dalam menangani grafik (dalam AI). Jadi, saya ingin beralih dari grafik ke penerjemahan sebenarnya. ke domain yang sudah memiliki alat hebat. Jika kami memiliki teks, maka kami dapat memanfaatkan semua (model bahasa besar) yang canggih ini pada teks tersebut.”

Pendekatan berbasis model bahasa “memberi kita cara baru untuk melihat masalah” dalam merancang material, kata rekan penulis studi Craig Arnold, Profesor Teknik Mesin dan Dirgantara Susan Dod Brown di Princeton dan wakil dekan bidang inovasi. “Ini benar-benar tentang bagaimana saya mengakses semua pengetahuan yang telah dikembangkan oleh umat manusia, dan bagaimana saya memproses pengetahuan itu untuk bergerak maju? Ini secara karakteristik berbeda dari pendekatan kita saat ini, dan saya pikir itulah yang memberinya banyak kekuatan.”

Untuk mengetahui tantangan desain kristal, Dieng dan Ph.D. mahasiswa Andre Niyongabo Rubungo bekerja sama dengan Arnold dan Barry Rand, seorang profesor teknik elektro dan komputer serta Pusat Energi dan Lingkungan Andlinger yang berfokus pada material untuk semikonduktor dan energi surya. Arnold tertarik pada interaksi material laser, dengan aplikasi untuk penyimpanan energi.

“Materi di dunia kita semuanya dikembangkan melalui pengujian hipotesis ilmiah dan terkadang keberuntungan,” kata Rand. Proses ini “mengarah pada hasil yang baik, namun membutuhkan waktu. Melalui metode kecerdasan buatan, kita dapat mempercepat hal tersebut.” Lebih jauh lagi, katanya, “hal ini memungkinkan kita untuk mengidentifikasi hal-hal yang mungkin tidak dapat kita pahami sebagai manusia.”

Mengingat kristal dengan komposisi unsur kimia tertentu, metode tim dapat memprediksi sifat-sifat termasuk celah pita, yang berkaitan dengan keadaan elektronik dan konduktivitas kristal.

“Jika Anda dapat memprediksi hal tersebut dengan akurasi tinggi, dan kemudian melakukan eksperimen yang melelahkan, Anda akan lebih yakin bahwa hal tersebut akan membuahkan kesuksesan,” kata Rand.

Ph.D. siswa Rubungo menerima penghargaan poster terbaik karena mempresentasikan karyanya kepada peneliti materi pada pertemuan musim gugur. Banyak yang terkejut dengan kekuatan model bahasa yang besar dalam konteks ini. Bidang ini lebih terbiasa dengan data terstruktur yang digunakan sebagai masukan untuk jaringan saraf grafik, namun “teks lebih mudah ditangani,” kata Rubungo. “Lebih mudah untuk memasukkan informasi yang Anda inginkan dalam deskripsi Anda, dan memodifikasi alat serta menghapus informasi yang tidak Anda inginkan. Orang-orang sangat senang melihatnya.”

Sebagai alat baru, kata dia, metode prediksi memiliki keterbatasan. Ia menggunakan lebih banyak daya komputasi dan lebih lambat dibandingkan jaringan neural grafik yang biasanya digunakan untuk tujuan ini. Ia juga dapat memperoleh manfaat dari data pelatihan yang diperluas untuk meningkatkan kemampuannya dalam memprediksi sifat-sifat materi baru.

Dieng sedang menjalin kolaborasi dengan peneliti material lainnya, dan bertujuan untuk memindahkan penelitian ini lebih dari sekedar kristal ke material yang lebih beragam. “Ini adalah bidang penelitian yang baru lahir, dan kemajuan penelitian adalah memiliki tolok ukur yang sudah mapan dan dikurasi dengan baik,” katanya. “Kami mengumpulkan lebih banyak kumpulan data ke dalam satu tolok ukur yang akan ditempatkan di Princeton agar dapat digunakan oleh para peneliti.”