Pembelajaran seumur hidup akan mendukung perangkat otonom generasi berikutnya

9 Min Read

Pembelajaran seumur hidup akan mendukung perangkat otonom generasi berikutnya

Mengatasi pembelajaran seumur hidup dalam sistem AI. a, Aplikasi: pembelajaran seumur hidup yang ditunjukkan dalam konteks tugas-tugas yang berurutan (lingkaran besar) dan sub-tugas (lingkaran kecil) dengan berbagai tingkat kesamaan, dan tantangan perangkat keras yang terkait. b, Mekanisme algoritmik: serangkaian mekanisme yang membahas pembelajaran seumur hidup. Arsitektur dinamis menambah atau memangkas sumber daya jaringan untuk beradaptasi dengan perubahan lingkungan. Metode regularisasi membatasi plastisitas sinapsis untuk melestarikan pengetahuan dari masa lalu. Metode pemutaran ulang menyisipkan latihan pengetahuan sebelumnya sambil mempelajari tugas-tugas baru. c, Tantangan perangkat keras: pembelajaran seumur hidup menimbulkan kendala baru pada akselerator AI, seperti kemampuan untuk mengonfigurasi ulang jalur data dengan rincian yang lebih baik secara real-time, menetapkan ulang sumber daya komputasi dan memori secara dinamis sesuai anggaran ukuran, berat, dan daya (SWaP), membatasi overhead memori untuk memutar ulang buffer, dan dengan cepat menghasilkan sinapsis potensial, neuron dan lapisan baru. d, Teknik optimasi: tantangan desain perangkat keras dapat diatasi dengan melakukan optimasi agresif di seluruh tumpukan desain. Beberapa contohnya adalah interkoneksi dinamis yang andal dan terukur, kuantisasi hingga Nature Electronics (2023). DOI: 10.1038/s41928-023-01054-3

Carilah “pembelajaran seumur hidup” secara online, dan Anda akan menemukan daftar aplikasi yang bisa mengajari Anda cara melakukan quilting, bermain catur, atau bahkan berbicara bahasa baru. Namun, dalam bidang kecerdasan buatan (AI) dan perangkat otonom yang sedang berkembang, “pembelajaran seumur hidup” memiliki arti yang berbeda—dan ini sedikit lebih kompleks. Hal ini mengacu pada kemampuan perangkat untuk terus beroperasi, berinteraksi, dan belajar dari lingkungannya—secara mandiri dan dalam waktu nyata.

Kemampuan ini sangat penting untuk pengembangan beberapa teknologi kita yang paling menjanjikan—mulai dari drone pengantar otomatis dan mobil tanpa pengemudi, hingga robot luar angkasa dan robot yang mampu melakukan pekerjaan yang terlalu berbahaya bagi manusia.

Dalam semua kasus ini, para ilmuwan mengembangkan algoritma dengan sangat cepat untuk memungkinkan pembelajaran tersebut. Namun akselerator atau chip AI perangkat keras khusus yang dibutuhkan perangkat untuk menjalankan algoritme baru ini harus mengimbanginya.

Itulah tantangan yang diambil Angel Yanguas-Gil, peneliti di Laboratorium Nasional Argonne Departemen Energi AS (DOE). Karyanya adalah bagian dari Inisiatif Mikroelektronika Argonne. Yanguas-Gil dan tim rekan multidisiplin baru-baru ini menerbitkan sebuah makalah di Elektronik Alam yang mengeksplorasi tantangan pemrograman dan perangkat keras yang dihadapi perangkat berbasis AI, dan bagaimana kita dapat mengatasinya melalui desain.

Belajar secara real-time

Pendekatan AI saat ini didasarkan pada model pelatihan dan inferensi. Pengembang “melatih” kemampuan AI secara offline untuk hanya menggunakan jenis informasi tertentu guna melakukan serangkaian tugas tertentu, menguji kinerjanya, dan kemudian menginstalnya ke perangkat tujuan.

“Pada titik ini, perangkat tidak dapat lagi belajar dari data atau pengalaman baru,” jelas Yanguas-Gil. “Jika pengembang ingin menambahkan kemampuan pada perangkat atau meningkatkan kinerjanya, dia harus menghentikan layanan perangkat tersebut dan melatih sistemnya dari awal.”

Untuk aplikasi yang kompleks, model ini tidak layak dilakukan.

“Bayangkan sebuah penjelajah planet yang menemukan objek yang tidak dilatih untuk mengenalinya. Atau ia memasuki medan yang tidak dilatih untuk dinavigasi,” lanjut Yanguas-Gil.

“Mengingat jeda waktu antara rover dan operatornya, mematikannya dan mencoba melatihnya kembali agar dapat bekerja dalam situasi ini tidak akan berhasil. Sebaliknya, rover harus mampu mengumpulkan jenis data baru. informasi ke informasi yang sudah dimilikinya—dan tugas yang terkait dengannya. Lalu buat keputusan tentang apa yang harus dilakukan selanjutnya secara real-time.”

Tantangannya adalah pembelajaran real-time memerlukan algoritma yang jauh lebih kompleks. Pada gilirannya, algoritme ini memerlukan lebih banyak energi, lebih banyak memori, dan lebih banyak fleksibilitas dari akselerator perangkat kerasnya agar dapat dijalankan. Dan chip ini hampir selalu memiliki ukuran, berat, dan daya yang sangat terbatas—tergantung pada perangkatnya.

Kunci untuk akselerator pembelajaran seumur hidup

Menurut makalah tersebut, akselerator AI memerlukan sejumlah kemampuan agar perangkat hostnya dapat belajar terus-menerus.

Kemampuan belajar harus ditempatkan pada perangkat. Pada sebagian besar aplikasi yang dimaksudkan, tidak akan ada waktu bagi perangkat untuk mengambil informasi dari sumber jarak jauh seperti cloud atau meminta transmisi dari operator dengan instruksi sebelum perlu melakukan suatu tugas.

Akselerator juga harus memiliki kemampuan untuk mengubah cara penggunaan sumber dayanya dari waktu ke waktu untuk memaksimalkan penggunaan energi dan ruang. Ini bisa berarti memutuskan untuk mengubah tempat penyimpanan jenis data tertentu, atau berapa banyak energi yang digunakan untuk melakukan tugas tertentu.

Kebutuhan lainnya adalah apa yang oleh para peneliti disebut sebagai “pemulihan model”. Ini berarti bahwa sistem dapat mempertahankan struktur aslinya untuk tetap menjalankan tugas yang diharapkan pada tingkat tinggi, meskipun sistem terus berubah dan berkembang sebagai hasil pembelajarannya. Sistem ini juga harus mencegah apa yang oleh para ahli disebut sebagai “bencana lupa”, yaitu mempelajari tugas-tugas baru menyebabkan sistem melupakan tugas-tugas lama. Ini adalah kejadian umum dalam pendekatan pembelajaran mesin saat ini. Jika perlu, sistem harus dapat kembali ke praktik yang lebih sukses jika kinerja mulai menurun.

Terakhir, akselerator mungkin perlu mengkonsolidasikan pengetahuan yang diperoleh dari tugas-tugas sebelumnya (menggunakan data dari pengalaman masa lalu melalui proses yang dikenal sebagai pemutaran ulang) sambil secara aktif menyelesaikan tugas-tugas baru.

Semua kemampuan ini menghadirkan tantangan bagi akselerator AI yang baru mulai dilakukan oleh para peneliti.

Bagaimana kita tahu ini berhasil?

Proses untuk mengukur efektivitas akselerator AI juga masih dalam proses. Di masa lalu, penilaian berfokus pada keakuratan tugas untuk mengukur jumlah “kelupaan” yang terjadi dalam sistem saat sistem mempelajari serangkaian tugas.

Namun langkah-langkah ini tidak cukup untuk menangkap informasi yang dibutuhkan pengembang untuk mengembangkan chip AI yang dapat memenuhi semua tantangan yang diperlukan untuk pembelajaran seumur hidup. Menurut makalah tersebut, pengembang kini lebih tertarik untuk menilai seberapa baik perangkat dapat menggunakan apa yang dipelajarinya untuk meningkatkan kinerjanya pada tugas-tugas yang dilakukan sebelum dan sesudah titik dalam urutan di mana perangkat mempelajari informasi baru. Metrik baru lainnya bertujuan untuk mengukur seberapa cepat model dapat belajar dan seberapa baik model tersebut mengelola pertumbuhannya sendiri.

Kemajuan dalam menghadapi kompleksitas

Jika semua ini terdengar sangat rumit, ya, memang demikian.

“Ternyata untuk menciptakan perangkat yang benar-benar dapat belajar secara real-time, kita memerlukan terobosan dan strategi mulai dari desain algoritme, desain chip, hingga material dan perangkat baru,” kata Yanguas-Gil.

Untungnya, para peneliti mungkin dapat memanfaatkan atau mengadaptasi teknologi yang sudah ada yang awalnya dirancang untuk aplikasi lain, seperti perangkat memori. Hal ini dapat membantu mewujudkan kemampuan pembelajaran seumur hidup dengan cara yang kompatibel dengan teknologi pemrosesan semikonduktor saat ini.

Demikian pula, pendekatan desain bersama baru yang sedang dikembangkan sebagai bagian dari portofolio penelitian Argonne di bidang mikroelektronika dapat membantu mempercepat pengembangan materi, perangkat, sirkuit, dan arsitektur baru yang dioptimalkan untuk pembelajaran seumur hidup. Dalam makalah mereka, Yanguas-Gil dan rekan-rekannya memberikan beberapa prinsip desain untuk memandu upaya pembangunan di bidang ini. Mereka termasuk:

  • Arsitektur yang sangat dapat dikonfigurasi ulang, sehingga model dapat mengubah cara model menggunakan energi dan menyimpan informasi saat dipelajari—mirip dengan cara kerja otak manusia.
  • Bandwidth data tinggi (untuk pembelajaran cepat) dan jejak memori yang besar.
  • Komunikasi dalam chip untuk meningkatkan keandalan dan ketersediaan.

“Proses untuk mengatasi tantangan-tantangan ini baru saja dimulai di sejumlah disiplin ilmu. Dan kemungkinan akan memerlukan kolaborasi erat antar disiplin ilmu tersebut, serta keterbukaan terhadap desain dan material baru,” jelas Yanguas-Gil. “Ini adalah saat yang sangat menyenangkan bagi seluruh ekosistem pembelajaran seumur hidup.”

Informasi lebih lanjut:
Dhireesha Kuditipudi dkk, Prinsip desain untuk akselerator AI pembelajaran seumur hidup, Elektronik Alam (2023). DOI: 10.1038/s41928-023-01054-3

Disediakan oleh Laboratorium Nasional Argonne

Kutipan: Pembelajaran seumur hidup akan menggerakkan perangkat otonom generasi berikutnya (2024, 31 Januari) diambil 2 Februari 2024 dari https://techxplore.com/news/2024-01-lifelong-power-generasi-autonomous-devices.html

Dokumen ini memiliki hak cipta. Terlepas dari transaksi wajar untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.

______
Diterjemahkan dari techxplore.com

Share This Article