HONG KONG, 27 Mei 2024 /PRNewswire/ — Dengan kecerdasan buatan generatif (GenAI) yang mengubah lanskap interaksi sosial dalam beberapa tahun terakhir, model bahasa besar (LLM), yang menggunakan algoritme pembelajaran mendalam untuk melatih platform GenAI memproses bahasa, telah menjadi sorotan. Sebuah studi baru-baru ini oleh The Hong Kong Polytechnic University (PolyU) menemukan bahwa LLM berkinerja lebih seperti otak manusia ketika dilatih dengan cara yang lebih mirip dengan manusia memproses bahasa, yang telah membawa wawasan penting untuk studi otak dan pengembangan model AI.
Model bahasa besar saat ini (LLM) sebagian besar bergantung pada satu jenis prapelatihan – prediksi kata kontekstual. Strategi pembelajaran sederhana ini telah mencapai keberhasilan yang mengejutkan ketika dikombinasikan dengan data pelatihan besar-besaran dan parameter model, seperti yang ditunjukkan oleh LLM populer seperti ChatGPT. Studi terbaru juga menunjukkan bahwa prediksi kata dalam LLM dapat berfungsi sebagai model yang masuk akal untuk bagaimana manusia memproses bahasa. Namun, manusia tidak hanya memprediksi kata berikutnya tetapi juga mengintegrasikan informasi tingkat tinggi dalam pemahaman bahasa alami.
Sebuah tim peneliti yang dipimpin oleh Prof. Li Ping, Dekan Fakultas Humaniora dan Profesor Yayasan Sin Wai Kin dalam Humaniora dan Teknologi di PolyU, telah menyelidiki tugas prediksi kalimat berikutnya (NSP), yang mensimulasikan satu proses sentral pemahaman tingkat wacana di otak manusia untuk mengevaluasi apakah sepasang kalimat koheren, ke dalam prapelatihan model dan memeriksa korelasi antara data model dan aktivasi otak. Studi ini baru-baru ini diterbitkan dalam jurnal akademik Sciences Advances.
Tim peneliti melatih dua model, satu dengan peningkatan NSP dan yang lainnya tanpa, keduanya juga belajar prediksi kata. Data pencitraan resonansi magnetik fungsional (fMRI) dikumpulkan dari orang yang membaca kalimat yang terhubung atau kalimat yang terputus. Tim peneliti memeriksa seberapa dekat pola dari masing-masing model cocok dengan pola otak dari data otak fMRI.
Jelas bahwa pelatihan dengan NSP memberikan manfaat. Model dengan NSP cocok dengan aktivitas otak manusia di berbagai bidang jauh lebih baik daripada model yang hanya dilatih pada prediksi kata. Mekanismenya juga memetakan dengan baik ke model saraf pemahaman wacana manusia yang mapan. Hasilnya memberi wawasan baru tentang bagaimana otak kita memproses wacana penuh seperti percakapan. Misalnya, bagian sisi kanan otak, bukan hanya kiri, membantu memahami wacana yang lebih panjang. Model yang dilatih dengan NSP juga dapat memprediksi dengan lebih baik seberapa cepat seseorang membaca – menunjukkan bahwa simulasi pemahaman wacana melalui NSP membantu AI memahami manusia dengan lebih baik.
LLM terbaru, termasuk ChatGPT, sangat bergantung pada peningkatan data pelatihan dan model sie untuk mencapai kinerja yang lebih baik. Prof. Li Ping berkata, “Ada keterbatasan hanya mengandalkan penskalaan seperti itu. Kemajuan juga harus ditujukan untuk membuat model lebih efisien, mengandalkan lebih sedikit daripada lebih banyak data. Temuan kami menunjukkan bahwa beragam tugas belajar seperti NSP dapat meningkatkan LLM menjadi lebih mirip manusia dan berpotensi lebih dekat dengan kecerdasan manusia. “
Dia menambahkan, “Lebih penting lagi, temuan ini menunjukkan bagaimana peneliti neurokognitif dapat memanfaatkan LLM untuk mempelajari mekanisme bahasa tingkat tinggi otak kita. Mereka juga mempromosikan interaksi dan kolaborasi antara para peneliti di bidang AI dan neurokognisi, yang akan mengarah pada studi masa depan tentang studi otak yang diinformasikan AI serta AI yang terinspirasi otak. “
Kontak
Media
Ibu Annie Wong
Manajer Senior, Hubungan Masyarakat
Telepon: +852 3400 3853
Email: [email protected]