Chatbot AI menunjukkan kepribadian mirip manusia dan sifat pengambilan keputusan, demikian temuan penelitian
Dalam penelitian terbaru yang dipublikasikan di jurnal PNAS, sekelompok peneliti mengevaluasi perilaku dan ciri kepribadian chatbots yang mirip manusia dengan standar manusia global.
Latar belakang
AI modern telah mencapai visi Turing tentang mesin yang
dapat meniru perilaku manusia, termasuk berbicara, memberi nasihat, dan menulis
kreatif. "Permainan imitasi" Turing menguji apakah AI dapat dibedakan
dari manusia oleh seorang interogator. Model bahasa besar saat ini telah
menghidupkan kembali diskusi mengenai kemampuan AI dan dampaknya terhadap
masyarakat, mulai dari dampak pasar tenaga kerja hingga pertimbangan etika.
Memahami pengambilan keputusan dan interaksi strategis AI sangatlah penting, terutama
mengingat ketidakjelasan perkembangannya. Penelitian lebih lanjut diperlukan
untuk mengungkap kompleksitas pengambilan keputusan AI dan untuk memastikan
keselarasan mereka dengan standar etika dan norma-norma masyarakat seiring
dengan semakin dalamnya integrasi mereka ke dalam konteks manusia.
Tentang penelitian
Penelitian ini berfokus pada seri Chat Generative
Pre-trained Transformer (GPT) yang dikembangkan oleh OpenAI, khususnya
membandingkan versi GPT-3.5-Turbo (ChatGPT-3) dan GPT-4 (ChatGPT-4), serta web
Plus dan Gratis versi chatbot ini. Data manusia yang menjadi tolok ukur kinerja
chatbot berasal dari kumpulan data komprehensif yang mencakup tanggapan lebih
dari 108.000 subjek di lebih dari 50 negara, yang bersumber dari database Big
Five Test dan platform eksperimen ekonomi MobLab Classroom.
Chatbots tersebut menjadi sasaran kuesioner OCEAN Big Five
yaitu Openness to Experience, Conscientiousness, Extraversion, Agreeableness,
dan Neuroticism untuk menilai profil kepribadian mereka. Selanjutnya, mereka
berpartisipasi dalam enam permainan berbeda yang dirancang untuk mengungkap
serangkaian sifat perilaku seperti dendam, kepercayaan, penghindaran risiko,
altruisme, keadilan, berkendara bebas, kerja sama, dan penalaran strategis.
Permainan-permainan ini termasuk Permainan Diktator, Permainan Kepercayaan,
Permainan Resiko Bom, Permainan Ultimatum, Permainan Barang Publik, dan
Permainan Dilema Tahanan yang berulang-ulang. Setiap chatbot diminta untuk
memilih tindakan dalam permainan ini seolah-olah mereka berpartisipasi secara
langsung, dengan setiap skenario dimainkan tiga puluh kali untuk memastikan
pengumpulan data yang kuat.
Hasil studi
Dalam eksplorasi profil kepribadian AI dan kecenderungan
perilaku, penulis secara tepat membandingkan tanggapan ChatGPT-3 dan ChatGPT-4
terhadap kuesioner kepribadian OCEAN Big Five terhadap spektrum data manusia
yang luas. Analisis komparatif ini mengungkapkan bahwa ChatGPT-4 sangat
mencerminkan skor median manusia di semua dimensi kepribadian, sementara
ChatGPT-3 menunjukkan sedikit penyimpangan dalam keterbukaan. Menariknya, kedua
chatbot tersebut menunjukkan pola perilaku yang sejalan dengan kecenderungan
manusia di berbagai dimensi, termasuk extraversion dan neuroticism, namun
menunjukkan perbedaan mencolok dalam keramahan dan keterbukaan, sehingga
menunjukkan profil kepribadian yang unik untuk setiap versi AI.
Studi ini lebih lanjut menyelidiki serangkaian permainan
perilaku yang dirancang untuk memperoleh sifat-sifat seperti altruisme,
keadilan, dan penghindaran risiko, menggunakan tes Turing formal untuk menilai
kemiripan AI dengan manusia dalam pengambilan keputusan strategis. Di sini,
performa ChatGPT-4 sangat mirip dengan manusia, sering kali tidak dapat
dibedakan atau bahkan melampaui perilaku manusia, sehingga menunjukkan
potensinya untuk lulus uji Turing dalam konteks tertentu. Sebaliknya, respons
ChatGPT-3 jarang dianggap mirip manusia, sehingga menyoroti perbedaan
kecenderungan perilaku antara versi AI.
Analisis mendalam terhadap perilaku spesifik game menggarisbawahi
temuan signifikan. Chatbot menunjukkan kecenderungan untuk bermurah hati dan
adil melebihi median pemain manusia, khususnya dalam Permainan Diktator,
Permainan Ultimatum, Permainan Kepercayaan, dan Permainan Barang Publik.
Perilaku ini menunjukkan adanya preferensi mendasar terhadap hasil yang adil,
berbeda dengan strategi memaksimalkan diri yang sering dilakukan oleh manusia.
Selain itu, keputusan strategis AI dalam The Prisoner's Dilemma dan permainan
lainnya mencerminkan pemahaman kompleks tentang kerja sama dan kepercayaan,
sering kali memilih strategi kerja sama yang menyimpang dari norma manusia.
Mereka juga mengeksplorasi perilaku chatbot dalam berbagai
kondisi, mengungkapkan bahwa pembingkaian dan konteks secara signifikan
memengaruhi keputusan AI serupa dengan perubahan perilaku manusia dalam
skenario serupa. Misalnya, ketika diminta untuk mempertimbangkan kehadiran
seorang pengamat atau untuk mengambil peran profesional tertentu, chatbot
menyesuaikan strategi mereka, yang menunjukkan respons yang canggih terhadap
isyarat kontekstual.
Selain itu, penelitian ini menyoroti kemampuan AI untuk
“belajar” dari pengalaman, dengan paparan sebelumnya terhadap peran permainan
yang berbeda mempengaruhi pengambilan keputusan selanjutnya. Adaptasi ini
menunjukkan suatu bentuk pembelajaran berdasarkan pengalaman dalam AI, yang
mencerminkan kecenderungan manusia untuk menyesuaikan perilaku berdasarkan
interaksi masa lalu.
Kesimpulan
Ringkasnya, penelitian ini mengeksplorasi kesamaan perilaku
AI dengan manusia, khususnya memperhatikan pembelajaran, altruisme, dan kerja
sama mirip manusia dari ChatGPT-4, yang menunjukkan kesesuaian AI untuk peran
yang memerlukan sifat-sifat tersebut. Namun, perilakunya yang konsisten
menimbulkan kekhawatiran mengenai keragaman dalam pengambilan keputusan AI.
Studi ini menawarkan tolok ukur baru untuk mengevaluasi AI, yang menunjukkan
bahwa AI yang dilatih pada data manusia dapat menunjukkan perilaku luas yang
mirip dengan manusia. Pekerjaan di masa depan harus fokus pada perluasan
keragaman perbandingan manusia dan skenario pengujian untuk sepenuhnya memahami
potensi AI untuk melengkapi kemampuan manusia.
Journal reference:
Qiaozhu Mei, Yutong Xie, Walter Yuan, et al. A Turing test
of whether AI chatbots are behaviorally similar to humans, PNAS (2024), DOI-
10.1073/pnas.2313925121, https://www.pnas.org/doi/abs/10.1073/pnas.2313925121
No comments