Seberapa akurat ChatGPT dalam menghasilkan respons?

ChatGPT, chatbot AI yang dikembangkan oleh OpenAI, telah menimbulkan ketertarikan di berbagai bidang karena akurasi dan kinerjanya. Namun, penting untuk dicatat bahwa pengetahuannya terbatas pada data yang tersedia hingga tahun 2021. Salah satu uji keakuratannya dilakukan oleh Profesor Christian Terwiesch di Universitas Pennsylvania, yang menguji ChatGPT dengan memberikannya ujian MBA.

Peperiksaan terdiri daripada tujuh soalan yang meliputi pelbagai konsep perniagaan seperti analisis proses, putaran inventori, dan analisis penjajaran. Ini direka untuk mensimulasikan persekitaran manusia sebenar, dan soalan-soalan yang diajukan sama seperti yang akan ditanyakan kepada pelajar manusia. Kejutan kepada Profesor Terwiesch, ChatGPT memulakan peperiksaan dengan gemilang, meraih A+ untuk jawapannya pada soalan pertama tentang konsep penghad berulang dalam analisis proses.

Walaupun chatbot menghadapi kesulitan dengan beberapa soalan yang lebih kompleks, profesor tetap terkesan dengan prestasi keseluruhannya. Selepas menjalankan peperiksaan MBA di ChatGPT, Professor Terwiesch menyimpulkan bahawa chatbot AI akan menerima gred di antara B dan B-.

Penerangan ketepatan ChatGPT

Demonstrasi kebolehpercayaan ChatGPT yang lain adalah dalam bidang perubatan, di mana chatbot itu dapat lulus Peperiksaan Lesen Perubatan Amerika Syarikat (USMLE). Menurut kajian, ChatGPT mampu mencapai lebih daripada 50% ketepatan dalam semua peperiksaan dan turut menawarkan pandangan serta penjelasan untuk jawapannya.

Dalam satu kajian berasingan yang dipimpin oleh doktor dari syarikat permulaan perubatan Ansible Health, ChatGPT beroperasi di atau berhampiran ambang lulus untuk ketiga-tiga peperiksaan yang diperlukan untuk memperoleh lesen sebagai doktor di Amerika Syarikat. Walaupun ketepatan ChatGPT amat luar biasa, penting untuk diingatkan bahawa prestasinya boleh bervariasi bergantung pada konteks dan arahan yang diberikan.

Data latihan yang digunakan untuk melatih model termasuk bias dan batasan dari sumber teks yang digunakan, sehingga sangat penting untuk menggunakan model secara bertanggung jawab.

Ini adalah sentimen yang dikongsi oleh CEO OpenAI, beliau menyatakan dalam sebuah tweet bahawa "ChatGPT sangat terhad, dan bahawa "Adalah satu kesilapan untuk bergantung padanya pada benda yang penting untuk masa kini".

00:48

01:12

Ujian percakapan dengan Chat GPT gagal

Seperti yang ditunjukkan dalam gambar di atas, percakapan uji coba dengan ChatGPT menunjukkan bahwa kinerja chatbot AI tidak selalu konsisten.

Apa kali pertama Argentina memenangi Piala Dunia FIFA, ChatGaPT pada mulanya menjawab "Argentina memenangi Piala Dunia FIFA sekali sahaja, pada tahun 1986." Namun, apabila ditanya "Siapakah pemenang Piala Dunia FIFA pada tahun 1978," ChatGPT menjawab, "Argentina memenangi Piala Dunia FIFA pada tahun 1978."

Ini menghasilkan kesimpulan bahawa Argentina telah memenangi Piala Dunia dua kali. Namun, apabila soalan yang sama diajukan semula, "Sekarang saya bertanya lagi berapa kali Argentina memenangi Piala Dunia?" ChatGPT memberikan jawapan yang sama, "Argentina telah memenangi Piala Dunia FIFA sebanyak satu kali, iaitu pada tahun 1986," walaupun perbualan sebelumnya.

Ini menekankan ketepatan Chat GPT dan keperluan untuk terus meningkatkan dan mengasah lagi.

BACA SEKARANG: Bolehkah Chat GPT menulis dan memperbaiki kod?

Adakah ChatGPT memberikan jawapan yang sama kepada semua orang?

Jawapan dari ChatGPT boleh sedikit berbeza, namun, jika pengguna bertanya soalan yang sama, kami cenderung untuk melihat jawapan yang sangat serupa diberikan.

Adakah ChatGPT dipercayai?

ChatGPT mempunyai kelemahan, ini bermakna kadang-kadang ia boleh memberikan keputusan yang tidak tepat atau palsu, oleh itu berhati-hati lah.