11 Kekurangan Kandungan ChatGPT

Highlights

• Mengapa kandungan ChatGPT yang berkualiti rendah lulus tinjauan manusia.
• ChatGPT yang komprehensif walaupun ia sepatutnya ringkas.
• Profesor mengambil kira kelemahan yang merosakkan esei yang dijana oleh ChatGPT.
• ChatGPT gagal dalam ujian pengesanan android fiksyen Voight-Kampff dan alasan mengejutkan mengapa ini penting.

ChatGPT menghasilkan kandungan yang komprehensif dan masuk akal.

Tetapi penyelidik, artis, dan profesor memperingatkan tentang kelemahan yang perlu diperhatikan yang menurunkan kualiti kandungan.

Dalam artikel ini, kita akan melihat 11 kelemahan kandungan ChatGPT. Mari kita mulakan.

1. Penggunaan Frasa Menjadikan Ia Terkesan Tidak Manusia

Penyelidik yang mengkaji cara mengesan kandungan yang dihasilkan oleh mesin telah menemui corak yang membuat ia kedengaran tidak semulajadi.

Salah satu keunikan ini adalah bagaimana kecerdasan buatan kesulitan dengan ungkapan.

Idiom ialah frasa atau ungkapan yang mempunyai makna kiasan, contohnya, "ada hikmah di sebalik kesulitan".

Ketidakhadiran ungkapan dalam kandungan mungkin menunjukkan kandungan tersebut dihasilkan oleh mesin - dan ini boleh menjadi sebahagian daripada algoritma pengesanan.

Ini adalah apa yang diungkapkan dalam kertas penyelidikan 2022 Keberdayaan Adversarial Ciri-Ciri Neural-Statistik dalam Pengesanan Transformer Generatif mengenai keunikannya dalam kandungan yang dihasilkan mesin:

"Ciri frasa kompleks bergantung pada kerapannya perkataan dan frasa tertentu dalam teks yang dianalisis yang biasanya lebih kerap berlaku dalam teks manusia."

...Dalam fitur frasa kompleks ini, fitur idiom mempertahankan kekuatan paling tinggi dalam pengesanan model generatif semasa."

Ketidakmampuan menggunakan ungkapan menyumbang kepada keluaran ChatGPT yang terdengar dan terbaca tidak alami.

2. ChatGPT kurang kemampuan untuk ekspresi

Seorang seniman memberikan komen bagaimana hasil ChatGPT meniru seni, tetapi tidak mempunyai kualiti sebenar dari ungkapan seni.

Ekspresi adalah tindakan mengkomunikasikan pemikiran atau perasaan.

Paparan ChatGPT tidak mengandungi ungkapan, hanya perkataan sahaja.

Ia tidak dapat menghasilkan kandungan yang menyentuh perasaan manusia pada tahap yang sama seperti manusia kerana ia tidak mempunyai pemikiran atau perasaan sebenar.

Pelukis muzik Nick Cave, dalam satu artikel yang diposting dalam buletin surat kabarnya Red Hand Files, memberikan komen mengenai lirik ChatGPT yang telah dihantar kepadanya, yang dihasilkan dalam gaya Nick Cave.

Perkakas Pemasaran Konten Berteknologi AI terbaru
Adopsi teknologi generasi berikutnya sebelum pesaing Anda melakukannya. Ciptakan konten yang teroptimasi dengan baik dan ditujukan dengan baik sehingga memberikan hasil tiga kali lebih cepat.

Beliau menulis:

"Apa yang membuat lagu hebat bukanlah keserupaan dekat dengan karya yang dikenali.

...ini adalah saat berhadapan dengan kerentanan, kelemahan, kecilan yang tiba-tiba ditemukan; inilah tindakan seni yang penebus hati pendengar, di mana pendengar mengenali di dalam karya lagu itu darah mereka sendiri, perjuangan mereka sendiri, penderitaan mereka sendiri.

Cave menyebut lirik ChatGPT sebagai ejekan.

Ini adalah lirik ChatGPT yang menyerupai lirik Nick Cave:

"Aku mempunyai darah malaikat yang mengalir di tanganku
Aku mempunyai api neraka yang membakar di mataku
Aku adalah raja kegelapan, penguasa kegelapan
Aku adalah yang ditakuti dalam bayang-bayang"

Dan ini adalah lirik sebenar Nick Cave (Brother, My Cup Is Empty):

"Saya telah meluncur turun di atas pelangi
Saya telah berayun dari bintang-bintang
Kini orang yang malang dalam pakaian pengemis
Mengetuk cawan di seberang bar
Lihat, cawan saya kosong!
Nampaknya saya tersalah meletakkan hasrat saya
Nampaknya saya sedang menyapu abu
Dari api- api lama saya"

Mudah dilihat bahawa syair yang dihasilkan mesin menyerupai syair penulisnya, tetapi ia sebenarnya tidak menyampaikan apa-apa.

Lirik-lirik Nick Cave menceritakan kisah yang mengungkapkan kesedihan, keinginan, rasa malu, dan penipuan yang dilakukan dengan sengaja oleh orang yang berbicara dalam lagu tersebut. Ini mengungkapkan pemikiran dan perasaan.

Mudah dilihat mengapa Nick Cave menyebutnya sindiran.

3. ChatGPT tidak menghasilkan pandangan yang bermaklumat

Satu artikel yang diterbitkan di The Insider mengutip seorang ahli akademik yang mencatat bahawa esei akademik yang dihasilkan oleh ChatGPT kurang mempunyai perspektif tentang topik tersebut.

ChatGPT merangkum topik tetapi tidak menawarkan pandangan yang unik mengenai topik tersebut.

Manusia mencipta melalui pengetahuan, tetapi juga melalui pengalaman peribadi dan persepsi subjektif mereka.

Profesor Christopher Bartel dari Universiti Appalachian State dikutip oleh The Insider sebagai mengatakan bahawa walaupun esei ChatGPT mungkin memperlihatkan kualiti tatabahasa yang tinggi dan idea yang canggih, ia masih kekurangan wawasan.

Bartel berkata:

"Mereka benar-benar lembut. Tiada konteks, tiada kedalaman atau wawasan."

Pemahaman yang mendalam adalah ciri khas dari sebuah esai yang baik dan ini sesuatu yang tidak terlalu baik dilakukan oleh ChatGPT.

Ketidakbijaksanaan ini adalah sesuatu yang perlu diingat ketika menilai kandungan yang dihasilkan oleh mesin.

4. ChatGPT Terlalu Banyak Kata-kata

Satu kertas kajian yang diterbitkan pada Januari 2023 menemui pola dalam kandungan ChatGPT yang menjadikannya kurang sesuai untuk aplikasi kritikal.

Kertas ini bertajuk, Seberapa Dekat ChatGPT dengan Pakar Manusia? Perbandingan Korpus, Penilaian, dan Pengesanan.

Kajian menunjukkan bahawa manusia lebih suka jawapan daripada ChatGPT dalam lebih daripada 50% soalan berkaitan kewangan dan psikologi.

Tetapi ChatGPT gagal menjawab soalan perubatan kerana manusia lebih suka jawapan langsung - sesuatu yang AI tidak sediakan.

Penyelidik-penyelidik itu menulis:

"...ChatGPT berkinerja buruk dari segi membantu di dalam domain perubatan dalam bahasa Inggeris dan Cina."

ChatGPT sering memberikan jawaban yang panjang untuk konsultasi medis dalam set data kami, sementara ahli manusia mungkin langsung memberikan jawaban atau saran yang langsung, yang mungkin menjelaskan mengapa relawan menganggap jawaban manusia lebih membantu di dalam domain medis."

ChatGPT cenderung mencakup topik dari sudut pandang yang berbeda, yang membuatnya tidak sesuai ketika jawaban terbaik adalah jawaban langsung.

Pengiklan yang menggunakan ChatGPT perlu mengambil perhatian ini kerana pelawat laman web yang memerlukan jawapan terus tidak akan puas dengan laman web yang menjela-jelakan.

Dan semoga berjaya dalam mengatasi halaman yang terlalu berbelit-belit dalam petikan terpilih Google, di mana jawapan yang ringkas dan jelas yang boleh berfungsi dengan baik dalam Suara Google mungkin mempunyai peluang yang lebih baik untuk diberi ranking berbanding jawapan yang terlalu panjang dan bertele-tele.

OpenAI, pembuat ChatGPT, mengakui bahawa memberikan jawapan yang panjang lebar adalah satu kelemahan yang diketahui.

Artikel pengumuman oleh OpenAI menyatakan:

"Model tersebut sering kali terlalu banyak kata..."

Kecondongan ChatGPT untuk memberikan jawaban panjang lebar perlu diingatkan ketika menggunakan output ChatGPT, karena anda mungkin mengalami situasi di mana jawaban yang lebih pendek dan langsung lebih baik.

5. Kandungan ChatGPT Sangat Teratur Dengan Logik Yang Jelas

ChatGPT mempunyai gaya penulisan yang tidak hanya berkelantangan tetapi juga cenderung mengikuti templat yang memberikan kandungan sebuah gaya unik yang tidak bersifat manusia.

Kualiti yang tidak berperikemanusiaan ini dinyatakan dalam perbezaan antara bagaimana manusia dan mesin menjawab soalan.

Filem Blade Runner mempunyai adegan yang menampilkan siri soalan yang direka untuk mengenal pasti sama ada subjek menjawab soalan adalah manusia atau robot.

Soalan-soalan ini adalah sebahagian daripada ujian fiksyen yang dipanggil "ujian Voigt-Kampff".

Salah satu soalannya ialah:

“Anda sedang menonton televisyen. Tiba-tiba anda sedar ada seekor tebuan merayap di lengan anda. Apa yang anda lakukan?”

Respons biasa manusia terhadap keadaan ini biasanya akan berkata dia akan berteriak, keluar rumah dan menepuknya, dan sebagainya.

Tetapi ketika saya bertanya kepada ChatGPT, ia menawarkan jawaban yang diatur secara cermat yang merangkum pertanyaan dan kemudian menawarkan beberapa kemungkinan hasil logis - gagal menjawab pertanyaan sebenarnya.

Tangkapan skrin ChatGPT menjawab soalan ujian Voight-Kampff

Jawapannya sangat teratur dan logik, memberikan perasaan yang sangat tidak lazim, yang tidak diingini.

6. ChatGPT Terlalu Terperinci dan Komprehensif

ChatGPT telah dilatih dengan cara memberikan ganjaran pada mesin ketika manusia merasa puas dengan jawabannya.

Pemeriksa manusia cenderung memilih jawapan yang mempunyai lebih banyak butiran.

Tetapi terkadang, seperti dalam konteks perubatan, jawapan terus adalah lebih baik daripada jawapan menyeluruh.

Ini bermaksud mesin perlu dipancing untuk menjadi kurang menyeluruh dan lebih langsung apabila kualiti-kualiti tersebut penting.

Dari OpenAI:

"Isu-isu ini timbul daripada kecenderungan dalam data latihan (pemilik kandungan lebih suka jawapan yang lebih panjang yang kelihatan lebih komprehensif) dan isu pengoptimuman berlebihan yang sudah diketahui dengan baik."

7. ChatGPT Palsu (Melihat Fakta-fakta yang Tidak Ada)

Kertas penyelidikan yang tersebut di atas, Bertindak dengan Hampir Sebagaimana Pakar Manusia, menyatakan bahawa ChatGPT mempunyai kecenderungan untuk berbohong.

Ia melaporkan:

"Apabila menjawab soalan yang memerlukan pengetahuan profesional dari satu bidang tertentu, ChatGPT mungkin membuat fakta untuk memberikan jawapan..."

Sebagai contoh, dalam soal-soal undang-undang, ChatGPT mungkin menciptakan beberapa ketentuan hukum yang tidak ada untuk menjawab pertanyaan.

…Selain itu, apabila pengguna mengajukan pertanyaan yang belum memiliki jawaban yang ada, ChatGPT mungkin juga membuat fakta untuk memberikan respons. "

Laman web Futurism mendokumentasikan contoh di mana kandungan dihasilkan mesin yang diterbitkan di laman CNET mengandungi kesilapan dan penuh dengan "ralat bodoh".

CNET sepatutnya mengambil kira kemungkinan ini terjadi, kerana OpenAI mengeluarkan amaran mengenai output yang tidak tepat:

"ChatGPT kadang-kadang menulis jawapan yang kelihatan masuk akal tetapi tidak betul atau tidak masuk akal."

CNET mendakwa telah mengemukakan artikel yang dihasilkan mesin untuk ditinjau semula oleh manusia sebelum diterbitkan.

Salah satu masalah semasa ulasan manusia adalah isi kandungan ChatGPT direka untuk kedengaran secara meyakinkan betul, yang boleh menipu pemeriksa yang bukan pakar topik.

8. ChatGPT Tidak Semulajadi Kerana Ia Tidak Mempunyai Kepelbagaian

Kertas penyelidikan, Betapa Dekatnya ChatGPT dengan Pakar Manusia? juga mencatat bahawa komunikasi manusia boleh mempunyai makna tidak langsung, yang memerlukan pergeseran topik untuk memahaminya.

ChatGPT terlalu harfiah, yang menyebabkan jawapan kadang-kadang terlepas sasaran kerana AI terlepas pandang topik yang sebenar.

Penyelidik-penyelidik menulis:

"Respon ChatGPT secara umum terfokus secara ketat pada pertanyaan yang diberikan, sedangkan manusia cenderung bercabang dan mudah beralih ke topik lain."

Dalam hal kandungan yang kaya, manusia lebih berbeza-beza dari pelbagai aspek, manakala ChatGPT lebih suka memberi tumpuan kepada soalan itu sendiri.

Manusia dapat menjawab makna tersembunyi di balik pertanyaan berdasarkan naluri dan pengetahuan mereka sendiri, tetapi ChatGPT mengandalkan kata-kata literal dari pertanyaan yang ada…”

Manusia lebih mudah untuk menyimpang dari soalan secara harfiah, yang penting untuk menjawab soalan "apa khabar" jenis.

Contohnya, jika saya bertanya:

"Kuda terlalu besar untuk menjadi haiwan kesayangan rumah. Bagaimana dengan rakun?"

Soalan di atas tidak bertanya jika rakun adalah haiwan kesayangan yang sesuai. Pertanyaannya adalah mengenai saiz haiwan tersebut.

ChatGPT memberi tumpuan kepada kesesuaian rakun sebagai haiwan kesayangan sebaliknya daripada memfokuskan kepada saiznya.

Capture skrin Jawapan ChatGPT yang Terlalu Harfiah

9. ChatGPT mempunyai Pemihakan Kepada Kebijaksanaan Netral

Hasil dari ChatGPT pada umumnya adalah netral dan informatif. Bias dalam hasil tersebut dapat terlihat membantu tetapi tidak selalu demikian.

Kertas penyelidikan yang kita bahas baru-baru ini mencatat bahawa neutraliti adalah sifat yang tidak diingini apabila berkaitan dengan soalan-soalan undang-undang, perubatan, dan teknikal.

Manusia cenderung memihak pada satu sisi ketika memberikan pendapat seperti ini.

10. ChatGPT Telah Dirangka Untuk Menjadi Formal

Output ChatGPT mempunyai kecondongan yang menghalangnya daripada memberikan jawapan yang bersifat santai dan menggunakan ungkapan-ungkapan biasa. Sebaliknya, jawapannya cenderung formal.

Manusia, sebaliknya, cenderung menjawab soalan dengan gaya lebih santai, menggunakan bahasa sehari-hari dan bahasa pasar - sebaliknya daripada formal.

ChatGPT tidak menggunakan singkatan seperti GOAT atau TL;DR.

Jawapan-jawapan juga tiada contoh-contoh ironi, metafora, dan humor, yang boleh membuat kandungan ChatGPT terlalu formal untuk beberapa jenis kandungan.

Penyelidik-penyelidik menulis:

"... ChatGPT suka menggunakan konjungsi dan kata keterangan untuk menyampaikan alur pemikiran yang logis, seperti "secara umum", "di sisi lain", "Pertama-tama, ... , Kedua, .... , Terakhir" dan sebagainya."

11. ChatGPT Masih Dalam Latihan

ChatGPT masih dalam proses latihan dan peningkatan.

OpenAI mengesyorkan agar semua kandungan yang dihasilkan oleh ChatGPT dikaji semula oleh manusia, menjadikannya sebagai amalan terbaik.

OpenAI mengesyorkan agar manusia terlibat:

"Di mana mungkin, kami mengesyorkan agar semakan oleh manusia dilakukan sebelum output digunakan dalam praktis."

Ini adalah sangat kritikal terutamanya di domain yang besar dan untuk generasi kod.

Manusia harus sedar akan kelemahan sistem, dan mempunyai akses ke maklumat yang diperlukan untuk mengesahkan hasil (contohnya, jika aplikasi menjalankan ringkasan nota, manusia harus mempunyai akses mudah kepada nota asal untuk dirujuk semula).

Ciri-ciri Tak Diingini ChatGPT

Jelas bahawa terdapat banyak isu dengan ChatGPT yang menjadikannya tidak sesuai untuk pembangunan kandungan tanpa pengawasan. Ia mengandungi kecenderungan dan gagal untuk mencipta kandungan yang terasa semulajadi atau mengandungi pandangan jujur.

Selain itu, ketidakmampuannya untuk merasakan atau membuat pemikiran asli menjadikannya pilihan yang buruk untuk menghasilkan ungkapan seni.

Pengguna sepatutnya menggunakan panduan terperinci untuk menghasilkan kandungan yang lebih baik daripada kandungan awal yang selalunya dihasilkan.

Terakhir, tinjauan manusia terhadap kandungan yang dihasilkan oleh mesin tidak selalu mencukupi, kerana kandungan ChatGPT direka untuk kelihatan betul, walaupun ia sebenarnya tidak betul.

Ini bermakna pentingnya fungsi penilai manusia yang berkaitan dengan topik khusus dapat membezakan antara kandungan yang betul atau salah.