ความท้าทายใหม่ยุค Generative AI งานวิจัยพบคนเก่งทำงานได้แย่ลง หากใช้ ChatGPT

ที่ผ่านมา Generative AI ต่างๆ เช่น ChatGPT, Gemini, Claude, etc. มีการพัฒนาความสามารถขึ้นเป็นอย่างมาก เราได้เห็นประโยชน์ของการใช้ Generative AI เหล่านี้ในการช่วยทำงานได้หลากหลายประเภท

นอกจากนี้ยังมีงานวิจัยออกมาอยากต่อเนื่อง ว่า Generative AI นอกจากจะช่วยเพิ่มผลิตภาพในการทำงานของมนุษย์แล้ว ยังช่วยเพิ่มมูลค่าทางเศรษฐกิจได้อย่างมากอีกด้วย

 

 

อย่างไรก็ดี งานวิจัยล่าสุด ซึ่งเป็นงานวิจัยที่ผู้เขียน ทำร่วมกับ รศ.ดร.ธนะพงษ์ โพธิปิติ และ ผศ.ดร.ธานี ชัยวัฒน์ จากคณะเศรษฐศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย เรื่อง Experimenting with Generative AI: Does ChatGPT Really Increase Everyone’s Productivity? (โดยงานวิจัยชิ้นนี้ได้รับทุนวิจัยจากสถาบันวิจัยป๋วย อึ๊งภากรณ์ ธนาคารแห่งประเทศ ไทย) พบว่า คนเก่งทำงานได้แย่ลงได้เมื่อใช้ ChatGPT

งานวิจัยนี้ได้ทำการจำลองโดยใช้นิสิตนักศึกษาจากจุฬาลงกรณ์มหาวิทยาลัยและมหาวิทยาลัยธรรมศาสตร์ โดยมีการให้ทำโจทย์ ด้านการคิดวิเคราะห์ (โดยให้ตอบเป็นภาษาไทย) และโจทย์ด้านการวิเคราะห์ข้อมูลและเศรษฐมิติ (โดยใช้ Stata) 

 

 

 

การทดลองในงานวิจัยนี้แบ่งออกเป็น 2 ส่วน ส่วนแรกคือโจทย์ ด้านการคิดวิเคราะห์ ซึ่งโจทย์จะแบ่งออกเป็น (i) การระดมความคิด (Brainstorming), (ii) การแสดงความคิดเห็น (Providing Feedback), (iii) การเขียน (Writing)  ในที่นี้คือให้เขียน Tweet, และ (iv)

การสรุปบทความ (Summarizing) ซึ่งนิสิตนักศึกษาจะทำโจทย์ 2 ชุดที่มีความยาก เท่าเทียมกัน โดยโจทย์ชุดหนึ่งจะให้ทำโดยไม่สามารถใช้ ChatGPT และโจทย์อีกชุดหนึ่งจะให้ทำโดยอนุญาตให้ใช้ ChatGPT ได้ ซึ่งนิสิตนักศึกษาสามารถใช้ Internet ได้ตลอดการทำโจทย์ทั้ง 2 ชุด (แต่ไม่ได้รับอนุญาตให้ใช้ Generative AI ประเภท LLM ตัวอื่นๆ ที่เข้าถึงได้ทาง Internet)

ส่วนที่ 2 คือโจทย์การวิเคราะห์ข้อมูลและเศรษฐมิติ ซึ่งจะแบ่งออกเป็น (i) การแสดงข้อมูลด้วยแผนภาพหรือรูปภาพ (Data Visualization), (ii) การทดสอบสมมติฐาน (Hypothesis Testing), (iii) การวิเคราะห์สมการถดถอย (Regression Analysis), และ (iv) การแก้สูตรคณิตศาสตร์ (Math Derivation) เช่นเดียวกับในส่วนแรก นิสิตนักศึกษาจะทำโจทย์ชุดหนึ่งโดยไม่สามารถใช้ ChatGPT ได้ และทำโจทย์อีกชุดหนึ่งโดยใช้ ChatGPT ได้

 

ในการทำโจทย์แต่ละชุดจะมีการจับเวลา โจทย์จะได้รับการตรวจและให้คะแนนความถูกต้องโดยผู้เชี่ยวชาญ นิสิตนักศึกษา จะได้เงินค่าตอบแทนที่แปรผันตามคะแนนที่ได้และแปรผกผันกับเวลาที่ใช้ในการทำโจทย์ หลังจากทำโจทย์เสร็จแล้วนิสิตนักศึกษาจะตอบแบบสอบถามที่เกี่ยวกับทักษะของตัวเอง

ผลการทดลองพบว่า โดยเฉลี่ยแล้ว เมื่อใช้ ChatGPT นิสิตนักศึกษาทำคะแนนได้ดีขึ้น และใช้เวลาน้อยลง ทั้งโจทย์ด้านการคิดวิเคราะห์ และ โจทย์การวิเคราะห์ข้อมูลและเศรษฐมิติ

นอกจากนี้ พบว่านิสิตนักศึกษาที่มีทักษะ ดิจิทัลดีจะมีโอกาสทำโจทย์การวิเคราะห์ข้อมูลและเศรษฐมิติได้ดีขึ้นเมื่อใช้ ChatGPT

อย่างไรก็ดี เมื่อพิจารณาลงไปดูในรายละเอียด พบว่าสำหรับโจทย์ด้านการคิดวิเคราะห์ มีนิสิตนักศึกษาถึง 34% ที่ได้คะแนนเท่าเดิม หรือ น้อยลง เมื่อใช้ ChatGPT และสำหรับโจทย์ด้านการวิเคราะห์ข้อมูลและเศรษฐมิติ มีนิสิต นักศึกษาถึง 42% ที่ได้คะแนนเท่าเดิมหรือน้อยลงเมื่อใช้ ChatGPT

และหากเปรียบเทียบกลุ่มที่ได้คะแนนดีขึ้นเมื่อใช้ ChatGPT พบว่า กลุ่มที่ได้คะแนนไม่ดีขึ้น คือ กลุ่มที่มีคะแนนจากการเรียนวิชาเศรษฐมิติเบื้องต้นที่ดีกว่า และมี GPAX ที่สูงกว่า จากผลการวิจัยนี้สรุปได้ว่า สำหรับเด็กเก่งแล้วหากไม่ใช้ ChatGPT จะมีโอกาสทำงานได้ผลลัพธ์ที่ดีกว่า

ผู้เขียนได้ศึกษาเพิ่มเติมจากงานวิจัยอื่น พบว่า มีการทดลองที่ใกล้เคียงกัน โดย Choi and Schwarcz (2024) แต่เป็นการให้นักศึกษาวิชากฎหมาย ที่มหาวิทยาลัยในสหรัฐอเมริกาลองใช้ ChatGPT ในการทำข้อสอบเทียบกับการทำข้อสอบโดยไม่ใช้ ChatGPT

ผลการวิจัยพบว่า สำหรับข้อสอบแบบปรนัย (Multiple Choices) ChatGPT ช่วยให้นักศึกษาทำข้อสอบได้ดีขึ้น แต่สำหรับข้อสอบอัตนัย (Essay) ChatGPT ช่วยให้เด็กไม่เก่งทำคะแนนได้ดีขึ้น แต่ทำให้เด็กเก่งทำคะแนนได้แย่ลง

ทำไมถึงเป็นเช่นนี้? แม้ ChatGPT จะเก่งหลายอย่าง แต่ก็ยังมีงานหลายสิ่งที่ ChatGPT ไม่ได้แตกฉานมากนัก เช่น การวิเคราะห์ภาษาไทย (ที่ไม่ได้มี Training Data มากเท่าภาษาอังกฤษ) หรือ การใช้ Stata Programming (ที่ไม่ได้ใช้กันแพร่หลายมากเท่า Python) หรือ การวิเคราะห์โจทย์กฎหมายที่แยบยล

การที่คนไม่เก่งมาใช้ ChatGPT ทำงานเหล่านี้ก็จะทำให้พอทำงานถูไถไปได้ทำแบบพอส่งได้ แต่การที่คนเก่ง ที่จริงๆ แล้วทำงานเหล่านี้ได้กว่า ChatGPT นำ ChatGPT มาใช้ แล้วมิได้ตรวจทาน หรือ พยายามยกระดับผลที่ได้จาก ChatGPT มาทำให้ดีขึ้น ก็จะทำให้ผลงานออกมาแย่ลง

เพราะฉะนั้นแม้ปัจจุบันจะเป็นยุค AI เฟื่องฟู แต่ทักษะของมนุษย์ยังคงมีความสำคัญ เพื่อที่จะแยกแยะผลลัพธ์ที่ดีและไม่ดีที่ได้จาก AI และรู้จักยกระดับผลลัพธ์ที่ได้จาก AI ให้ดีขึ้น ดังนั้นการใช้ AI ในยุค AI เฟื่องฟูจึงควรเป็นการใช้ AI แบบมีสติ

 

References:

• Nakavachara, V., Potipiti, T., & Chaiwat, T. (2024). Experimenting with generative AI: Does ChatGPT Really Increase Everyone’s Productivity? arXiv. https://arxiv.org/abs/2403.01770 

 

• Choi, J. H., & Schwarcz, D. (2024). AI assistance in legal analysis: An empirical study. Journal of Legal Education, 73.