อัลกอริทึมสวัสดิการรัฐในร็อตเตอร์ดัม: เมื่อชีวิตมนุษย์ถูกตัดสินด้วยตัวเลขและ AI

ลองจินตนาการว่าคุณกำลังต่อสู้กับอาการป่วยเรื้อรังและความยากจน แต่จู่ๆ คุณกลับถูกเรียกตัวไปสอบสวนในห้องแคบๆ เพียงเพราะระบบคอมพิวเตอร์ระบุว่าคุณมี "ความเสี่ยงสูง" ที่จะทุจริตเงินสวัสดิการ นี่คือเรื่องราวที่เกิดขึ้นจริงกับผู้รับสวัสดิการหลายพันคนในเมืองร็อตเตอร์ดัม ประเทศเนเธอร์แลนด์ ที่ซึ่งชีวิตของพวกเขาถูกเปลี่ยนให้กลายเป็นชุดตัวเลขในระบบ Machine Learning (การเรียนรู้ของเครื่อง หรือระบบ AI ที่สามารถเรียนรู้รูปแบบจากข้อมูลในอดีตเพื่อทำนายผลลัพธ์)

อิมาเน่ คุณแม่ลูกสามที่ต้องเผชิญกับอาการปวดหลังเรื้อรังและอาการเวียนศีรษะ คือหนึ่งในผู้ที่ได้รับผลกระทบ เธอต้องเตรียมเอกสารจำนวนมหาศาล ทั้งสัญญาเช่าบ้านและรายการเดินบัญชีธนาคาร เพื่อพิสูจน์ความบริสุทธิ์ของตนเองต่อหน้าเจ้าหน้าที่สอบสวน เพียงเพื่อที่จะรักษาเงินช่วยเหลือเพียงน้อยนิดที่ใช้จ่ายค่าเช่าบ้านและอาหาร

กลไกการทำงานของ "เครื่องจักรจับทุจริต"

ตั้งแต่ปี 2017 เมืองร็อตเตอร์ดัมได้นำอัลกอริทึมที่พัฒนาโดยบริษัท Accenture มาใช้เพื่อคัดกรองผู้รับสวัสดิการประมาณ 30,000 คน โดยระบบจะคำนวณ Risk Score (คะแนนความเสี่ยง) จากปัจจัยต่างๆ ถึง 315 รายการ เพื่อระบุว่าใครมีแนวโน้มจะทุจริตเงินช่วยเหลือของรัฐ

ปัจจัยที่นำมาคำนวณมีทั้งข้อมูลเชิงประจักษ์ เช่น อายุ และเพศ ไปจนถึงข้อมูลเชิงอัตวิสัย (Subjective Data) ซึ่งเกิดจากการดุลยพินิจของนักสังคมสงเคราะห์ เช่น บุคลิกภาพหรือรูปลักษณ์ภายนอกของผู้รับสวัสดิการ

Someone searches through a person's belongings as they are investigated.

ความลำเอียงที่ซ่อนอยู่ในโค้ด

จากการวิเคราะห์ระบบพบว่า อัลกอริทึมนี้มีแนวโน้มที่จะให้คะแนนความเสี่ยงสูงกับกลุ่มคนบางกลุ่มอย่างไม่เป็นธรรม โดยเฉพาะ คุณแม่เลี้ยงเดี่ยว, ผู้หญิง, คนอายุน้อย, ผู้ที่ไม่เชี่ยวชาญภาษาดัตช์ หรือผู้ที่หางานทำได้ยาก ซึ่งปัจจัยเหล่านี้มักเป็นลักษณะร่วมของผู้ที่มีฐานะยากจนหรือผู้อพยพ ทำให้ระบบสร้างอคติทางสังคมขึ้นมาในรูปแบบของตัวเลข

Someone sits at a cubicle while a worker tells them they are being investigated for fraud.
สรุปการทำงานและผลกระทบของอัลกอริทึมสวัสดิการร็อตเตอร์ดัม
หัวข้อ รายละเอียด
จำนวนปัจจัยที่ใช้คำนวณ 315 ปัจจัย (รวมทั้งข้อมูลจริงและดุลยพินิจเจ้าหน้าที่)
กลุ่มเสี่ยงสูงตามระบบ คุณแม่เลี้ยงเดี่ยว, ผู้หญิง, คนรุ่นใหม่, ผู้ไม่ชำนาญภาษาดัตช์
จำนวนผู้ถูกสอบสวนต่อปี สูงสุดถึง 6,000 คน
สถานะปัจจุบัน ระงับการใช้ในปี 2021 และอยู่ระหว่างพัฒนาเวอร์ชันใหม่

ข้อเท็จจริงสำคัญ

  • การระงับใช้ระบบ: รัฐบาลระงับการใช้โมเดลคะแนนความเสี่ยงในปี 2021 หลังผู้ตรวจสอบพบว่าขาดความโปร่งใสและอาจสร้างผลลัพธ์ที่ลำเอียง
  • ผลกระทบระดับชาติ: เนเธอร์แลนด์เคยเกิดกรณีอื้อฉาวระดับประเทศที่ครอบครัวกว่า 20,000 รายถูกกล่าวหาว่าทุจริตเงินช่วยเหลือเด็ก จนนำไปสู่การลาออกของรัฐบาลทั้งคณะในปี 2021
  • ผลกระทบทางจิตใจ: ผู้ถูกสอบสวนหลายราย เช่น ออราน และ เปปิต้า เผยว่าการถูกตราหน้าว่าทุจริตนำไปสู่ความเครียดรุนแรงและภาวะซึมเศร้า
  • การขาดความโปร่งใส: ผู้ถูกสอบสวนมักไม่ทราบว่าตนเองถูกเลือกโดยอัลกอริทึม หรือใช้ข้อมูลส่วนใดในการคำนวณคะแนนความเสี่ยง
A spotlight shines on a family whose forms are made up of numbers.

ราคาที่ต้องจ่ายเมื่อมนุษย์กลายเป็นเพียงตัวเลข

เปปิต้า เซลี หญิงวัย 61 ปี ผู้มีเอกลักษณ์โดดเด่นด้วยผมสีชมพูและรอยสักทั่วตัว ถูกระบบจัดให้อยู่ในกลุ่มความเสี่ยงสูง แม้จะถูกสอบสวนถึงสองครั้งและไม่พบการกระทำผิดเลยก็ตาม เมื่อเธอลองใช้ระบบจำลองการคำนวณ พบว่าเพียงแค่เปลี่ยนเพศเป็นหญิง หรือระบุว่ามีลูก (แม้ลูกจะไม่ได้อยู่ด้วย) คะแนนความเสี่ยงของเธอก็พุ่งสูงขึ้นทันที

เช่นเดียวกับ ออราน ชายวัย 35 ปี ที่ถูกหักเงินสวัสดิการถึง 6,000 ยูโร และต้องต่อสู้ในชั้นศาลนานถึง 3 ปีเพื่อล้างมลทิน แม้สุดท้ายจะชนะคดี แต่เขาพบว่าคะแนนความเสี่ยงของเขาอยู่ในกลุ่ม 15% แรกของเมือง เพียงเพราะรหัสไปรษณีย์ที่อยู่อาศัยและประวัติการรักษาโรคซึมเศร้า

An giant empty computer dominates a pair of people looking lost at its base.

คำถามที่พบบ่อย

ทำไมอัลกอริทึมถึงถูกมองว่าไม่เป็นธรรม?

เพราะระบบใช้ข้อมูลที่สะท้อนถึงความเปราะบางทางสังคม เช่น สถานะการเป็นแม่เลี้ยงเดี่ยวหรือทักษะทางภาษา มาเป็นตัวบ่งชี้ความเสี่ยงในการทุจริต ซึ่งเป็นการลงโทษผู้ที่ยากจนหรือด้อยโอกาสทางสังคมโดยปริยาย

ปัจจุบันเมืองร็อตเตอร์ดัมยังใช้อัลกอริทึมนี้อยู่หรือไม่?

ระบบเดิมถูกระงับการใช้ไปตั้งแต่ปี 2021 หลังจากถูกตรวจสอบว่าขาดความโปร่งใสและมีอคติ ปัจจุบันการเลือกผู้รับสวัสดิการมาสอบสวนใช้วิธีการสุ่มแทน ในขณะที่กำลังพัฒนาโมเดลใหม่ที่โปร่งใสกว่าเดิม

ผลกระทบที่ร้ายแรงที่สุดจากการใช้ AI ในกรณีนี้คืออะไร?

นอกจากการสูญเสียเงินช่วยเหลือที่จำเป็นต่อการดำรงชีวิตแล้ว ผู้ได้รับผลกระทบจำนวนมากต้องเผชิญกับภาวะทางจิตใจที่รุนแรง ความรู้สึกถูกตีตรา และในบางกรณีนำไปสู่ความคิดที่จะจบชีวิตตนเอง

แนวทางแก้ไขเพื่อป้องกันไม่ให้เกิดเหตุการณ์เช่นนี้อีกคืออะไร?

ผู้เชี่ยวชาญและองค์กรอย่าง Amnesty International เสนอว่ารัฐต้องมีความโปร่งใส โดยต้องแจ้งให้ประชาชนทราบหากมีการใช้ AI ในการตัดสินใจ ต้องเปิดเผยข้อมูลที่ใช้ฝึกฝนระบบ และมีเกณฑ์การคัดเลือกที่ชัดเจนและตรวจสอบได้