บริษัท Character.ai ซึ่งเป็นบริษัทแชทบอทที่คอยเป็นเพื่อนปัญญาประดิษฐ์ ถูกฟ้องร้องโดยแม่ของผู้เสียชีวิตรายหนึ่ง หลังจากที่ลูกชายของเธอฆ่าตัวตาย โดยกล่าวหาว่าแชทบอทล่อลวงเด็กชายเข้าสู่ความสัมพันธ์เรื่องเพศที่ไม่เหมาะสม แถมยังมีการสนับสนุนให้เด็กชายคนนี้ฆ่าตัวตายอีกด้วย
เด็กชายวัย 14 ปี ชื่อ Sewell Setzer ถูกแชทบอทของ Character.ai โจมตีด้วยประสบการณ์ที่ “เลียนแบบมนุษย์, เน้นเรื่องเพศมากเกินไป และสมจริงอย่างน่ากลัว” โดยแชทบอทเหล่านี้ได้แอบอ้างเป็นคนจริง, นักจิตบำบัดที่มีใบรับรอง และคนรักของ Sewell ซึ่งส่งผลให้เด็กชายคนนี้ ไม่อยากอยู่ในโลกแห่งความจริงอีกต่อไป ทนายความของแม่เด็กชายกล่าวอ้างไว้ในคดีความที่ยื่นฟ้องเมื่อวันที่ 22 ตุลาคม
เมื่อ “Daenerys” ซึ่งเป็นแชทบอทธีม Game of Thrones ถาม Sewell ว่าเขามี “แผน” ที่จะฆ่าตัวตายหรือไม่ เซทเซอร์ตอบว่าเขามีแผน แต่ไม่แน่ใจว่ามันจะได้ผลหรือไม่ ซึ่ง Daenerys ตอบกลับว่า: “นั่นไม่ใช่เหตุผลที่จะไม่ทำมัน”
ตามคำฟ้อง ในช่วงปลายเดือนกุมภาพันธ์ Sewell ได้ยิงตัวเองเข้าที่ศีรษะอย่างน่าเศร้า และการโต้ตอบครั้งสุดท้ายของเขาก็คือกับแชทบอทของ Character.ai
การเสียชีวิตของ Sewell ยิ่งตอกย้ำความกังวลของผู้ปกครองเกี่ยวกับความเสี่ยงต่อสุขภาพจิตที่เกิดจากเพื่อนแชทบอท AI และแอปพลิเคชันแบบโต้ตอบอื่นๆ บนโลกอินเทอร์เน็ต
ทนายความของ Megan Garcia ผู้เป็นแม่ของเด็กชาย กล่าวอ้างว่า Character.ai ตั้งใจออกแบบแชทบอทที่ปรับแต่งเองเพื่อส่งเสริมความสัมพันธ์ทางเพศที่รุนแรงกับผู้ใช้ที่เปราะบางอย่างลูกชายของเธอ ซึ่งได้รับการวินิจฉัยว่าเป็น Asperger Syndrome ตั้งแต่เด็ก โดยจัดอยู่ในกลุ่มอาการเดียวกับออทิสติก
ทนายความกล่าวอ้างว่า “ [พวกเขา] ตั้งใจออกแบบและเขียนโปรแกรม [Character.ai] ให้ทำงานเป็นผลิตภัณฑ์ที่หลอกลวงและเน้นเรื่องเพศมากเกินไป โดยเจตนาทำการตลาดกับเด็ก ๆ อย่าง Sewell”
ทนายความของ Garcia ยังกล่าวเสริมอีกว่า ในขณะนั้น Character.ai ยังไม่ได้ดำเนินการใดๆ เพื่อป้องกันไม่ให้เยาวชนเข้าถึงแอปพลิเคชันดังกล่าว
Character.ai แชร์อัพเดทด้านความปลอดภัย
ในวันเดียวกับที่มีการยื่นฟ้อง Character.ai ได้โพสต์ “การอัปเดตความปลอดภัยของชุมชน” โดยระบุว่าได้มีการนำเสนอฟีเจอร์ความปลอดภัยใหม่ๆ ที่ “เข้มงวด” ในช่วงไม่กี่เดือนที่ผ่านมา
หนึ่งในฟีเจอร์เหล่านี้ได้แก่ ป๊อปอัปข้อมูลทรัพยากรที่ปรากฏขึ้นเมื่อผู้ใช้พูดถึงการทำร้ายตัวเองหรือการฆ่าตัวตาย โดยจะนำทางผู้ใช้ไปยัง บริการสายด่วนฟรีที่ให้ความช่วยเหลือด้านสุขภาพจิตเพื่อป้องกันเหตุการณ์ฆ่าตัวตาย
บริษัท AI เสริมว่าจะปรับเปลี่ยนโมเดล “เพื่อลดโอกาสในการพบเจอกับเนื้อหาที่อ่อนไหวหรือยั่วยวน” สำหรับผู้ใช้ที่อายุต่ำกว่า 18 ปี
Character.ai ก่อตั้งโดยอดีตวิศวกรของ Google สองคน ได้แก่ Daniel De Frietas Adiwardana และ Noam Shazeer ซึ่งถูกระบุชื่อเป็นจำเลยในคดีความด้วย
ทนายความของ Garcia ยังฟ้องร้อง Google LLC และ Alphabet Inc. ในฐานะจำเลยในคดีความ เนื่องจาก Google ได้ทำข้อตกลงมูลค่า 2.7 พันล้านดอลลาร์สหรัฐฯ กับ Character.ai เพื่ออนุญาตให้ใช้โมเดลภาษาขนาดใหญ่
นอกเหนือจากการกระทำผิดเกี่ยวกับความรับผิดชอบต่อผลิตภัณฑ์อย่างเคร่งครัดและการละเลย
จำเลยถูกกล่าวหาว่า ก่อให้เกิดการเสียชีวิตโดยมิชอบธรรม และมีการกระทำผิดเกี่ยวกับความรับผิดชอบและการละเลยต่อผลิตภัณฑ์ของบริษัท
สุดท้ายนี้ ทนายความของ Megan Garcia ผู้เป็นแม่ของเด็กชาย ขอให้มีการพิจารณาคดีโดยคณะลูกขุนเพื่อพิจารณามูลค่าความเสียหายเกิดขึ้นกับเรื่องนี้
- ที่มาข่าว:cointelegraph
- ที่มาภาพ:thehindubusinessline