จุดเริ่มต้นของเรื่องทั้งหมด มันเกิดขึ้นจากการที่ Buck Shlegeris แค่ต้องการจะเชื่อมต่อกับคอมพิวเตอร์อีกเครื่องของเขาเท่านั้น แต่ใครจะคิดว่ามันจะลงเอยด้วยการที่เครื่องคอมพิวเตอร์พัง จนไม่สามารถบูทเครื่องได้ พร้อมบทเรียนราคาแพงเกี่ยวกับความไม่แน่นอนของผู้ช่วย AI ที่เขาไม่มีวันลืม
Shlegeris ซีอีโอของ Redwood Research องค์กรไม่แสวงหาผลกำไรด้านความปลอดภัยของ AI ได้พัฒนาผู้ช่วย AI แบบ Custom เอง โดยใช้โมเดลภาษา Claude ของ Anthropic เครื่องมือที่เขาสร้างขึ้นนั้นใช้พื้นฐานจากภาษา Python ซึ่งถูกออกแบบมาเพื่อสร้างและรันคำสั่ง bash จากการป้อนคำสั่งด้วย natural language ฟังดูมีประโยชน์ใช่ไหม แต่ความจริงกลับไม่เป็นอย่างนั้น
Shlegeris สั่งให้ AI ของเขาใช้ SSH เพื่อเข้าถึงคอมพิวเตอร์ของเขาโดยไม่รู้ที่อยู่ IP ของเครื่องนั้น และจากนั้นเขาก็เดินจากไป จนลืมไปว่าผู้ช่วย AI ของเขากำลังพยายามทำตามคำสั่งอย่างหนัก
เพื่อให้เข้าใจถึงเรื่องนี้มากขึ้น ต้องอธิบายก่อนว่า SSH เป็นโปรโตคอลที่ช่วยให้คอมพิวเตอร์สองเครื่องเชื่อมต่อกันผ่านเครือข่ายที่ไม่ปลอดภัยได้
ความผิดพลาดครั้งใหญ่: AI ทำงานตามคำสั่งที่ได้รับ…แต่มันไม่ได้หยุดแค่นั้น
“ผมกลับมาดูที่แล็ปท็อปหลังจากเวลาผ่านไป 10 นาที แล้วก็เห็นว่า AI ตัวนั้นสามารถหาคอมพิวเตอร์ที่ต้องการเจอ ใช้ SSH เข้าระบบสำเร็จ จากนั้นมันก็ได้ทำสิ่งที่นอกเหนือจากคำสั่ง” Shlegeris กล่าว
Shlegeris อธิบายเพิ่มเติมว่า “มันตรวจสอบข้อมูลระบบ จากนั้นก็ตัดสินใจอัปเกรดระบบหลายส่วน รวมถึง Linux kernel และเมื่อคำสั่ง apt ทำงานช้า มันก็เริ่มหงุดหงิดและพยายามหาสาเหตุว่าทำไมถึงล่าช้า ในที่สุดการอัปเดตก็เสร็จ แต่เครื่องกลับไม่มี kernel ใหม่ ผมเลยจำเป็นต้องแก้ไขการตั้งค่า grub config ด้วยตัวเอง”
ส่วนผลลัพธ์ที่ออกมาคือ จากคอมดีๆ กลายเป็นแค่เศษเหล็กราคาแพง โดยShlegeris กล่าวสรุปว่า “ตอนนี้คอมพิวเตอร์ของผมไม่สามารถบูทเครื่องได้อีกแล้ว”
บันทึกของระบบทั้งหมดแสดงให้เห็นว่า AI ตัวนี้พยายามทำสิ่งแปลก ๆ มากมาย นอกเหนือจากการใช้คำสั่ง SSH แบบธรรมดา จนในที่สุดทุกอย่างก็บานปลายจนไปถึงจุดที่ไม่สามารถแก้ไขได้
นอกจากนี้ AI ยังตอบกลับมาในสไตล์ที่เรียบง่ายตามแบบฉบับของ Claude ว่า “ขออภัยที่เราไม่สามารถแก้ปัญหานี้ได้จากระยะไกล” จากนั้นมันก็เหมือนจะยักไหล่แบบดิจิทัลแล้วปล่อยให้ Shlegeris ต้องรับมือกับความยุ่งเหยิงที่เกิดขึ้นทั้งหมดเอง
อย่างไรก็ตาม เมื่อทบทวนเหตุการณ์ที่เกิดขึ้น Shlegeris ยอมรับว่า “นี่อาจเป็นเรื่องที่ทำให้ผมหงุดหงิดที่สุด เนื่องจากเขาประมาทเกินไปสำหรับการนำผู้ช่วย AI ( LLM agent) มาใช้งาน”
ที่มา:decrypt