คุณเคยสังเกตไหมว่า chatbot AI มักจะหายไประหว่างการสนทนาหรือพูดง่าย ๆ ว่ามันไม่สามารถจัดการกับข้อความที่ป้อนเข้าไปที่มีความยาวเกินไปได้ นั่นเป็นเพราะแต่ละโมเดลมีข้อจำกัดในเรื่องของความสามารถในการประมวลผล
และมันก็เริ่มประสบปัญหาเมื่อเกินขีดจำกัดนั้นดูแล้วก็ค่อนข้างเหมือนกับที่พวกเขาได้รับความทุกข์ทรมานจากโรคสมาธิสั้นทางดิจิทัล แต่สิ่งนี้สามารถเปลี่ยนแปลงได้ในไม่ช้าด้วยวิธีการใหม่ในการเพิ่มขีดความสามารถของ LLM
LLM ปัจจุบันมีความสามารถตาม context ที่จำกัด ตัวอย่างเช่น ChatGPT ทำการเข้าถึง context ได้เพียง 8,000 โทเค็น ในขณะที่ Claude ทำได้ถึง 100,000 โทเค็น โดยที่โทเค็นนั้นเป็นหน่วยพื้นฐานของข้อความหรือรหัสที่ LLM AI ใช้ในการประมวลผลและสร้างภาษา
ซึ่งจำกัดจำนวนข้อมูลพื้นฐานที่พวกเขาสามารถควบคุมได้เมื่อกำหนดคำตอบ โดยทาง Abacus AI ได้พัฒนาวิธีการที่มีการกล่าวอ้างว่าเพิ่มความยาว context ที่ใช้ได้ถึง 2 เท่าสำหรับ LLM แบบ open-source แบบเดียวกับ Llama ของ Meta โดยไม่มีการลดทอนความแม่นยำของตัวโมเดลในการใช้งานจริง
เทคนิคของพวกเขาเกี่ยวข้องกับการ “ปรับขนาด” การฝังตำแหน่งที่ติดตามตำแหน่งของคำในข้อความ input ตามข้อมูลจาก Github page ของพวกเขา
ทาง Abacus AI อ้างว่าวิธีการปรับขนาดของพวกเขาจะเพิ่มจำนวนโทเค็นที่โมเดลสามารถจัดการได้เป็นอย่างมาก
นักวิจัยได้ประเมินตัวแปรของ LlaMA 2 ตัวที่ปรับขนาดตามงานต่าง ๆ เช่น ตำแหน่ง substring และ open-book QA ตัวของสเกลโมเดล 16 จะรักษาความแม่นยำในตัวอย่างในโลกแห่งความเป็นจริงได้ถึง 16,000 คำในบริบท เทียบกับเพียง 2,000 คำในตัวพื้นฐานของ Llama มันยังแสดงให้เห็นถึงความสอดคล้องกันที่คำศัพท์มากกว่า 20,000 คำซึ่งเป็นสิ่งที่ไม่สามารถทำได้ด้วยเทคนิค fine-tuning
ความสำคัญของส่วนขยาย context อาจจะยังไม่สามารถพูดให้มันดูดีเกินจริงได้ ตัวหน้าต่าง context ที่แคบทำให้โมเดลมีความแม่นยำแต่ใช้งานไม่ได้จริง ๆ ในงานที่ซับซ้อนซึ่งต้องใช้ background บางอย่าง ในทางกลับกัน ด้วย context ที่ขยายออกไป LLM สามารถประมวลผลและสร้างการตอบกลับที่ดีขึ้น
แต่อาจต้องใช้เวลานานขึ้นในการดำเนินการดังกล่าวหรือส่งคืนผลลัพธ์ที่เหนือกว่า การจัดการ context ที่ยาวขึ้นอย่างมีประสิทธิภาพอาจทำให้ LLM สามารถดูดซับเอกสารทั้งหมดหรือหลาย ๆ เอกสารมาเป็น background เมื่อสร้างข้อความ สิ่งนี้อาจนำไปสู่ผลลัพธ์ที่มีพื้นฐานความรู้มากขึ้นและสอดคล้องกันในการสนทนาที่ยาวนาน
แต่ถึงยังไงก็ยังคงจำเป็นที่จะต้องทำ fine-tuning เนื่องจากการปรับขนาดเพียงอย่างเดียวไม่ได้รับประกันผลลัพธ์ที่มีคุณภาพสูง ทีมงาน Abacus กำลังสำรวจรูปแบบการเข้ารหัสตำแหน่งขั้นสูงจากเอกสารล่าสุดเพื่อขยายขีดความสามารถของบริบทเพิ่มเติม
ที่มา : DeCrypt