Token ก้อนคำที่ AI เห็น

บทแรกเราเห็นแล้วว่า AI ทำงานด้วยการทาย คำต่อไป แต่คำว่า "คำ" ที่ AI เห็น ไม่ใช่ "คำ" ในแบบที่เราเข้าใจ บทนี้มาดูกันว่ามันคืออะไร

AI ไม่ได้อ่านทีละตัวอักษร

ตอนเราพิมพ์ข้อความให้ AI สิ่งแรกที่ระบบทำคือ หั่นข้อความเป็นก้อนๆ ก้อนพวกนี้ฝรั่งเรียกว่า token (อ่าน โท-เคน) ในบทนี้ ขอเรียกว่า ก้อนคำ

ก้อนคำไม่ตรงกับ "คำ" เป๊ะครับ บางทีคำเดียวของเราเป็นหลายก้อน บางทีหลายคำของ เราเป็นก้อนเดียว ขึ้นกับว่า AI เคยเห็นรูปแบบไหนบ่อยตอนฝึก

ตัวอย่างให้เห็นชัดๆ

ข้อความความหมายเดียวกัน ภาษาไทยกับภาษาอังกฤษถูกหั่นเป็นก้อนคำต่างกันชัดเจน ตัวเลขประมาณการ ขึ้นกับว่าใช้ AI ตัวไหน

• "Hello, how are you?" ประมาณ 6 ก้อน
• "สวัสดี สบายดีไหม" ประมาณ 10 ถึง 15 ก้อน
• "I love you" 3 ก้อน
• "ฉันรักเธอ" ประมาณ 6 ถึง 9 ก้อน

ภาษาไทยใช้ก้อนคำมากกว่าภาษาอังกฤษเสมอ แม้ความหมายเดียวกัน บางคำของไทยถูกหั่น ทีละตัวอักษรเลยด้วยซ้ำ

ทำไมภาษาไทยเปลืองก้อนคำกว่า

คำตอบสั้นๆ ครับ เพราะข้อความที่ AI ใช้ฝึก ส่วนใหญ่เป็นภาษาอังกฤษ

ตอนสร้าง AI บริษัทเอาข้อความเยอะมากมาฝึก ส่วนใหญ่เป็นภาษาอังกฤษ ระบบเลยเก่ง หั่นภาษาอังกฤษเป็นก้อนได้แม่นและประหยัด คำว่า morning เป็นก้อนเดียว เลย เพราะเจอบ่อย

ภาษาไทยเจอน้อยกว่ามาก ระบบหั่นไม่เก่งเท่า บางทีถึงขั้นต้องหั่นทีละตัวอักษร คำว่า สวัสดี ที่เราเห็นเป็นคำเดียว AI อาจมองเป็น 5 ก้อน ส ว ั ส ดี

ก้อนคำเกี่ยวกับการทายคำต่อไปยังไง

บทแรกบอกว่า AI ทาย "คำต่อไป" จริงๆ มันไม่ได้ทายคำต่อไป มันทาย ก้อนคำต่อไป

ทุกครั้งที่เครื่องสร้างคำตอบ มันดูก้อนคำที่มาก่อน แล้วทายว่าก้อนคำต่อไปน่าจะ เป็นก้อนไหน แล้วใส่ก้อนนั้นต่อท้าย แล้วทายก้อนต่อไปอีก ทำซ้ำจนจบประโยคหรือ จบคำตอบ

ที่บทแรกเรียกง่ายๆ ว่า "คำต่อไป" เพื่อให้เห็นภาพ จริงๆ คือ ก้อนคำต่อไป บางทีเป็นคำเต็ม บางทีเป็นแค่ครึ่งคำ บางทีเป็นแค่ตัวอักษร

สรุปบทนี้

• AI หั่นข้อความเป็นก้อนคำ (token) ก่อนทำอะไรกับมัน
• ก้อนคำไม่ตรงกับ "คำ" ของเราเป๊ะ บางทีคำเดียวของเราเป็นหลายก้อน
• ภาษาไทยถูกหั่นเป็นก้อนเล็กกว่าอังกฤษ ทำให้เปลืองก้อนคำกว่าเสมอ
• ที่บทแรกเรียกว่า "คำต่อไป" จริงๆ คือ "ก้อนคำต่อไป"

บทต่อไป กลับมาเรื่อง การทาย เครื่องเลือกก้อนคำต่อไปยังไง ทำไมถามเหมือนเดิม บางครั้งตอบเหมือนเดิม บางครั้งตอบไม่เหมือน มาดูปุ่มที่ชื่อ temperature