Token ก้อนคำที่ AI เห็น

บทแรกเราเห็นแล้วว่า AI ทำงานด้วยการทาย คำต่อไป แต่คำว่า "คำ" ที่ AI เห็น ไม่ใช่ "คำ" ในแบบที่เราเข้าใจ บทนี้มาดูกันว่ามันคืออะไร

AI ไม่ได้อ่านทีละตัวอักษร

ตอนเราพิมพ์ข้อความให้ AI สิ่งแรกที่ระบบทำคือ หั่นข้อความเป็นก้อนๆ ก้อนพวกนี้ฝรั่งเรียกว่า token (อ่าน โท-เคน) ในบทนี้ ขอเรียกว่า ก้อนคำ

ก้อนคำไม่ตรงกับ "คำ" เป๊ะครับ บางทีคำเดียวของเราเป็นหลายก้อน บางทีหลายคำของ เราเป็นก้อนเดียว ขึ้นกับว่า AI เคยเห็นรูปแบบไหนบ่อยตอนฝึก

ลองดูว่ามันหั่นยังไง

ในกล่องข้างล่าง เลือกตัวอย่างที่เตรียมไว้ หรือพิมพ์ข้อความเองก็ได้ จะเห็นว่า ข้อความเดียวกันใน 2 ภาษา หั่นเป็นจำนวนก้อนต่างกันเยอะมาก

ดูที่ตัวเลข tokens มุมขวาบนของแต่ละกล่อง เห็นชัดว่าภาษาไทยใช้ก้อนคำมากกว่า ภาษาอังกฤษเสมอ แม้ความหมายเหมือนกัน

ทำไมภาษาไทยเปลืองก้อนคำกว่า

คำตอบสั้นๆ ครับ เพราะข้อความที่ AI ใช้ฝึก ส่วนใหญ่เป็นภาษาอังกฤษ

ตอนสร้าง AI บริษัทเอาข้อความเยอะมากมาฝึก ส่วนใหญ่เป็นภาษาอังกฤษ ระบบเลยเก่ง หั่นภาษาอังกฤษเป็นก้อนได้แม่นและประหยัด คำว่า morning เป็นก้อนเดียว เลย เพราะเจอบ่อย

ภาษาไทยเจอน้อยกว่ามาก ระบบหั่นไม่เก่งเท่า บางทีถึงขั้นต้องหั่นทีละตัวอักษร คำว่า สวัสดี ที่เราเห็นเป็นคำเดียว AI อาจมองเป็น 5 ก้อน ส ว ั ส ดี

ก้อนคำเกี่ยวกับการทายคำต่อไปยังไง

บทแรกบอกว่า AI ทาย "คำต่อไป" จริงๆ มันไม่ได้ทายคำต่อไป มันทาย ก้อนคำต่อไป

ทุกครั้งที่เครื่องสร้างคำตอบ มันดูก้อนคำที่มาก่อน แล้วทายว่าก้อนคำต่อไปน่าจะ เป็นก้อนไหน แล้วใส่ก้อนนั้นต่อท้าย แล้วทายก้อนต่อไปอีก ทำซ้ำจนจบประโยคหรือ จบคำตอบ

ที่บทแรกเรียกง่ายๆ ว่า "คำต่อไป" เพื่อให้เห็นภาพ จริงๆ คือ ก้อนคำต่อไป บางทีเป็นคำเต็ม บางทีเป็นแค่ครึ่งคำ บางทีเป็นแค่ตัวอักษร

สรุปบทนี้

• AI หั่นข้อความเป็นก้อนคำ (token) ก่อนทำอะไรกับมัน
• ก้อนคำไม่ตรงกับ "คำ" ของเราเป๊ะ บางทีคำเดียวของเราเป็นหลายก้อน
• ภาษาไทยถูกหั่นเป็นก้อนเล็กกว่าอังกฤษ ทำให้เปลืองก้อนคำกว่าเสมอ
• ที่บทแรกเรียกว่า "คำต่อไป" จริงๆ คือ "ก้อนคำต่อไป"

บทต่อไป กลับมาเรื่อง การทาย เครื่องเลือกก้อนคำต่อไปยังไง ทำไมถามเหมือนเดิม บางครั้งตอบเหมือนเดิม บางครั้งตอบไม่เหมือน มาดูปุ่มที่ชื่อ temperature