prompt caching ทำงานอย่างไร และทำไมลำดับใน prompt ถึงชี้ขาด

prompt caching เอา KV pairs ที่คำนวณไว้ตอน prefill กลับมาใช้เมื่อเรียกครั้งถัดไป จึงไม่ต้องคำนวณ input ส่วนเดิมซ้ำ แต่ prefix matching จะไล่เทียบตั้งแต่ token แรก ของที่ไม่เปลี่ยนจึงต้องอยู่ก่อนคำถามของผู้ใช้เสมอ