Local LLM คือการดาวน์โหลดน้ำหนักโมเดลมาประมวลผลบนคอมพิวเตอร์หรือเซิร์ฟเวอร์ที่เราควบคุม แทนการส่งทุกคำขอไปยัง API ภายนอก ข้อดีคือกำหนดที่เก็บข้อมูล การเชื่อมต่อ และเวอร์ชันของโมเดลได้เอง ใช้งานแบบออฟไลน์ได้ในบางระบบ และไม่มีค่าบริการต่อโทเคนจากผู้ให้บริการ แต่ยังมีต้นทุนฮาร์ดแวร์ ไฟฟ้า เวลาในการตั้งค่า และการดูแลความปลอดภัย ขนาดโมเดล รูปแบบ quantization และความยาว context มีผลต่อ RAM หรือ VRAM ความเร็ว และคุณภาพ จึงควรเริ่มจากโมเดลที่เล็กพอกับเครื่อง แล้วทดสอบด้วยงานจริงก่อนขยับขึ้น ความเป็นส่วนตัวจะเกิดขึ้นได้ก็ต่อเมื่อทั้งโมเดล แอป ส่วนเสริม และเครื่องมือที่เชื่อมต่อทำงานอยู่ในขอบเขตที่เราควบคุมจริง