ScreenMind คือเครื่องมือโอเพ่นซอร์สที่ช่วยบันทึกภาพหน้าจอของเราอย่างต่อเนื่องตลอดทั้งวัน พร้อมใช้ vision model วิเคราะห์ว่าเรากำลังทำอะไร เปิดแอปพลิเคชันไหน หรือทำงานชิ้นใดค้างอยู่ จากนั้นจึงจัดเก็บเป็นฐานข้อมูลความจำที่เราสามารถค้นหาย้อนหลังหรือพิมพ์ถามตอบได้ แนวคิดนี้คล้ายกับฟีเจอร์ Recall ของ Microsoft แต่ ScreenMind เลือกแนวทางที่ต่างออกไป คือทุกภาพหน้าจอจะประมวลผลอยู่บนเครื่องของเราเองทั้งหมด โดยไม่มีการส่งข้อมูลขึ้นระบบคลาวด์แม้แต่ภาพเดียว

หัวใจสำคัญที่ทำให้ระบบนี้เกิดขึ้นได้จริงคือโมเดลขนาดกะทัดรัดอย่าง Gemma 4 E2B ที่ทำงานอยู่บนการ์ดจอในเครื่องของเราโดยตรง โมเดลตัวนี้สามารถวิเคราะห์ภาพ ถอดความเสียง และประมวลผลข้อความได้ครบในตัวเดียว ช่วยให้ ScreenMind รวมความสามารถทั้งหมดเข้าด้วยกันเป็นระบบบันทึกความจำที่ทำงานอยู่เบื้องหลังอย่างเงียบๆ โดยไม่ต้องพึ่งพาบริการภายนอกเลย

ทำไมการประมวลผลบนเครื่องถึงเปลี่ยนทุกอย่าง

เครื่องมือช่วยจำกิจกรรมบนหน้าจอไม่ใช่เรื่องใหม่ ฟีเจอร์อย่าง Microsoft Recall ก็ทำงานคล้ายกัน แต่กลับเจอกระแสคัดค้านเรื่องความเป็นส่วนตัว เพราะมีการจัดเก็บข้อมูลเป็นข้อความธรรมดา (plaintext) และยังส่งข้อมูล telemetry กลับไปยังเซิร์ฟเวอร์ หากลองนึกภาพว่าในหนึ่งวันหน้าจอของเรามีข้อมูลอะไรบ้าง ตั้งแต่อีเมล รหัสผ่านที่ปรากฏบนฟอร์ม แชตงาน เลขบัญชีธนาคาร ไปจนถึงข้อมูลความลับของโปรเจกต์ การปล่อยให้ภาพหน้าจอเหล่านั้นส่งออกไปประมวลผลภายนอกจึงเป็นความเสี่ยงที่ไม่ควรมองข้าม

ScreenMind ออกแบบมาเพื่อแก้ปัญหานี้ตั้งแต่ต้น หลังจากดาวน์โหลดโมเดลมาติดตั้งในเครื่องเรียบร้อยแล้ว ตัวโปรแกรมจะไม่เชื่อมต่อไปยังเครือข่ายภายนอกอีกเลย ข้อมูลทั้งหมดจะจัดเก็บไว้ในโฟลเดอร์ ~/.screenmind/ บนเครื่องของเราโดยตรง ไม่มีการส่งข้อมูล telemetry และไม่มีการส่งภาพออกไปข้างนอก สิ่งที่ทำให้แนวทางนี้เกิดขึ้นได้จริงในปัจจุบันคือโมเดลอย่าง Gemma 4 E2B ที่มีขนาดกะทัดรัดและเร็วพอที่จะทำงานบนการ์ดจอทั่วไปได้ จากเดิมที่โมเดลสาย Vision มักต้องการทรัพยากรมหาศาลจนต้องรันบนเซิร์ฟเวอร์ขนาดใหญ่ พอมีโมเดลที่รันบนเครื่องตัวเองได้ ความเป็นส่วนตัวและความสามารถในการใช้งานจึงเดินไปด้วยกันได้ทันที

โมเดลเดียว ครบทั้งสามความสามารถ

เหตุผลที่ ScreenMind เลือกใช้ Gemma 4 E2B ไม่ใช่แค่เรื่องความฉลาด แต่เป็นเพราะโมเดลตัวนี้ตอบโจทย์เงื่อนไขสำคัญพร้อมกันหลายด้าน ทั้งการเปิดทำงานต่อเนื่องได้ตลอดทั้งวัน เข้าใจภาพหน้าจอได้โดยตรง ทำงานแบบ local ได้สมบูรณ์ มีระบบถอดเสียงในตัว และมีความเร็วในการประมวลผลที่ทันกับรอบการบันทึกภาพหน้าจอ

ความครบถ้วนนี้ช่วยลดความซับซ้อนของระบบลงไปมาก ทำให้ ScreenMind ทำงานหลักได้ถึงสามรูปแบบผ่านโมเดลเพียงตัวเดียว:

• วิเคราะห์ภาพ โมเดลจะอ่านภาพหน้าจอเพื่อระบุชื่อแอปพลิเคชัน ประเภทของกิจกรรม และสรุปเนื้อหาสั้นๆ ของหน้าจอนั้น
• ถอดความเสียง เมื่อกดปุ่มลัดค้างไว้เพื่อบันทึกเสียง โมเดลจะแปลงเสียงพูดเป็นข้อความให้ทันทีในตัวโดยไม่ต้องติดตั้งโปรแกรมภายนอกเพิ่ม รวมถึงสามารถช่วยถอดเสียงจากการประชุมได้ด้วย
• คิดและตอบคำถาม นำประวัติความจำที่บันทึกไว้มาสนทนาและสืบค้นได้ เช่น ถามว่า "เมื่อวานช่วงบ่ายทำงานอะไรค้างไว้บ้าง"

การรวมทุกอย่างไว้ในโมเดลเดียวทำให้ระบบเบาและควบคุมได้ง่ายขึ้น ผู้ใช้จึงมั่นใจได้ว่าจะไม่มีกระบวนการเบื้องหลังแอบส่งข้อมูลออกไปภายนอก

ขั้นตอนการทำงานตั้งแต่บันทึกภาพจนถึงการสืบค้น

กลไกที่ช่วยให้ ScreenMind ไม่กินทรัพยากรเครื่องจนเกินไป คือการไม่ตั้งเวลาบันทึกภาพแบบตายตัว แต่จะบันทึกเมื่อหน้าจอมีการเปลี่ยนแปลงจริงเท่านั้น พร้อมทั้งมีระบบคัดกรองภาพซ้ำทิ้งไปก่อน เพื่อไม่บันทึกภาพหน้าจอนิ่งๆ ซ้ำให้เปลืองเนื้อที่ จากนั้นแต่ละภาพจะผ่านขั้นตอนการประมวลผลดังนี้:

1. เมื่อบันทึกภาพแล้ว ระบบจะใช้ตัวอ่านข้อความ (OCR) สกัดตัวอักษรดิบที่ปรากฏบนหน้าจอออกมาก่อน
2. Gemma 4 E2B จะรับภาพและข้อความไปวิเคราะห์ร่วมกัน แล้วแปลงเป็นข้อมูลโครงสร้าง เช่น ชื่อโปรแกรม หมวดหมู่กิจกรรม คำสรุปสั้น บริบทของหน้าจอ ไปจนถึงตำแหน่งขององค์ประกอบต่างๆ
3. ระบบนำข้อความสรุปไปแปลงเป็นเวกเตอร์ความหมาย (Embedding) เพื่อให้รองรับการค้นหาตามบริบทและความหมาย ไม่จำกัดเฉพาะคำที่สะกดตรงกัน
4. จัดเก็บข้อมูลทั้งหมดลงในฐานข้อมูลบนเครื่อง พร้อมสร้างดัชนี (Index) สำหรับการค้นหาอย่างรวดเร็ว

ในการค้นหาประวัติย้อนหลัง ระบบจะผสานสองวิธีเข้าด้วยกัน ทั้งการค้นหาเชิงความหมาย (Semantic Search เช่น พิมพ์ค้นหาว่า "ตอนที่แก้โค้ดระบบล็อกอิน" แล้วพบข้อมูลแม้ในหน้าจอจะไม่มีคำนั้นตรงๆ) ควบคู่กับการค้นหาคำแบบตรงตัว (Exact Match) ช่วยให้ค้นหาเจอได้ง่ายไม่ว่าจะจำคำแม่นยำหรือไม่ก็ตาม

มาตรการความเป็นส่วนตัวในรายละเอียด

ความเป็น local-first จะใช้งานได้จริงก็ต่อเมื่อมีกลไกรองรับความปลอดภัยอย่างรัดกุม ScreenMind จึงมีระบบคัดกรองข้อมูลสำคัญ เช่น เลขบัตรเครดิต รหัสผ่าน และ API key ออกก่อนการจัดเก็บ พร้อมเข้ารหัสไฟล์ภาพที่บันทึกไว้ในดิสก์ และมีโหมดไม่ระบุตัวตน (Incognito mode) ที่สามารถกดหยุดการบันทึกชั่วคราวได้ทันที นอกจากนี้ยังตั้งค่าให้ลบข้อมูลเก่าทิ้งโดยอัตโนมัติ (ค่าเริ่มต้นคือ 7 วัน หรือเลือกเก็บถาวรได้ตามต้องการ) และระบบจะหยุดบันทึกภาพหน้าจอเองโดยอัตโนมัติเมื่อเปิดเล่นเกม ใช้งานโปรแกรมตัดต่อ หรือรันซอฟต์แวร์ 3D เพื่อไม่ให้รบกวนประสิทธิภาพของงานหนัก

อย่างไรก็ตาม การประมวลผลบนเครื่องก็มีข้อแลกเปลี่ยนที่ต้องคำนึงถึง เพราะภาระงานทั้งหมดตกอยู่กับการ์ดจอในเครื่อง หากการ์ดจอมีประสิทธิภาพไม่สูงพอ การวิเคราะห์ภาพอาจใช้เวลาและกินทรัพยากรเครื่องได้ นอกจากนี้ตัวโปรเจกต์ยังอยู่ในช่วงเริ่มต้น ปัจจุบันทำงานได้เสถียรบนระบบ Windows ส่วนบน macOS และ Linux ยังอยู่ในขั้นพัฒนาและทดสอบเพิ่มเติมจากชุมชน

เริ่มต้นใช้งานได้ทันที

สำหรับเครื่องที่มีการ์ดจอ VRAM ตั้งแต่ 4GB ขึ้นไป, มีพื้นที่ว่างในดิสก์ประมาณ 5GB และติดตั้ง Python เวอร์ชัน 3.10 ขึ้นไป สามารถเริ่มต้นได้ด้วยคำสั่งต่อไปนี้:

git clone https://github.com/ayushh0110/ScreenMind
pip install -r requirements.txt
python main.py

จากนั้นเปิดเบราว์เซอร์ไปที่ http://127.0.0.1:7777 ในการรันครั้งแรก โปรแกรมจะดาวน์โหลดตัวโมเดลขนาดประมาณ 5GB มาติดตั้งให้อัตโนมัติ เมื่อโมเดลพร้อมใช้งาน หน้า Dashboard จะแสดงแถบไทม์ไลน์ของวัน ช่องสนทนาถามตอบข้อมูล ช่องค้นหา และโหมด rewind สำหรับดูภาพกิจกรรมย้อนหลังในรูปแบบ timelapse

ผู้ใช้สามารถปรับแต่งการทำงานเพิ่มเติมได้ผ่านไฟล์ .env หรือแท็บ Settings บน Dashboard เช่น หากต้องการให้บันทึกภาพห่างขึ้น สามารถปรับค่า CAPTURE_INTERVAL จากค่าเริ่มต้น 40 วินาที หรือปรับระยะเวลาจัดเก็บข้อมูลผ่านตัวแปร RETENTION_DAYS ให้เหมาะกับการใช้งาน

เมื่อใช้งานจนคุ้นเคยแล้ว ยังสามารถต่อยอดให้ระบบสรุปกิจกรรมประจำวันส่งต่อไปยังแอปพลิเคชันจดบันทึก ส่งข้อความแจ้งเตือน หรือสร้างรายงานสรุปการทำงานในแต่ละวันได้โดยอัตโนมัติ

การมีผู้ช่วยบันทึกกิจกรรมบนหน้าจอไม่ใช่เรื่องใหม่ แต่สิ่งที่เปลี่ยนไปคือ วันนี้เราสามารถเก็บบันทึกความทรงจำการทำงานทั้งหมดไว้บนเครื่องของเราเองได้อย่างปลอดภัย โดยไม่ต้องส่งข้อมูลไปฝากไว้บนคลาวด์ของใครอีกต่อไป

ที่มา: ScreenMind บน GitHub