มีผู้ใช้เปิดเกมสร้างเมือง Anno 117: Pax Romana ทิ้งไว้ แล้วปล่อยให้โมเดล AI อย่าง GPT-6 Astra เล่นเองผ่านแอป ChatGPT บนคอมพิวเตอร์นานถึง 6 ชั่วโมง โดยที่ไม่ได้เข้าไปช่วยเล่นเลยแม้แต่น้อย

เรื่องนี้มาจากโพสต์ในชุมชน r/OpenAI บน Reddit ผู้โพสต์เล่าว่าโมเดลดูเกมผ่านภาพสกรีนช็อตและควบคุมได้เฉพาะเมาส์ เขาไม่ได้ให้ข้อมูลหรือคำแนะนำเกี่ยวกับเกมเลยแม้แต่บรรทัดเดียว มีเพียงคำสั่ง 2 ข้อ คือ ดูแลเศรษฐกิจของเมืองให้ดี และพัฒนาฝีมือการเล่นของตัวเองไปเรื่อยๆ

พอผ่านไป 6 ชั่วโมง เมืองนี้มีประชากรกว่าหนึ่งพันคน ขยายอาณาเขตไปถึง 4 เกาะ สร้างเส้นทางค้าขายระหว่างเกาะเรียบร้อย และปลดล็อกสิ่งก่อสร้างได้เกือบครบทุกอย่าง สุดท้ายต้องหยุดเล่นเพราะโทเคนรายสัปดาห์ของผู้โพสต์หมด

สิ่งที่ทำให้ AI เข้าไปควบคุมเกมได้ขนาดนี้คือฟีเจอร์ Computer Use ในแอป ChatGPT บน macOS และ Windows ซึ่งช่วยให้ ChatGPT มองเห็นหน้าจอ พร้อมทั้งคลิกเมาส์ พิมพ์ข้อความ และเปิดเมนูต่างๆ ในโปรแกรมบนเครื่องเราได้เอง

คิดวิธีเล่นเองได้จริง แต่ก็มีจุดที่พลาดง่ายๆ

หลักฐานที่น่าสนใจว่า AI คิดแก้ปัญหาเองได้จริงอยู่ในคอมเมนต์ของผู้โพสต์ ระหว่างเล่น โมเดลเขียนสคริปต์สั้นๆ ขึ้นมาใช้เอง เช่น โค้ดคำนวณเส้นทางลากถนนจากจุด A ไปจุด B และสูตรวางบ้านทีละหลายหลังพร้อมกัน ผู้โพสต์ยืนยันว่าเขาไม่ได้เข้าไปช่วยเขียนหรือแนะนำอะไรเลย ทางลัดทั้งหมดนี้ AI คิดขึ้นเองระหว่างเล่นเกม

แต่ถึงจะฉลาดขนาดนี้ มันก็ยังพลาดได้ง่ายๆ เช่น ตอนรับภารกิจขนไม้ 92 ท่อนกับเชือก 62 เส้นทางเรือ พอ AI คำนวณแล้วเห็นว่าจะผลิตเชือกไม่ทันเวลา มันก็สั่งสร้างโรงงานเชือกเพิ่มอีกแห่งทันที เรือแล่นมาถึงท่าเรือขณะเหลือเวลาอีกประมาณ 10 วินาที แต่สุดท้ายภารกิจกลับล้มเหลว เพราะมันลืมกดย้ายของลงจากเรือ

เหตุการณ์นี้สะท้อนวิธีทำงานของ AI ได้ดีมาก มันวางแผนระบบเศรษฐกิจและเส้นทางขนส่งที่ซับซ้อนได้ แต่กลับลืมขั้นตอนสุดท้ายที่เพียงแค่คลิกครั้งเดียวจนภารกิจพลาด พฤติกรรมแบบนี้คือสิ่งที่คุณจะได้เจอเมื่อเริ่มให้มันทำงานจริงบนเครื่องของคุณ

Computer Use ใน ChatGPT คืออะไรและทำงานอย่างไร

ตามเอกสารทางการของ ChatGPT Learn ฟีเจอร์ Computer Use อยู่ในแอป ChatGPT บนเดสก์ท็อป รองรับทั้ง macOS และ Windows ในภูมิภาคที่รองรับ และต้องใช้ร่วมกับโหมด Work หรือ Codex ซึ่งเป็นโหมดสำหรับเขียนโค้ด เมื่อเปิดระบบแล้ว ChatGPT จะมองเห็นหน้าจอของแอปที่เราอนุญาตและควบคุมแอปนั้นได้ เหมือนมีคนนั่งใช้เมาส์และพิมพ์งานอยู่หน้าเครื่องจริงๆ

ส่วนโมเดลที่แนะนำให้ใช้ เอกสารระบุว่าสำหรับงานยากที่ต้องวิเคราะห์ภาพหน้าจออย่างละเอียด หรือต้องมองภาพและตัดสินใจเชิงพื้นที่ ให้เลือกโมเดล GPT-6 Astra (หากมีให้เลือก) โดยระบบจะทำงานผ่านการติดตั้งปลั๊กอินและขอสิทธิ์แบบเดียวกัน การเล่นเกมสร้างเมืองจึงเป็นตัวอย่างที่เห็นภาพชัดเจนที่สุด เพราะทุกการตัดสินใจขึ้นอยู่กับสิ่งที่เห็นบนหน้าจอล้วนๆ

ขั้นตอนการเปิดใช้งาน ตั้งแต่ Plugins ไปจนถึง Settings

ขั้นตอนทั้งหมดอ้างอิงจากเอกสารทางการ โดยใช้ชื่อเมนูและปุ่มตามที่ปรากฏจริงในแอป:

1. เปิดแอป ChatGPT บนคอมพิวเตอร์ จากนั้นสลับตัวเลือกโหมดไปที่ Work (หรือจะเลือก Codex ก็ได้)
2. เข้าไปที่เมนู Plugins แล้วเลือก Computer Use ถ้ามีปุ่ม Install plugin ให้คลิกติดตั้ง
3. ถ้าแอปขึ้นปุ่ม Enable ให้กดเปิดใช้งาน
4. เปิดสวิตช์ให้ครบทั้งสองตัว ได้แก่ ส่วน server และ skill ของ Computer Use จากนั้นกด Try now เพื่อเริ่มต้น
5. เข้าไปที่ Settings แล้วเลือกหัวข้อ Computer use เพื่อดูรายชื่อแอปที่อนุญาตให้ควบคุม

คุณจะกลับมาใช้หน้า Settings นี้บ่อยที่สุด เว็บเบราว์เซอร์ที่เชื่อมต่อแล้วจะมีปุ่ม Manage ให้เข้าไปจัดการ ส่วนโปรแกรมที่คุณเคยกดอนุญาตถาวรไว้จะแสดงอยู่ในหัวข้อ Always-allowed apps และคุณกดลบสิทธิ์ได้ตลอดเวลา

สำหรับผู้ใช้ macOS ระบบจะขอสิทธิ์ 2 อย่างที่ทำหน้าที่ต่างกันชัดเจน ได้แก่ Screen Recording สำหรับให้ ChatGPT มองเห็นโปรแกรมเป้าหมาย และ Accessibility สำหรับให้ระบบคลิกเมาส์ พิมพ์ข้อความ และเลื่อนหน้าจอ ถ้าเปิดใช้งานแล้ว AI แจ้งว่ามองไม่เห็นหน้าจอหรือคลิกไม่ได้ ให้เข้าไปที่ System Settings > Privacy & Security แล้วตรวจสอบว่าเปิดสิทธิ์ทั้งสองอย่างนี้แล้วหรือยัง

ส่วนผู้ใช้ Windows เอกสารระบุเงื่อนไขไว้ตอนตั้งค่าว่า หน้าต่างโปรแกรมเป้าหมายจะต้องเปิดค้างไว้บนหน้าจอเดสก์ท็อปที่คุณใช้งานอยู่ตลอดเวลาที่ AI ทำงาน

จุดหนึ่งที่อาจทำให้สับสนคือ ในโพสต์ Reddit ผู้เล่นระบุว่าไม่ได้ใช้ปลั๊กอินเลย แต่เอกสารกลับบอกว่าต้องติดตั้ง Computer Use plugin ที่จริงแล้วทั้งสองอย่างนี้หมายถึงคนละเรื่อง ผู้โพสต์หมายถึงเขาไม่ได้ใช้ปลั๊กอินเสริมหรือมาตรฐานเชื่อมต่อข้อมูลอย่าง MCP เพื่ออ่านค่าเฉพาะของตัวเกม ส่วนเอกสารหมายถึงปลั๊กอิน Computer Use ซึ่งเป็นฟังก์ชันพื้นฐานที่ต้องติดตั้งเพื่อเปิดใช้ระบบ ดังนั้นเวลาตั้งค่าจริง ให้ทำตามขั้นตอนในเอกสารเป็นหลัก

สั่งงานด้วยคำสั่ง @Computer และการขอสิทธิ์เข้าถึงทีละแอป

ตามเอกสาร เราสั่งให้ระบบเริ่มทำงานได้ 2 แบบ แบบแรกคือพิมพ์ @Computer หรือ @ตามด้วยชื่อแอป ลงในช่องแชต ส่วนแบบที่สองคือสั่งตรงๆ ว่าให้ใช้ Computer Use ทำงาน ทั้งสองแบบต้องระบุชื่อโปรแกรม หน้าต่างที่ต้องการ และขั้นตอนการทำงานให้ชัดเจน

ในเอกสารทางการมีตัวอย่างคำสั่งให้ดู 2 แบบ แบบแรกเหมาะสำหรับนักพัฒนาแอปพลิเคชัน:

Open the app with Computer Use, reproduce the onboarding bug, and fix the smallest code path that causes it. After each change, run the same UI flow again.

ส่วนแบบที่สองเป็นคำสั่งสั้นๆ โดยใช้เครื่องหมาย @ เจาะจงแอปที่ต้องการโดยตรง:

Open @Chrome and verify the checkout page still works after the latest changes.

ระหว่างทำงาน ChatGPT จะเปิดหน้าต่างขออนุญาตก่อนเข้าควบคุมแต่ละแอปเสมอ คุณเลือก "Always allow" ให้ระบบจำสิทธิ์ไว้โดยไม่ต้องถามซ้ำทุกครั้งได้ และถ้าต้องการยกเลิก ก็เข้าไปที่ Settings > Computer Use ได้ตลอดเวลา นอกจากนี้ เอกสารยังระบุว่าระบบอาจขอคำยืนยันเพิ่มเติมก่อนดำเนินการตามคำสั่งที่ละเอียดอ่อนหรืออาจกระทบต่อระบบเครื่อง

จุดสำคัญที่คุณต้องตัดสินใจเองคือจะเลือก Always allow หรือไม่ ถ้าเป็นแอปทั่วไปอย่างเครื่องคิดเลข การอนุญาตถาวรจะช่วยให้ใช้งานสะดวกขึ้นโดยแทบไม่มีความเสี่ยง แต่ถ้าอนุญาตถาวรให้เว็บเบราว์เซอร์ที่ล็อกอินบัญชีธนาคารหรืออีเมลค้างไว้ งานครั้งต่อๆ ไป AI จะใช้เบราว์เซอร์นั้นได้โดยไม่ต้องขอสิทธิ์เข้าแอปซ้ำ เอกสารจึงแนะนำอย่างยิ่งว่า ควรเลือก Always allow เฉพาะกับแอปที่ปลอดภัยและคุณไว้วางใจให้ระบบทำงานเองได้เท่านั้น

งานแบบไหนที่เหมาะกับการใช้ Computer Use

ตามเอกสารทางการ งานที่เหมาะกับฟีเจอร์นี้มักเป็นงานแบบต่อไปนี้:

• งานบนเว็บเบราว์เซอร์: งานที่ต้องเปิดหน้าเว็บ คลิกปุ่ม กรอกแบบฟอร์ม หรือดำเนินการตามขั้นตอนจริงทีละหน้า
• ปรับแต่งการตั้งค่าของโปรแกรม: งานที่ต้องคลิกเปิดเมนูซ้อนกันหลายชั้น และไม่มีปุ่มลัดหรือคำสั่งพิมพ์ให้ใช้
• เปิดดูข้อมูลในโปรแกรมที่ไม่มีปลั๊กอินเชื่อมต่อ: ใช้เมื่อไม่มีช่องทางเชื่อมต่อข้อมูลในรูปแบบอื่น
• ทำงานข้ามหลายโปรแกรมพร้อมกัน: เช่น สลับไปคัดลอกข้อมูลจากโปรแกรมหนึ่งมากรอกลงในอีกโปรแกรมหนึ่ง
• ทดสอบหน้าจอแอปพลิเคชัน: สำหรับนักพัฒนาที่ต้องการทดสอบการใช้งานแอปบน macOS, Windows หรือโปรแกรมจำลองมือถืออย่าง iOS simulator
• ทำให้บั๊กเกิดซ้ำบนหน้าจอ: สำหรับกรณีที่ข้อผิดพลาดเกิดขึ้นเฉพาะตอนคลิกผ่านหน้าจอ และตรวจไม่พบจากไฟล์ล็อกหรือหน้าต่างพิมพ์คำสั่ง

แต่เอกสารย้ำข้อยกเว้นสำคัญไว้ข้อหนึ่ง ถ้าโปรแกรมมีปลั๊กอินหรือรองรับ MCP server โดยตรงอยู่แล้ว ควรใช้ช่องทางเหล่านั้นก่อนเสมอ เพราะเชื่อมต่อข้อมูลแบบมีโครงสร้าง เหมาะกับงานดึงข้อมูลและงานที่ต้องทำซ้ำๆ ส่วน Computer Use ควรใช้เฉพาะงานที่ต้องมองหน้าจอและคลิกปุ่มจริงๆ เท่านั้น สำหรับเว็บแอปพลิเคชันที่กำลังพัฒนาอยู่บนเครื่อง เอกสารแนะนำให้ทดสอบผ่าน เบราว์เซอร์ในตัวของ ChatGPT เป็นอันดับแรก

งานประมวลผลระยะยาวอีกแบบที่ไม่ต้องเปิดหน้าจอไว้ตลอด

การสั่งให้ ChatGPT ทำงานต่อเนื่องยาวๆ ไม่ได้มีแค่งานที่ต้องคลิกหน้าจอ ตัวอย่างจากนักพัฒนาอย่าง Simon Willison ช่วยให้เห็นความแตกต่างนี้ได้ชัดเจน เขาทดลองใช้ ChatGPT Work ร่วมกับโมเดล GPT-6 Astra แล้วสั่งด้วยพรอมต์เดียวว่า บ้านอยู่ที่นี่ ให้ช่วยหาเส้นทางวิ่งระยะ 5 กิโลเมตรและ 10 กิโลเมตรแบบวนกลับมาที่บ้าน โดยอ้างอิงข้อมูลแผนที่สาธารณะจาก OpenStreetMap

ChatGPT ใช้เวลาประมวลผล 27 นาที ก่อนจะส่งภาพแผนที่มาในช่องแชต พร้อมไฟล์เส้นทางในฟอร์แมต GPX และ GeoJSON ให้ดาวน์โหลด เมื่อถามถึงเบื้องหลังการทำงาน AI อธิบายว่ามันใช้เครื่องมือค้นหาพิกัดอย่าง Nominatim ระบุตำแหน่งบ้าน จากนั้นใช้เครื่องมืออย่าง Overpass ดึงข้อมูลถนนและทางเดินจาก OpenStreetMap แล้วเขียนโปรแกรมคำนวณเส้นทางวนกลับมายังจุดเริ่มต้นด้วยตัวเอง

ต้องแยกให้ออกว่าเคสนี้ไม่ได้ใช้ฟีเจอร์ Computer Use เลยแม้แต่น้อย AI ไม่ได้แตะเมาส์หรือเข้าควบคุมหน้าจอคอมพิวเตอร์ของคุณ แต่ใช้โหมด Work เขียนโค้ดและรันสคริปต์อยู่เบื้องหลัง แล้วส่งมาเฉพาะผลลัพธ์ ต่างจากการเล่นเกมสร้างเมืองที่ AI ต้องคอยดูภาพหน้าจอแล้วคลิกทีละจุด

นอกจากนี้ ข้อจำกัดที่ Simon พบก็ต่างจากกรณีเล่นเกม เขามองไม่เห็นโค้ดและขั้นตอนที่ใช้ทำงานจริงในหน้าแชตของ ChatGPT เมื่อขอสำเนาโค้ด Python ในภายหลัง AI ก็ให้ข้อมูลเดิมไม่ได้แล้ว เขาคาดว่าเป็นเพราะระบบย่อประวัติการสนทนาให้สั้นลง ดังนั้นถ้าคุณต้องการเก็บโค้ดที่ AI เขียนไว้ใช้ ให้ขอทันทีหลังงานเสร็จ อย่ารอขอทีหลัง

ข้อจำกัดและข้อควรระวังตามเอกสารทางการ

บน Windows ระบบจะทำงานได้เฉพาะกับหน้าต่างโปรแกรมที่อยู่ด้านหน้าสุด หรือโหมด Foreground เท่านั้น หน้าต่างโปรแกรมเป้าหมายจึงต้องแสดงอยู่บนเดสก์ท็อปที่คุณกำลังใช้ ระหว่างนั้น AI จะควบคุมทั้งเมาส์และคีย์บอร์ด ทำให้คุณใช้เครื่องไปพร้อมกันไม่ได้ ถ้าต้องการปล่อยให้ AI ทำงานยาวๆ แล้วลุกไปทำอย่างอื่น เอกสารแนะนำไว้ 3 วิธี ได้แก่ เปิดเครื่องทิ้งไว้แล้วดูความคืบหน้าผ่าน การควบคุมระยะไกลจากมือถือ ใช้คอมพิวเตอร์เครื่องสำรอง หรือรันแอป ChatGPT ในระบบคอมพิวเตอร์จำลองอย่าง Virtual Machine (VM) เพื่อให้ AI ควบคุมเฉพาะหน้าต่างจำลองโดยไม่รบกวนหน้าจอหลักของคุณ

สำหรับ macOS มีฟังก์ชันพิเศษที่เรียกว่า Locked use ซึ่งช่วยให้ AI ทำงานต่อเนื่องได้แม้หน้าจอจะล็อกอยู่ แต่ผู้ใช้ต้องเปิดฟังก์ชันนี้ที่เมนู Settings > Computer Use ก่อน ระบบจะปลดล็อกเครื่องชั่วคราวเฉพาะขณะทำงานและบังหน้าจอทุกจอไว้ ถ้าตรวจพบว่ามีคนแตะคีย์บอร์ดหรือขยับเมาส์ที่ตัวเครื่อง ระบบจะล็อกหน้าจอทันทีและไม่ปลดล็อกอัตโนมัติอีกจนกว่าคุณจะปลดล็อกด้วยตัวเอง

สำหรับขอบเขตการทำงาน เอกสารระบุข้อห้ามชัดเจนว่า AI ไม่สามารถควบคุมหน้าต่างพิมพ์คำสั่งอย่างแอป Terminal หรือตัวโปรแกรม ChatGPT เองได้ เพื่อป้องกันไม่ให้เลี่ยงมาตรการรักษาความปลอดภัย นอกจากนี้ AI ยังไม่สามารถกดปุ่มยืนยันสิทธิ์ผู้ดูแลระบบ (Admin) หรืออนุมัติสิทธิ์ระดับระบบแทนคุณได้

สิ่งที่ต้องระวังมากที่สุดคือเว็บเบราว์เซอร์ เพราะถ้าเปิดให้ AI ใช้เบราว์เซอร์ที่ล็อกอินบัญชีส่วนตัวค้างไว้ AI จะทำงานผ่านบัญชีนั้น และเว็บไซต์อาจถือว่าการคลิก การส่งฟอร์ม และการกระทำต่างๆ ขณะล็อกอินมาจากบัญชีของคุณ เอกสารจึงเตือนว่า คุณควรตรวจสอบสิ่งที่ AI ทำบนหน้าเว็บอย่างละเอียดถี่ถ้วน เหมือนกับตอนที่คุณลงมือทำเอง

แนวทางปฏิบัติเพื่อความปลอดภัยจากเอกสารสรุปได้ดังนี้:

• มอบหมายงานทีละโปรแกรมและระบุทีละขั้นตอน ไม่สั่งงานคลุมเครือหรือกว้างจนเกินไป
• ปิดโปรแกรมหรือหน้าต่างที่เปิดข้อมูลสำคัญไว้ก่อน ถ้างานนั้นไม่จำเป็นต้องใช้
• เฝ้าหน้าจอเสมอเมื่องานนั้นเกี่ยวข้องกับเงิน บัญชีผู้ใช้ รหัสผ่าน หรือการตั้งค่าระบบเครือข่าย
• พร้อมกดหยุดการทำงานหรือเข้าควบคุมเครื่องเองได้ตลอดเวลา
• หากสังเกตเห็นว่า AI เริ่มคลิกผิดหน้าต่างหรือไม่ตรงกับที่สั่ง ให้กดยกเลิกคำสั่งทันที

เริ่มต้นใช้งาน 5 นาทีแรกบนเครื่องของคุณ

ถ้าอยากเริ่มต้น ให้เปิดแอป ChatGPT บนคอมพิวเตอร์ สลับโหมดการทำงานไปที่ Work แล้วดูในเมนู Plugins ว่ามีฟังก์ชัน Computer Use ให้ติดตั้งหรือไม่ ถ้ามี ให้ทดลองกับงานเล็กๆ ที่ไม่เกี่ยวกับเงิน บัญชี หรือข้อมูลส่วนตัว เช่น สั่งให้เปิดโปรแกรมเครื่องคิดเลข หรือปรับการตั้งค่าบางอย่างที่ต้องคลิกหลายชั้น ระหว่างนั้นให้สังเกตขั้นตอนการขออนุญาตและการขยับเมาส์จนงานเสร็จ เพื่อให้เข้าใจการทำงานของระบบก่อนจะเริ่มมอบหมายงานจริงจัง

ตัวอย่างการสร้างเมืองที่มีประชากรนับพันคนแสดงให้เห็นว่า AI วางแผนงานที่ซับซ้อนได้ดีมาก แต่ข้อผิดพลาดอย่างการลืมขนของลงจากเรือก็เตือนว่า ในช่วงแรกคุณควรใช้กับงานที่นั่งเฝ้าดูและตรวจสอบทุกขั้นตอนได้ด้วยตัวเองเท่านั้น

ที่มา:

• โพสต์ GPT-6 Astra playing Anno 117: Pax Romana from ChatGPT desktop app จาก r/OpenAI
• เอกสาร Computer Use จาก ChatGPT Learn
• บทความ Generating running routes with GPT-6 Astra and ChatGPT Work จาก Simon Willison