$ cat 15-web-errands.md บทที่ 15
งานบนเว็บและจังหวะ Take over การสั่งให้ AI ออกไปทำงานบนเว็บไซต์ภายนอกมีความเสี่ยงเพิ่มขึ้น 2 เท่าพร้อมกัน: ในแง่หนึ่ง Spark อาจมองเห็นหน้าเว็บที่เราล็อกอินค้างไว้ และในอีกแง่หนึ่ง ข้อมูลจากในแชตหรือจาก Connected Apps ของเราก็อาจถูกส่งต่อไปยังเว็บไซต์ปลายทางเพื่อดำเนินงาน ดังนั้น ก่อนจะปล่อยให้ AI เปิดเบราว์เซอร์ เราจึงต้องตรวจสอบทั้งเว็บไซต์ปลายทาง, ข้อมูลที่จะนำไปใช้ และรายการการกระทำที่จะเกิดขึ้น ไม่ใช่แค่รอตรวจผลลัพธ์ตอนจบงานเท่านั้น
ในบทนี้เราจะมาทดลองสั่งงานกับ example.com ซึ่งเป็นหน้าเว็บสาธารณะที่ไม่มีข้อมูลส่วนตัวใดๆ โดยมีเป้าหมายเพียงแค่อ่านชื่อหน้าและข้อความหลัก 1 ประโยค แต่ถึงอย่างนั้น Spark จะยังคงแสดงหน้าต่างขออนุญาตเปิดเบราว์เซอร์พร้อมแจกแจงแผนงานให้เราตรวจก่อนเสมอ ในการทดลองนี้เราจะเลือกไม่อนุญาตและสั่งหยุดงาน เพื่อให้เห็นการทำงานของประตูป้องกันชั้นแรกอย่างชัดเจนโดยไม่มีข้อมูลใดถูกส่งออกไปภายนอก
4 จังหวะตรวจสอบความปลอดภัยสำหรับงานบนเว็บ
การกดอนุญาตเปิดเบราว์เซอร์กับการกด Take over เป็นคนละจังหวะกันอย่างสิ้นเชิง · การอนุญาตคือการตรวจแผนก่อนเริ่ม · ส่วน Take over คือการรับช่วงมาทำขั้นตอนที่มีความอ่อนไหวด้วยมือเราเอง
ลำดับขั้นตอนการควบคุมความปลอดภัย:
ก่อนเปิดเบราว์เซอร์ (Pre-launch): ตรวจสอบรายชื่อเว็บไซต์ แผนการทำงาน และข้อมูลที่ AI จะนำไปใช้
ระหว่างการทำงาน (Live Monitoring): ดูภาพถ่ายทอดสด (Live View) ใน work panel ว่า AI อยู่ที่โดเมนใดและกำลังคลิกอะไร
ก่อนเข้าสู่ขั้นตอนอ่อนไหว (Take Over Point): กดปุ่ม Take over เพื่อเข้าสู่ระบบ กรอกรหัสผ่าน หรือชำระเงินด้วยมือตัวเอง
หลังเสร็จสิ้นงาน (Post-execution): กลับมาที่ Gemini เพื่อตรวจทานผลลัพธ์ การส่งข้อมูล และการเปลี่ยนแปลงที่เกิดขึ้นจริง
ความแตกต่างระหว่าง Remote Browser กับ Local Chrome รูปแบบเบราว์เซอร์ สถานที่ประมวลผล ข้อเท็จจริงที่ต้องรู้ Remote Browser ทำงานบนเบราว์เซอร์แยกในระบบคลาวด์ของ Google สามารถทำงานต่อได้แม้เราจะปิดคอมพิวเตอร์ · มีข้อมูลแคชและคุกกี้แยกต่างหากซึ่งลบได้ใน Spark Settings Local Chrome ทำงานบน Google Chrome ในเครื่องคอมพิวเตอร์ของเรา มองเห็นสถานะการเข้าสู่ระบบ (Login) เดียวกับที่เราใช้งาน · คอมพิวเตอร์และเบราว์เซอร์ต้องเปิดค้างไว้ · ขอบเขตความเสี่ยงครอบคลุมทุกเว็บไซต์ที่เราล็อกอินค้างอยู่
หากงานนั้นต้องใช้ Local Chrome อย่าคิดว่าเป็นเพียงหน้าต่างว่างเปล่า เพราะ Spark อาจเข้าถึงเว็บไซต์ต่างๆ ด้วยสิทธิ์และสถานะเดียวกับบัญชีของเราบนเครื่อง
ทดลองประตูป้องกันก่อนเริ่มงานบนเว็บ Prompt เป้าหมาย: เปิดเว็บไซต์ https://example.com ด้วย Remote browser และรายงานเฉพาะชื่อโดเมน, ชื่อหัวข้อหน้าเว็บ (Page title) และประโยคหลัก 1 ประโยค เพื่อทดสอบขอบเขตการทำงานบนเว็บ
ของที่ให้ใช้: ใช้ Remote browser กับ https://example.com เท่านั้น ห้ามเชื่อมต่อ Connected Apps ห้ามค้นหาผ่าน Google Search ห้ามใช้ Local Chrome และห้ามเข้าถึงเว็บไซต์อื่น
วิธีทำ: ตรวจสอบว่า URL ปลายทางยังคงเป็น example.com จากนั้นอ่าน Page title และข้อความหลัก 1 ประโยค แล้วรายงานผล 3 บรรทัด ได้แก่: โดเมน · ชื่อหัวข้อหน้าเว็บ · ข้อความหลัก ห้ามคลิกลิงก์ More information และห้ามออกนอกโดเมนนี้โดยเด็ดขาด
จังหวะเริ่ม: เริ่มทำงานทันที (ทำครั้งเดียว)
จุดหยุด: เมื่ออ่านข้อมูลหน้าแรกเสร็จให้หยุดทำงานทันที ห้ามคลิกลิงก์ ห้ามกรอกแบบฟอร์ม ห้ามกดยอมรับ Permission ใดๆ ห้ามดาวน์โหลด ห้ามอัปโหลด ห้ามล็อกอิน ห้ามส่งข้อมูล และห้ามเปลี่ยนไปยังเว็บไซต์อื่น
คัดลอก
เมื่อส่งคำสั่ง Spark จะแสดงหน้าต่างแจ้งเตือนเพื่อขออนุญาตโต้ตอบกับเว็บไซต์แทนเรา พร้อมคำเตือนเรื่องความผิดพลาดและการส่งต่อข้อมูลที่ไม่คาดคิด โดยด้านล่างจะมีแผนงานระบุชัดเจนว่าจะเปิด https://example.com และจะอ่านข้อมูลอะไรบ้าง:
ภาพเต็ม viewport โดยพับแถบ Task list/Recents ไว้ · ในการทดลองนี้เราเลือกไม่อนุญาตเพื่อหยุดการทำงานของเบราว์เซอร์ทันที จุดที่ต้องตรวจเช็กในแผนงานก่อนคลิกอนุญาต:
URL ปลายทางระบุเป็น https://example.com ตรงตัว
แผนงานมีเฉพาะการอ่าน Page title และ Main text เท่านั้น
มีคำสั่งห้ามคลิกลิงก์ More information ระบุไว้ชัดเจน
ไม่มีการดึงข้อมูลจาก Connected Apps หรือข้อมูลส่วนตัว
ไม่มีการกรอกแบบฟอร์ม, อัปโหลด, ดาวน์โหลด, ล็อกอิน หรือส่งข้อมูลออกไปภายนอก
แม้ว่าคำสั่งนี้จะปลอดภัยอย่างสมบูรณ์ แต่เราเลือกที่จะกดไม่อนุญาตเพื่อพิสูจน์ให้เห็นว่าประตูป้องกันก่อนเริ่มงานได้ทำหน้าที่ปกป้องเราอย่างสมบูรณ์แล้ว
ทำความเข้าใจปุ่ม Take over เมื่อต้องใช้มือเราเข้าควบคุม เมื่อเราอนุญาตให้เบราว์เซอร์ทำงานแล้ว แต่ในบางขั้นตอนมีความจำเป็นต้องให้คนเป็นผู้ทำเอง เช่น การเข้าสู่ระบบ, การกรอกรหัสผ่าน, การชำระเงิน, การเลือกรายชื่อผู้รับ หรือการกดยืนยันส่งแบบฟอร์ม Google ได้ออกแบบปุ่ม Take over เพื่อให้เรารับช่วงการควบคุม Remote browser ชั่วคราว:
Take over มีไว้ใช้เมื่อเบราว์เซอร์เปิดทำงานอยู่แล้ว และมีขั้นตอนที่ต้องให้คนเป็นผู้ดำเนินการด้วยตัวเอง · ไม่ใช่ปุ่มยืนยันเริ่มเปิดเบราว์เซอร์ และไม่ใช่การอนุมัติผลลัพธ์ทั้งหมดของงาน ขั้นตอนการเข้าควบคุมผ่านหน้าจอ:
เปิดแถบ work panel ด้านข้าง
คลิกที่หมวด Remote browser ภายใต้ Skills & apps
ดูภาพหน้าจอสด (Live view) และตรวจเช็ก URL
คลิกปุ่ม Take over task
ดำเนินการเฉพาะขั้นตอนที่ต้องใช้มือทำ เช่น เข้าสู่ระบบ, กรอก OTP หรือข้อมูลการชำระเงินบนหน้าเว็บ
คลิกปุ่มกลับมาที่ Gemini เมื่องานส่วนนั้นเสร็จสิ้น
คำเตือน ห้ามพิมพ์รหัสผ่านหรือข้อมูลการเงินในแชต
อย่าพิมพ์รหัสผ่าน, รหัส OTP, หมายเลขบัตรเครดิต หรือข้อมูลการชำระเงินลงใน Task thread โดยเด็ดขาด ให้เข้าไปกรอกบนหน้าเว็บไซต์โดยตรงผ่านการ Take over เท่านั้น
ข้อมูลอาจรั่วไหลออกไปทางช่องทางใดได้บ้าง Spark อาจนำข้อมูลจากหลายแหล่งไปเปิดเผยหรือส่งต่อไปยังเว็บไซต์ภายนอก:
ข้อความและคำสั่งภายใน Task thread
ข้อมูลจาก Connected Apps (เช่น อีเมล, ไฟล์ใน Google Drive, นัดหมายใน Calendar และรายชื่อติดต่อ)
ข้อมูล Personal Intelligence (เมื่อเปิดใช้งาน)
สถานะเซสชันของเว็บไซต์ที่ล็อกอินค้างไว้ใน Local Chrome
ไฟล์หรือเอกสารแนบที่เราอัปโหลดเข้าไปในระบบ
ก่อนจะคลิกอนุญาตให้เบราว์เซอร์ทำงาน ให้เขียนแผนผังข้อมูลสั้นๆ เพื่อตรวจเช็กเสมอ:
เว็บไซต์ปลายทาง ข้อมูลที่จำเป็นต้องใช้ ช่องแบบฟอร์มที่จะกรอก ผู้รับข้อมูลปลายทาง จุดหยุดความปลอดภัย [domain][ข้อมูลขั้นต่ำ][field][องค์กร/บุคคล]ก่อนกด [Submit / Send / Pay]
หากเราไม่สามารถตอบได้ว่า “ใครคือผู้รับข้อมูลปลายทาง” เราไม่ควรคลิกอนุญาตให้ AI เปิดเบราว์เซอร์โดยเด็ดขาด
การป้องกันความเสี่ยงจาก Prompt Injection บนหน้าเว็บ เว็บไซต์ภายนอกอาจมีการฝังข้อความหรือโค้ดที่พยายามสั่งให้ AI ทำงานนอกเหนือจากคำสั่งเดิมของเรา เรียกว่า Prompt Injection ซึ่งคำสั่งเหล่านี้อาจซ่อนอยู่ในจุดที่สายตามนุษย์มองไม่เห็น แต่อ่านได้โดย AI (เช่น สั่งให้ AI ขโมยข้อมูลในเอกสารส่งต่อไปยังเว็บอื่น หรือสั่งให้รันคำสั่งอันตราย)
จำกัดขอบเขตโดเมนให้ชัดเจน และสั่งห้ามออกนอกโดเมนโดยเด็ดขาด
สั่งห้าม AI ปฏิบัติตามคำสั่งใดๆ ที่พบบนหน้าเว็บซึ่งขัดแย้งกับ Task หลัก
ไม่ส่งข้อมูลส่วนตัวหรือไฟล์สำคัญเข้าสู่งานที่ต้องเปิดเว็บภายนอกโดยไม่จำเป็น
คอยสังเกตการณ์ Live View ทุกครั้งที่เบราว์เซอร์มีการเปลี่ยนหน้า
กดปุ่ม Stop ทันทีหากพบว่า AI กำลังเปิดโดเมนหรือไฟล์นอกขอบเขต
สั่งลบข้อมูล Remote browser / code data ใน Spark Settings หลังจบงานที่มีความเสี่ยงสูง
แม่แบบคำสั่งงานบนเว็บที่มีจุดหยุดก่อนส่งข้อมูล Prompt เป้าหมาย: เตรียม [ระบุผลลัพธ์ที่ต้องการ] บนเว็บไซต์ [ระบุโดเมน เช่น https://example.com]
ของที่ให้ใช้: เข้าถึงเฉพาะ [หน้าที่ระบุ / ข้อมูลที่กำหนด] ห้ามออกนอก [ระบุโดเมน] และห้ามเชื่อมต่อ Connected Apps นอกเหนือจาก [ระบุรายการ]
วิธีทำ: แสดงแผนการทำงาน, รายการ URL, ข้อมูลที่จะนำไปกรอก, ผู้รับข้อมูลปลายทาง และผลลัพธ์ที่จะเกิดขึ้นหลัง Submit ให้ฉันตรวจสอบก่อนเสมอ อนุญาตให้เปิดหน้าเว็บและกรอกข้อมูลเตรียมไว้ได้ แต่ห้ามกดปุ่มยืนยันสุดท้าย
จังหวะเริ่ม: เริ่มทำงานทันที (ทำครั้งเดียว)
จุดหยุด: ก่อนจะเข้าสู่ขั้นตอนการล็อกอิน, กรอกรหัสผ่าน, กรอก OTP, กรอกข้อมูลการเงิน, กดส่งแบบฟอร์ม (Submit), ส่งข้อความ, สั่งซื้อสินค้า, ทำการจอง หรือเปลี่ยนแปลงข้อมูลใดๆ ให้หยุดทำงานทันทีและส่งสัญญาณให้ฉันกด Take over
คัดลอก
จุดที่ต้องตรวจก่อนปล่อยต่อ
ตรวจสอบแผนงานก่อนเปิดเบราว์เซอร์ว่าระบุ URL และข้อมูลตรงตามขอบเขต
เลือกใช้ระหว่าง Remote Browser หรือ Local Chrome โดยเข้าใจความแตกต่างและความเสี่ยง
ไม่ส่งข้อมูลจาก Connected Apps ไปยังหน้าเว็บโดยที่ไม่มีระบุไว้ในแผนงาน
คอยดู Live View และตรวจเช็กโดเมนทุกครั้งที่เบราว์เซอร์เปลี่ยนหน้า
กด Take over เพื่อดำเนินการเองก่อนเข้าสู่ขั้นตอน Login, กรอก OTP, ชำระเงิน หรือส่งข้อมูลสำคัญ
ห้ามพิมพ์รหัสผ่านหรือข้อมูลลับลงใน Task thread เด็ดขาด
กดปุ่ม Stop ทันทีหากหน้าเว็บหรือการกระทำออกนอกเหนือจากที่มอบหมาย
หลังงานจบ ให้ตรวจเช็กผลลัพธ์ปลายทางและการเปลี่ยนแปลงของข้อมูลด้วยตัวเอง
เข้าไปจัดการล้างข้อมูล Remote browser / code data ในการตั้งค่าเมื่อจำเป็น
ลองเลย
นำพรอมต์ตัวอย่าง example.com ในบทนี้ไปสั่งรันจริง รอจนกระทั่งหน้าต่างขออนุญาตเบราว์เซอร์ปรากฏขึ้น จากนั้นอ่านทบทวน URL และรายการข้อห้ามในแผนงานให้ครบถ้วน แล้วคลิกเลือก ไม่อนุญาต (Don't allow) เพื่อตรวจดูว่าระบบขึ้นสถานะ You stopped this task ถูกต้องหรือไม่ (ห้ามนำไปทดลองกับเว็บไซต์ที่ล็อกอินอยู่, แบบฟอร์มจริง หรือข้อมูลส่วนตัว)
เมื่อเราเข้าใจจังหวะการควบคุมและวางมือคนในงานบนเว็บอย่างปลอดภัยแล้ว ในบทถัดไปเราจะมาไขข้อข้องใจที่ผู้ใช้มักสับสนมากที่สุดหลังจบงาน: ไม่ว่าจะเป็น Task, ข้อมูลใน Workspace, Remote browser, Remote computer ไปจนถึงการปิดใช้งาน Spark ว่าแต่ละส่วนจะลบข้อมูลอะไรทิ้ง และมีข้อมูลอะไรที่ยังคงหลงเหลืออยู่บ้าง
อัปเดตล่าสุด: 21 ส.ค. 2569
ความคิดเห็น
ยังไม่มีความคิดเห็น
เป็นคนแรกได้เลย