AI crawler เข้ามาที่เว็บคุณแล้วหรือยังนั้น ดูได้ตรงๆ จาก log ของเซิร์ฟเวอร์ และการตรวจสุขภาพมาตรฐานของ GetGeoRank เช็ก user agent 16 ตัวจากผู้ให้บริการ AI รายหลัก การเห็น user agent อย่าง GPTBot, ClaudeBot, PerplexityBot โผล่มา (หรือโผล่ถี่ขึ้น) คือสัญญาณวัดได้อันแรกว่างานด้านการเข้าถึงมีผลจริง
ใน log มองหาชื่ออะไรบ้าง
ใน log ของเซิร์ฟเวอร์ ชื่อที่มองหาคือชื่อ user agent ใน user agent 16 ตัวที่การตรวจสุขภาพมาตรฐานของ GetGeoRank เช็ก ส่วนของ OpenAI คือ GPTBot (เก็บข้อมูลเทรน), OAI-SearchBot (ดัชนีค้นหา), ChatGPT-User (เปิดดูตอนผู้ใช้ถาม) บอตที่ชื่อลงท้ายว่า -User (ChatGPT-User, Perplexity-User) ดึงหน้าเว็บตอนที่ผู้ใช้กำลังถามคำถามอยู่ รายชื่อ user agent ที่เหลือทั้งหมดอยู่ที่ AI crawler 16 ตัวที่ต้องสนใจ และวิธีเช็กใน 5 นาทีว่าเข้าเว็บคุณได้ไหม
แก้ robots.txt แล้ว อีกนานแค่ไหนถึงควรไปเช็ก log อีกที
แก้ robots.txt วันนี้ AI crawler ที่เคยเด้งออกจากเว็บก็เริ่มดึงหน้าเว็บได้ภายในไม่กี่วัน ข้อนี้ใช้ได้กับกรณีที่บอตเคยถูกกันไว้ก่อนแล้วเพิ่งแก้ไขให้ผ่านได้ นี่คือช่วงเวลาที่ควรกลับไปเปิด log อีกครั้งเพื่อดูว่าชื่อในหัวข้อก่อนหน้าโผล่มาหรือยัง
เห็นบอตใน log แล้ว แปลว่าอะไร
ก่อนจะไปถึงเรื่องคุณภาพเนื้อหา มีคำถามที่ตอบได้แค่ใช่หรือไม่ใช่ก่อน คือ AI crawler ดึงหน้าเว็บของคุณได้จริงหรือเปล่า การที่บอตเข้าเว็บได้ ไม่เท่ากับการถูกอ้างอิง เอนจินต้องกลับมาดึงหน้าที่แก้แล้ว ดัชนีของมันต้องรีเฟรช และเนื้อหาของคุณต้องชนะสิ่งที่มันเลือกใช้อยู่ตอนนี้สำหรับคำถามนั้น
ถ้าอยากรู้ว่า AI พูดถึงแบรนด์ของคุณแล้วหรือยัง วิธีเช็กเองอยู่ที่ จะเช็กเองได้ยังไงว่า ChatGPT พูดถึงแบรนด์เราหรือยัง
การถูกอ้างอิงใช้เวลานานแค่ไหน
การถูกอ้างอิงในคำตอบของ AI ปกติใช้เวลา 2 ถึง 8 สัปดาห์หลังแก้ไขเนื้อหา รายละเอียดไทม์ไลน์ทั้งหมดอยู่ที่ อีกนานแค่ไหน AI ถึงจะเอ่ยชื่อแบรนด์คุณ? ไทม์ไลน์ตามจริง
เนื้อหาที่ต้องพึ่ง JavaScript ถึงจะปรากฏ คือเนื้อหาที่ AI บางเอนจินอ่านไม่ได้ วิธีตรวจสอบเรื่องนี้อยู่ที่ ทำไม AI อาจเห็นเว็บของคุณเป็นหน้าว่างเปล่า (และวิธีตรวจสอบใน 30 วินาที)
ถ้าไม่เห็นบอตใน log เลย เช็กอะไรต่อได้บ้าง
เปิด yourdomain.com/robots.txt แล้วอ่านแบบที่เครื่องอ่าน คือดูว่ากลุ่ม User-agent ไหนครอบคลุมบอตแต่ละตัว และอนุญาตหรือไม่ ตั้ง Disallow: / ไว้กับบอตที่ไม่รู้จัก พบบ่อยในเทมเพลต robots.txt ที่อนุญาตเฉพาะ Googlebot กับ Bingbot ทำให้ AI crawler ทุกตัวตกอยู่ในกลุ่ม "ไม่รู้จัก"
ดึงหน้าแรกโดยสวมรอยเป็นบอตแล้วดูสถานะที่ได้ จากเทอร์มินัลใดก็ได้ ใช้คำสั่ง curl -sI -A "GPTBot" https://yourdomain.com/ แล้วอ่านบรรทัดแรกของคำตอบ ถ้าได้อย่างอื่นที่ไม่ใช่ 200 (เช่น 403, 406, 429) แปลว่ามีชั้นอื่นเหนือ robots.txt บล็อกอยู่ ส่วนใหญ่คือ WAF
| เช็กอะไร | ผลที่เห็นบอกอะไร |
|---|---|
| user agent ของ AI crawler ใน log ของเซิร์ฟเวอร์ | เห็นชื่ออย่าง GPTBot, ClaudeBot, PerplexityBot โผล่มาหรือโผล่ถี่ขึ้น เป็นสัญญาณวัดได้อันแรกว่างานด้านการเข้าถึงมีผลจริง |
| กลุ่ม User-agent ใน robots.txt | บอกว่ากลุ่มไหนครอบคลุมบอตตัวไหน และอนุญาตหรือไม่ ถ้าตั้ง Disallow: / ไว้กับบอตที่ไม่รู้จักแบบที่อนุญาตเฉพาะ Googlebot กับ Bingbot บอตของ AI ทุกตัวจะตกอยู่ในกลุ่มนั้น |
| สถานะตอนดึงหน้าแรกโดยสวมรอยเป็นบอต | ถ้าได้อย่างอื่นที่ไม่ใช่ 200 (เช่น 403, 406, 429) บอกว่ามีชั้นอื่นเหนือ robots.txt บล็อกอยู่ ส่วนใหญ่คือ WAF |
รายละเอียดวิธีเช็กแบบเต็มอยู่ที่ AI crawler 16 ตัวที่ต้องสนใจ และวิธีเช็กใน 5 นาทีว่าเข้าเว็บคุณได้ไหม
คำถามที่พบบ่อย
ถ้าใน log ไม่เห็นบอตของ AI เลย เช็กอะไรต่อได้บ้าง?
สิ่งที่เช็กต่อได้คือเปิด robots.txt ดูว่ากลุ่ม User-agent ไหนครอบคลุมบอตแต่ละตัว และอนุญาตหรือไม่ แล้วลองดึงหน้าแรกโดยสวมรอยเป็นบอตดูสถานะที่ได้ ถ้าได้อย่างอื่นที่ไม่ใช่ 200 เช่น 403, 406 หรือ 429 แปลว่ามีชั้นอื่นเหนือ robots.txt บล็อกอยู่ ส่วนใหญ่คือ WAF
เห็นบอตของ AI โผล่ใน log แล้ว แปลว่าเราถูกอ้างอิงแล้วหรือยัง?
การที่บอตเข้าเว็บได้ ไม่เท่ากับการถูกอ้างอิง เอนจินต้องกลับมาดึงหน้าที่แก้แล้ว ดัชนีของมันต้องรีเฟรช และเนื้อหาของคุณต้องชนะสิ่งที่มันเลือกใช้อยู่ตอนนี้สำหรับคำถามนั้น
เห็นชื่อ ChatGPT-User ใน log แปลว่าอะไร?
บอตที่ชื่อลงท้ายว่า -User อย่าง ChatGPT-User และ Perplexity-User ดึงหน้าเว็บตอนที่ผู้ใช้กำลังถามคำถามอยู่