เนื้อหา
ผู้ค้นหาอินเทอร์เน็ตเช่น Google, Yahoo และ Bing ค้นหาข้อมูลโดยใช้ลิงก์และแผนผังไซต์สำหรับเว็บไซต์อื่น ๆ เครื่องมือค้นหาเหล่านี้สามารถค้นหาข้อมูลที่คลุมเครือที่สุดและรวมไว้ในดัชนีของคุณและเทคโนโลยีการค้นหาประเภทนี้มีข้อดีและข้อเสียสำหรับผู้ใช้
หน้าเครือข่ายภายใน
หน้าเครือข่ายภายในคือหน้าต่างๆในเว็บไซต์ที่ผู้ใช้ต้องการคลิกจำนวนมาก หน้าเหล่านี้อาจเป็นผลิตภัณฑ์เนื้อหาหรือฐานข้อมูลการค้นหาที่เครื่องมือค้นหาไม่สามารถติดตามได้ตามปกติ ข้อดีของเทคโนโลยีประเภทนี้ซึ่งป้องกันการรวบรวมข้อมูลจากเครื่องมือค้นหาคือเจ้าของเว็บไซต์สามารถมีผลิตภัณฑ์การสั่งซื้อข้อมูลและลิงก์สำคัญอื่น ๆ ที่รวมอยู่ในดัชนีเครื่องมือค้นหา สิ่งนี้จะช่วยให้เจ้าของเว็บไซต์สามารถมองเห็นอินเทอร์เน็ตได้มากขึ้น
ข้อมูลส่วนบุคคล
ข้อเสียอย่างหนึ่งของเครื่องมือค้นหาที่รวบรวมข้อมูลคือการจัดทำดัชนีข้อมูลส่วนบุคคลโดยไม่คำนึงถึงความเป็นส่วนตัว ข้อมูลเช่นหมายเลขความปลอดภัยข้อมูลทางการเงินหรือที่ตั้งทางภูมิศาสตร์สามารถจัดทำดัชนีแม้ว่าจะถูกโพสต์บนเว็บไซต์ส่วนตัว ผู้ค้นหาให้ความสามารถแก่ผู้ใช้ในการบล็อกข้อมูลดัชนีโดยใช้ไฟล์ชื่อ "robots.txt" ตัวอย่างเช่นเครื่องมือค้นหาเช่น Google อนุญาตให้ผู้ใช้ลบ URL หลังจากที่เจ้าของเว็บไซต์ลบข้อมูลที่ไม่เหมาะสมซึ่งถูกลบออกจากดัชนี
ระบบอัตโนมัติ
เจ้าของเว็บไซต์สามารถจัดทำดัชนีหน้าเว็บของตนได้โดยปล่อยลิงก์ไว้ในเว็บไซต์อื่นหรือแม้แต่ในเว็บไซต์ของตนเอง การปฏิบัตินี้เรียกว่า "ลิงก์ย้อนกลับ" เว็บไซต์ที่ใช้ประโยชน์จากคุณสมบัตินี้จะถูกติดตามโดยเครื่องมือค้นหาโดยอัตโนมัติซึ่งจะสามารถทำแผนที่และจัดทำดัชนีเว็บไซต์ได้ สิ่งนี้จะช่วยลดสถานการณ์ของเจ้าของเว็บไซต์เนื่องจากพวกเขาไม่จำเป็นต้องส่งชื่อโดเมนไปยังเครื่องมือค้นหา การทำดัชนีอัตโนมัติทำให้ผู้อ่านอินเทอร์เน็ตค้นหาได้ง่ายขึ้น
