Trình thu thập thông tin của công cụ tìm kiếm (còn gọi là bot) lược qua tất cả nội dung mà chúng có thể tìm thấy trên internet. Họ làm như vậy bằng cách theo các liên kết nội bộ trong các trang web và các liên kết trên các trang web khác nhau. Các bot xem xét nội dung trên mỗi trang của bạn (bao gồm URL, thẻ tiêu đề, tiêu đề, liên kết, v.v.) để hiểu nội dung của mỗi trang. Nhà cung cấp công cụ tìm kiếm lấy tất cả thông tin này để xây dựng cái được gọi là chỉ mục.