Robots txt noindex là hai cơ chế khác nhau nhưng thường bị nhầm lẫn trong SEO. Robots.txt chủ yếu dùng để kiểm soát việc Googlebot có được crawl một URL hay không, còn Noindex dùng để yêu cầu công cụ tìm kiếm không đưa trang đó vào chỉ mục. Nếu muốn Google đọc được thẻ Noindex, bạn không nên chặn URL bằng robots.txt trước đó, vì bot có thể không truy cập được trang để nhận chỉ thị.