Robot.txt là gì?

Tập tin robots.txt giúp cho trình thu thập dữ liệu của các công cụ tìm kiếm biết được là có thể hay không thể yêu cầu thu thập dữ liệu từ những trang hoặc tệp nào trên trang web của bạn.

robots.txt giúp website kiểm soát việc truy cập của các con Bots đến các khu vực nhất định trên trang web. Do đó để giữ một số phần của trang ở chế độ riêng tư bạn cần nó. Tuy nhiên điều này có thể vô cùng nguy hiểm nếu bạn vô tình sai một vài thao tác khiến Googlebot không thể index website của bạn. Nếu bạn không muốn ngăn các Web Crawler tiến hành thu thập dữ liệu từ website thì bạn hoàn toàn không cần tạo robots.txt.