Apabila situs anda tidak ingin di index oleh mesin pencari, misalnya karena alasan privasi atau keamanan (terindex konten judi online atau hal lainnya). Maka anda bisa mencoba memanfaatkan file robots.txt untuk membloknya.
Buat file robots.txt di public_html dan isi dengan kode dibawah ini
User-agent: *
Disallow: /
Pastikan file robots.txt bisa diakses menggunakan url domain anda misalnya https://namadomain.com/robots.txt
