Robots Metadata

Tidak setiap halaman layak tampil pada hasil pencarian: halaman ucapan terima kasih setelah checkout, salinan cetak, dan hasil pencarian internal situs justru memperkeruh indeks bila ikut terambil. Untuk kasus seperti itu, head menyediakan meta robots: satu baris yang memberi instruksi indeks kepada perayap. Pada Chapter ini kita memakai direktifnya satu per satu, memisahkan tugasnya dari file robots.txt, dan memasangnya pada halaman nyata.

Direktif yang Dikenali Perayap #

Nilai meta robots ditulis sebagai daftar direktif yang dipisah koma pada atribut content. Tanpa meta robots sama artinya dengan index, follow, sehingga baris ini hanya perlu ditulis saat kita ingin mengubah perilaku bawaan. Tabel berikut merangkum direktif yang paling umum:

<meta name="robots" content="noindex, nofollow">

Direktif dapat digabung: contoh di atas mengeluarkan halaman dari indeks sekaligus melarang tautannya diikuti.

Meta robots vs File robots.txt #

File robots.txt dan meta robots sering dianggap satu fungsi, padahal keduanya bekerja di lapisan berbeda. MDN merangkumnya ringkas: robots.txt mengendalikan crawling, sedangkan meta robots memengaruhi pengindeksan dan perilaku tampilan lainnya. Perbandingan singkatnya:

• robots.txt: file teks di akar situs; mengatur jalur yang boleh dilalui perayap; berguna menghemat crawl budget, yaitu jatah kunjungan perayap ke sebuah situs.
• meta robots: baris per halaman di dalam head; mengatur indeks, tautan, arsip, dan cuplikan; harus terbaca langsung oleh perayap.

Menyasar Crawler Tertentu #

Atribut name=“robots” menyasar seluruh perayap kooperatif sekaligus. Untuk menunjuk satu mesin saja, ganti nilainya dengan nama crawler: MDN menjelaskan bahwa googlebot adalah sinonim dari robots yang hanya diikuti crawler indeks Google, dan mesin lain menyediakan nama serupa. Pola ini berguna bila satu layanan memerlukan aturan yang berbeda dari aturan umum situs.

Contoh Halaman Terima Kasih tanpa Indeks #

File berikut adalah halaman yang hanya dimaksudkan bagi pengunjung yang baru menyelesaikan pesanan:

<!doctype html>
<html lang="id">
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1">
  <meta name="robots" content="noindex, nofollow">
  <title>Terima Kasih — Toko Budi</title>
</head>
<body>
  <h1>Terima kasih telah memesan</h1>
  <p>Pesanan nomor 2046 telah kami terima. Rincian pesanan dikirim ke email [email protected].</p>
</body>
</html>

Output yang Dihasilkan:

Jendela browser menampilkan:
  - Judul "Terima kasih telah memesan" di dalam halaman
  - Teks "Terima Kasih — Toko Budi" pada tab browser
  - Di mata mesin pencari: halaman ini tidak masuk indeks

Mari kita telaah peran setiap baris penting di atas:

1. Baris 6 (<meta name="robots">): noindex, nofollow — halaman tidak masuk indeks dan tautannya tidak diikuti.
2. Baris 7 (<title>): teks tab yang hanya dilihat pengunjung halaman ini.
3. Baris 11 (<p>): rincian pesanan; konten halaman ini ditulis untuk manusia, bukan mesin pencari.

Pengaturan indeks kini beres. Chapter berikutnya beralih ke metadata kecil yang tampil di banyak tempat sekaligus: favicon pada tab browser, bookmark, dan layar utama ponsel.

Referensi resmi untuk pendalaman:

• MDN Web Docs — meta name robots
• MDN Web Docs — meta name
• MDN Web Docs — Elemen meta

<!doctype html>
<html lang="id">
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1">
  <meta name="robots" content="noindex, nofollow">
  <title>Terima Kasih — Toko Budi</title>
</head>
<body>
  <h1>Terima kasih telah memesan</h1>
  <p>Pesanan nomor 2046 telah kami terima. Rincian pesanan dikirim ke email [email protected].</p>
</body>
</html>