Robots.txt adalah sebuah file teks yang digunakan oleh webmasters untuk memberikan instruksi kepada bots atau robot yang mengindeks situs web. File ini ditempatkan di akar domain dan digunakan untuk mengontrol bagian mana dari situs web yang diperbolehkan atau tidak diperbolehkan oleh robot.
Fungsi Robots.txt
Robots.txt memiliki beberapa fungsi utama, yaitu:
- Mengontrol akses dari robot ke situs web
- Mengarahkan robot pada bagian yang relevan dari situs web
- Mencegah pengindeksan beberapa bagian atau file spesifik
- Melindungi privasi dan keamanan situs web
Sintaks Robots.txt
Sintaks dalam file robots.txt terdiri dari dua elemen utama, yaitu ‘User-agent’ dan ‘Disallow’. Berikut adalah contoh sintaks:
| User-agent | Disallow |
|---|---|
| * | /example-page |
Pada contoh di atas, ‘*’ digunakan untuk mengacu pada semua robot yang mengindeks situs web. Kemudian, ‘/example-page’ menunjukkan bahwa halaman tersebut tidak diperbolehkan diindeks oleh robot.
Pertimbangan Dalam Menggunakan Robots.txt
Dalam menggunakan robots.txt, ada beberapa pertimbangan yang perlu diperhatikan:
- Pastikan tidak ada halaman yang sensitif atau penting yang terdaftar di dalam file robots.txt yang dapat diakses oleh publik
- Jangan mengandalkan file robots.txt untuk melindungi informasi yang penting atau sensitif
Cara Membuat Robots.txt
Berikut adalah langkah-langkah untuk membuat file robots.txt:
- Buka editor teks atau aplikasi yang dapat menghasilkan file teks biasa
- Buat file teks baru dan beri nama ‘robots.txt’
- Tulis instruksi yang diinginkan menggunakan sintaks yang benar
- Simpan file dan unggah ke akar domain situs web
- Verifikasi keberhasilan dengan mengakses ‘http://www.example.com/robots.txt’
Subtopik Penting dalam Robots.txt
Berikut adalah beberapa subtopik penting dalam file robots.txt:
Penggunaan Ribbon Disallow
Ribbon Disallow digunakan untuk mencegah akses robot ke bagian tertentu dari situs web. Ini berguna ketika ada halaman atau direktori yang tidak ingin diindeks oleh robot. Contoh:
| User-agent | Disallow |
|---|---|
| * | /admin |
Pada contoh di atas, ‘/admin’ adalah direktori yang tidak diperbolehkan diindeks oleh semua robot.
Penggunaan Ribbon Allow
Ribbon Allow digunakan untuk mengizinkan akses robot ke bagian tertentu dari situs web, yang sebaliknya dilarang oleh instruksi Disallow yang lebih umum. Contoh:
| User-agent | Disallow | Allow |
|---|---|---|
| * | /admin/ | /admin/features/ |
Pada contoh di atas, ‘/admin/features/’ adalah direktori yang diizinkan diakses oleh semua robot, meskipun ‘/admin’ secara umum dilarang.
Penggunaan User-agent: *
Dengan menggunakan User-agent: *, Anda memberikan instruksi untuk semua robot yang mengunjungi situs web. Ini adalah instruksi yang paling umum digunakan dalam file robots.txt. Contoh:
| User-agent | Disallow |
|---|---|
| * | /example-page |
Pada contoh di atas, semua robot dilarang mengakses ‘/example-page’.
Penggunaan User-agent: Googlebot
Penggunaan User-agent: Googlebot memungkinkan Anda memberikan instruksi khusus untuk robot Googlebot. Contoh:
| User-agent | Disallow |
|---|---|
| Googlebot | /admin |
Pada contoh di atas, Googlebot dilarang mengakses ‘/admin’.
Penggunaan Simbol Wildcard *
Simbol wildcard * digunakan untuk mengacu pada semua jenis robot. Ini memungkinkan Anda memberikan instruksi yang sama untuk semua robot yang mengindeks situs web. Contoh:
| User-agent | Disallow |
|---|---|
| * | /private |
Pada contoh di atas, semua robot dilarang mengakses ‘/private’.
Penggunaan Komentar
Anda dapat menggunakan komentar dalam file robots.txt untuk memberikan penjelasan tambahan atau catatan pribadi. Contoh:
# Halaman ini diizinkan hanya pada hari tertentu
| User-agent | Disallow | # Comment |
|---|---|---|
| * | /example-page | # Hanya pada hari Senin |
Pada contoh di atas, ‘/example-page’ hanya diizinkan diakses oleh semua robot pada hari Senin.
Penggunaan Sitemap
Anda dapat menggunakan robots.txt untuk mengarahkan robot ke sitemap XML situs web. Ini membantu robot mengindeks halaman situs secara lebih efisien. Contoh:
| User-agent | Disallow | Sitemap |
|---|---|---|
| * | http://www.example.com/sitemap.xml |
Pada contoh di atas, semua robot diizinkan mengakses sitemap.xml di situs web.