Panduan Lengkap Cara Setting Robot Txt di Blogger

Mungkin nama ini tidak asing lagi bagi para blogger, namun saya yakin ada beberapa yang masih belum tahu apa itu robot txt. Nah maka dari itu dalam artikel kali ini saya akan memperkenalkan kepada anda. Sebelum anda membuat robot txt, di sini saya akan menjelakan sedikit tentang :

   - Apa bobot txt itu?
   - Apa fungsi robot txt?
   - Bagaimana cara setting robot txt di blogger?
   - Bagaimana cara menggunakannya di blogger?

Apa Robot Txt itu?

Protokol pengecualian robot atau juga di kenal dengan robot txt adalah sebuah file yang berbentuk teks yang bertujuan untuk mencegah perayapan web untuk menjelajahi seluruh web yang ada di internet.

Apa Fungsi Robot Txt?

Robot txt memiliki fungsi memberikan sebuah komando tertentu kepada mesin pencari ketika mereka ingin mencoba menjelajahi website anda. Misalnya Google ingin menjelajahi website anda, maka file yang pertama kali di crawl adalah file dari robot txt itu sendiri. Nah jadi mesin pencari akan tahu apakah ingin menjelajahi seluruh website anda secara keseluruhan atau sebagian atau tidak menjelajahi sama sekali.

Bagaimana Cara Setting Robot Txt di Blogger

Caranya cukup mudah asalkan kalian membaca, memahami, mempelajari lalu melakukannya. Silahkan Copy Paste script di bawah ini, saya saranin tulis menggunakan notepad agar mudah mengedit dan memindahkannya.

1. Robot txt default asli bawaan dari blogger

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://blog-anda.blogspot.com/sitemap.xml

Keterangan :
User-agent: Mediapartners-Google [ Penanda blog anda menggunakn Googe Adsense ]
Disallow: [ Tidak diizinkan / melarang ]
User-agent: * [ Semua robot pencari ]
Disallow: /search [ Melarang URL setelah /search ]
Allow: / [ Diizinkan untuk dirayapi ]
Sitemap: https://blog-anda.blogspot.com/sitemap.xml [ Peta situs blog anda ]

2. Robot txt custom

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /p/about.html

Disallow: /p/contact.html

Allow: /

Sitemap: https://blog-anda.blogspot.com/sitemap.xml

Keterangan:
Pada custom berwarna biru yang saya buat di atas ini melarang mesin pencari merayapi halaman about dan contact pada website anda. Jika salah satu yang berwarna biru anda rubah dengan privacy policy, maka akan melarang mesin pencari merayapi halman privacy policy.

Bagaimana Cara Menggunakannya di Blogger?

Jika anda ingin mengcustom robot txt dan tajuk robot kusus di blogger, ada beberapa langkah yang harus anda terapkan.

Baca Juga : Cara Memasang Tempat Viomagz

Langkah pertama jika ingin mengaktifkan robot txt custom, anda login terlebih dahulu pada blogger, lalu klik setelan dan pilih preferensi penelusuran.

Langkah kedua jika ingin mengaktifkan tag tajuk robot kusus, silahkan klik setelan lalu pilih preferensi penelusuran dan pilih tajuk robot kusus di bawah robot txt.

Tujuan pada settingan di atas untuk memperbolehkan mesin pencari mengindeks semua isi blog, namun tidak memperbolehkan mesin pencari mengindeks laman arsip dan penelusuran.

Demikian artikel tentang panduan lengkap cara setting robot txt di blogger, berhati-hatilah dalam bertindak. Semoga artikel ini bermanfaat

Share this post