Sebelum membahas tentang bagamana cara mengatasi URL yang di cekal oleh robot.txt, untuk mengetahui jumlah URL yang di cekal Robot.txt silahkan masuk ke Webmaster tools Google. Tpi bila anda belum mendaftarkan blog website anda ke webmaster tools maka tidak akan ketahuan berapa jumlah url yang dicekal Robot.txt tersebut. Masuk ke menu Perayapan dan lihat ada berapa Url yang terindeksoleh google dan juga yang di cekal Robot.txt.
Url yang dicekal robot.txt sangat perlu untuk anda perbaiki, sebab jiak tidak segera di perbaiki, akan berdampak buruk dalam traffick blog anda.
Caranya sangat mudah, cukup hanya dengan merubah sedikit perubahan pada setting Robot.txt anda. Berikut cara untuk mengatasi URL yang di cekal Robot.txt.
1. Masuk Dashboard > Setelan > Preferensi Penelusuran
2. Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus
3. Aktifkan konten robots.txt khusus
4. Lihat setting defaul Robot.txt anda seperti ini
Anda tinggal hapus saja ( /search )
Disallow:/search - Hal ini menandakan bahwa semua robot mesin pencari tidak boleh mengindeks page label. hal ini berguna untuk menengah duplikasi artikel yang sangat tidak disukai oleh google.
5. Selanjutnya aktifkan Tag tajuk Robot.txt khusus, dan setting seperti gambar di bawa
Terakhir simpan perubahan, untuk melihat hasilnya memang tidak langsung, tunggu beberapa hari ke depan perlahan lahan URL yang di Cekal robot sedikit demi sedikit akan hilang.
Url yang dicekal robot.txt sangat perlu untuk anda perbaiki, sebab jiak tidak segera di perbaiki, akan berdampak buruk dalam traffick blog anda.
Caranya sangat mudah, cukup hanya dengan merubah sedikit perubahan pada setting Robot.txt anda. Berikut cara untuk mengatasi URL yang di cekal Robot.txt.
1. Masuk Dashboard > Setelan > Preferensi Penelusuran
2. Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus
3. Aktifkan konten robots.txt khusus
4. Lihat setting defaul Robot.txt anda seperti ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /seacrh
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=updated
Disallow:
User-agent: *
Disallow: /seacrh
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=updated
Anda tinggal hapus saja ( /search )
Disallow:/search - Hal ini menandakan bahwa semua robot mesin pencari tidak boleh mengindeks page label. hal ini berguna untuk menengah duplikasi artikel yang sangat tidak disukai oleh google.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=updated
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=updated
5. Selanjutnya aktifkan Tag tajuk Robot.txt khusus, dan setting seperti gambar di bawa
Terakhir simpan perubahan, untuk melihat hasilnya memang tidak langsung, tunggu beberapa hari ke depan perlahan lahan URL yang di Cekal robot sedikit demi sedikit akan hilang.
