The Robot Exclusion Standard - Robots.txt
Robot txt adalah sebuah file text yang dimiliki oleh website / blog, yang fungsinya untuk menginstruksikan search engine google.File robot txt biasanya digunakan oleh banyak webmaster untuk menginstruksikan search laman blog mereka. contoh menginstruksikan Directory dan URL mana yang ingin dirayapi dan bagian mana yang tidak boleh dirayapi.
Sebenarnya tanpa mengaktifkan robot.txt di blog secara manual pun blog kita tetap akan terindex oleh search engine dan tidak ada masalah jika kita tidak meng custom setting robot.txt di blog nya., karena pada blog bawaan blogger telah tersedia robot.txt. Tapi bila kita ingin lebih mengoptimalkan robot.txt agar blog lebih seo Friendly bisa menggunakan custom setting robot.txt.
Ketika robot crawler search engine mengunjungi halaman web/blog anda, maka hal pertama yang terlihat adalah file robots.txt. bagi pemakai platform Blogger secara defaul setting Robot.txt anda akan terlihat seprti ini.
Dari sini anda mempunyai pilihan untuk mengontrol bot crawler search engine dan menentukan mana yang harus di rayapi dan di indexs dari situs web atau blog sobat.
Sebelumnya hati hati jika anda ingin memasang setting Robot.txt, karna jika anda salah maka blog anda akan di abaikan oleh mesin pencari, Berikut cara setting Robot.txt pada blog.
Kode di bawah ini adalah untuk mencegah duplikat konten yang terdapat di blog Anda, Hal ini bisa disebabkan karena di akses dari mobile phone. Anda bisa mencegahnnya dengan setting robot.txt sebagai berikut.
Penjelasan pada masing masing kode yang di terapkan di atas
User-agent: Mediapartners-Google
Disallow:
Ini menunjukan bahawa bot crawler di perintah untuk merayapi atau meng-crawler adsense, baris ini bagus untuk meng-crawler adsense dan untuk mengunjungi semua halaman situs anda sesuai dengan pedoman adsense.
User-agent: *
Hal digunakan untuk bot meng-crawler semua situs halaman blog anda apakah harus di indexs atau di block
Disallow: /search
Baris ini menunjukkan bahwa setiap halaman / pencarian dalam bentuk URL tidak akan dijelajahi begitu juga halaman Label dan Arsip, Hal ini juga berguna untuk mencegah duplikat konten pada blog anda.
Disallow: /p/*
Berfungsi untuk memblokir robot menjelajah halaman blog anda. Tetapi jika anda ingin halaman anda tetap di indeks oleh crawler , Hapus saja kodenya.
Disallow: / view / *
Berfungsi untuk menghentikan robot merayapi halaman blogger dengan tampilan link dinamis. Hapus kode ini Jika anda menggunakan tampilan dinamis di blog anda.
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Kode kode ini berfungsi untuk menghentikan robot merayapi halaman redirect ke mobile phone atau tampilan handphone, Baris ini berguna untuk menghindari masalah duplikat halaman, hal itu di sebabkan jika biasnya situs anda di akses dari mobile Handphone.
Baca : Cara Mengatasi Url yang Di Cekal Robot.txt
Setelah melakukan setting, anda bisa melakukan cek pada setting Robot.txt anda, caranya :
1. Masuk ke Webmaster Tools
2. Pilih Perayapan - Penguji Robots.txt
Catatan:
Bila anda tidak tahu bagaimana cara Robot.txt bekerja sebaiknya fitur ini anda gunakan dengan hati hati. karna jika anda salah dalam melakukan settingan itu akan berakibat fatal, bisa jadi situs anda tidak akan di rayapi oleh google dalam artian Blog anda akan di abaikan oleh mesin pencari. cukup sekian dari saya terimakasih
Robot txt adalah sebuah file text yang dimiliki oleh website / blog, yang fungsinya untuk menginstruksikan search engine google.File robot txt biasanya digunakan oleh banyak webmaster untuk menginstruksikan search laman blog mereka. contoh menginstruksikan Directory dan URL mana yang ingin dirayapi dan bagian mana yang tidak boleh dirayapi.Sebenarnya tanpa mengaktifkan robot.txt di blog secara manual pun blog kita tetap akan terindex oleh search engine dan tidak ada masalah jika kita tidak meng custom setting robot.txt di blog nya., karena pada blog bawaan blogger telah tersedia robot.txt. Tapi bila kita ingin lebih mengoptimalkan robot.txt agar blog lebih seo Friendly bisa menggunakan custom setting robot.txt.
Ketika robot crawler search engine mengunjungi halaman web/blog anda, maka hal pertama yang terlihat adalah file robots.txt. bagi pemakai platform Blogger secara defaul setting Robot.txt anda akan terlihat seprti ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Dari sini anda mempunyai pilihan untuk mengontrol bot crawler search engine dan menentukan mana yang harus di rayapi dan di indexs dari situs web atau blog sobat.
Sebelumnya hati hati jika anda ingin memasang setting Robot.txt, karna jika anda salah maka blog anda akan di abaikan oleh mesin pencari, Berikut cara setting Robot.txt pada blog.
Kode di bawah ini adalah untuk mencegah duplikat konten yang terdapat di blog Anda, Hal ini bisa disebabkan karena di akses dari mobile phone. Anda bisa mencegahnnya dengan setting robot.txt sebagai berikut.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://berbagiitrick.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Penjelasan pada masing masing kode yang di terapkan di atas
User-agent: Mediapartners-Google
Disallow:
Ini menunjukan bahawa bot crawler di perintah untuk merayapi atau meng-crawler adsense, baris ini bagus untuk meng-crawler adsense dan untuk mengunjungi semua halaman situs anda sesuai dengan pedoman adsense.
User-agent: *
Hal digunakan untuk bot meng-crawler semua situs halaman blog anda apakah harus di indexs atau di block
Disallow: /search
Baris ini menunjukkan bahwa setiap halaman / pencarian dalam bentuk URL tidak akan dijelajahi begitu juga halaman Label dan Arsip, Hal ini juga berguna untuk mencegah duplikat konten pada blog anda.
Disallow: /p/*
Berfungsi untuk memblokir robot menjelajah halaman blog anda. Tetapi jika anda ingin halaman anda tetap di indeks oleh crawler , Hapus saja kodenya.
Disallow: / view / *
Berfungsi untuk menghentikan robot merayapi halaman blogger dengan tampilan link dinamis. Hapus kode ini Jika anda menggunakan tampilan dinamis di blog anda.
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Kode kode ini berfungsi untuk menghentikan robot merayapi halaman redirect ke mobile phone atau tampilan handphone, Baris ini berguna untuk menghindari masalah duplikat halaman, hal itu di sebabkan jika biasnya situs anda di akses dari mobile Handphone.
Baca : Cara Mengatasi Url yang Di Cekal Robot.txt
Setelah melakukan setting, anda bisa melakukan cek pada setting Robot.txt anda, caranya :
1. Masuk ke Webmaster Tools
2. Pilih Perayapan - Penguji Robots.txt
Catatan:
Bila anda tidak tahu bagaimana cara Robot.txt bekerja sebaiknya fitur ini anda gunakan dengan hati hati. karna jika anda salah dalam melakukan settingan itu akan berakibat fatal, bisa jadi situs anda tidak akan di rayapi oleh google dalam artian Blog anda akan di abaikan oleh mesin pencari. cukup sekian dari saya terimakasih
