Apa itu robots txt?, apa fungsinya sehingga file ini cukup penting berada dalam folder root website kita.
Robots txt adalah file sederhana dengan ukuran yang kecil dan diletakkan di folder root website kita. Fungsi robots txt yaitu sebagai informan kepada spider dari mesin pencari.
Setiap mesin pencari seperti google, yahoo, yandex dan lainnya memiliki sistem spider yang otomatis menjelajah setiap website di seluruh dunia. Spider ini melihat setiap file dan content website yang nantinya digunakan sebagai acuan untuk rangking pada mesin pencari seperti google, yahoo dan yandex.
Nah fungsi dari robot txt ini adalah memberikan informasi ke robot google halaman mana yang harus dirayapi dan mana yang harus diabaikan. Jadi fungsinya cukup penting bagi para pembuat website yang ingin terindex dan bisa berada di halaman terbaik mesin pencari.
Lantas bagaimana cara seting robots txt ini jika kita menggunakan VPS dengan web server Nginx. Sebelum seting file ini tentunya sudah terlebih dahulu terinstall Nginx dan WordPress. Silahkan cek panduan berikut untuk proses instalasai Nginx dan WordPress.
Setelah install wordpress kita perlu install plugin SEO yang akan membantu dalam seting SEO web kita. Nah disini kami menggunakan All in One SEO , fiturnya lumayan lengkap. Pada bagian alat atau tool plugin ini menginformasikan robots txt belum terdekteksi.
Buat robots txt dengan masuk menu tools / alat dan aktivkan custome Robots.txt. Kemudian isikan kolom-klomnya sesuai gambar berikut ini.
Selanjutnya copy semua isi robots.txt dan buat file baru di folder root website dengan nama robots.txt .
Buka terminal di VPS kemudian masuk ke folder root website cd /var/www/folder_web_anda dan buat file robots.txt, nano robots.txt . Copy paste isi file robots txt yang dibuat di plugin AIOSEO .
Set owner dari file robots.txt , chown www-data:www-data robots.txt .
Seting vhost, tambahkan script berikut : (Cara Set Vhost di Nginx)
location = /robots.txt {
allow all;
log_not_found off;
access_log off;
}
Restart Nginx, service nginx restart . Selanjutnya cek kembali plugin AIOSEO apakah plugin sudah berhasil terbaca.
