Cara Memeriksa dan Memperbarui Robots.txt di WordPress

By /

Berikut adalah panduan langkah demi langkah untuk memeriksa dan memperbarui file robots.txt pada website WordPress:

1. Apa Itu Robots.txt?

File robots.txt digunakan untuk memberi instruksi kepada bot mesin pencari (seperti Google) tentang halaman mana yang boleh di-crawl dan mana yang tidak boleh diindeks. Ini penting untuk mengoptimalkan SEO dan melindungi halaman tertentu dari pengindeksan.

2. Memeriksa File Robots.txt di WordPress

WordPress secara otomatis menghasilkan file robots.txt meskipun Anda tidak membuatnya secara manual. Untuk memeriksa file ini:

  1. Buka Browser:
    • Akses robots.txt Anda dengan mengetikkan URL berikut di browser:plaintextSalin kodehttps://www.domainanda.com/robots.txt
    • Gantilah domainanda.com dengan nama domain website Anda.
  2. Lihat Isi Robots.txt:
    • Anda akan melihat file robots.txt yang dihasilkan oleh WordPress atau yang telah Anda edit sebelumnya. Contoh sederhana isi dari file robots.txt yang standar:plaintextSalin kodeUser-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
  3. Catat Halaman yang Tidak Diizinkan untuk Di-crawl:
    • Disallow menunjukkan halaman atau direktori yang tidak boleh diakses oleh bot.
    • Allow memberikan pengecualian, mengizinkan bot mengakses halaman tertentu meskipun direktori induknya diblokir.

3. Memperbarui atau Mengedit File Robots.txt di WordPress

Ada beberapa cara untuk memperbarui file robots.txt di WordPress:

A. Menggunakan Plugin SEO (Contoh: Yoast SEO)

  1. Install Plugin Yoast SEO (jika belum terpasang):
    • Masuk ke dashboard WordPress.
    • Pilih Plugins > Add New.
    • Cari plugin Yoast SEO, lalu install dan aktifkan.
  2. Edit Robots.txt dengan Yoast:
    • Setelah plugin aktif, masuk ke SEO > Tools > File Editor.
    • Anda akan melihat editor untuk mengedit file robots.txt.
    • Jika file robots.txt belum ada, Yoast akan membantu membuatnya.
  3. Modifikasi Isi Robots.txt:
    • Edit sesuai kebutuhan. Contoh aturan dasar:plaintextSalin kodeUser-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-admin/admin-ajax.php
    • Klik Save Changes to robots.txt untuk menyimpan perubahan.

B. Mengedit Secara Manual Melalui FTP atau File Manager

Jika Anda ingin mengedit secara manual:

  1. Akses cPanel atau FTP:
    • Masuk ke cPanel atau gunakan aplikasi FTP seperti FileZilla untuk mengakses file website.
  2. Cari File Robots.txt:
    • Di root folder WordPress (biasanya public_html), cari file robots.txt. Jika file tidak ada, Anda bisa membuat file baru bernama robots.txt.
  3. Edit File Robots.txt:
    • Gunakan editor teks sederhana untuk membuka file.
    • Tambahkan atau modifikasi instruksi dalam file sesuai kebutuhan. Misalnya, untuk memblokir direktori tertentu dari mesin pencari:plaintextSalin kodeUser-agent: * Disallow: /private-folder/
    • Simpan perubahan dan upload file jika Anda menggunakan FTP.

C. Menggunakan Plugin Khusus Robots.txt

Jika Anda tidak ingin menggunakan plugin SEO seperti Yoast, Anda juga bisa menginstal plugin khusus untuk mengedit robots.txt:

  1. Install Plugin Robots.txt Editor:
    • Di Plugins > Add New, cari plugin Robots.txt Editor.
    • Install dan aktifkan plugin tersebut.
  2. Edit Robots.txt Melalui Plugin:
    • Setelah diaktifkan, masuk ke Settings > Robots.txt Editor.
    • Anda bisa langsung mengedit file robots.txt dan menyimpan perubahan di sini.

4. Tips Menulis File Robots.txt yang Optimal

  1. Jangan Memblokir Halaman Penting: Pastikan Anda tidak secara tidak sengaja memblokir halaman penting, seperti halaman produk (untuk eCommerce) atau posting blog.
  2. Hati-hati Memblokir JavaScript dan CSS: Google menyarankan agar Anda tidak memblokir akses ke file JavaScript dan CSS karena mereka membantu Google memahami tata letak dan fungsi situs Anda.
  3. Gunakan Alat Pengujian Robots.txt: Gunakan Google Search Console untuk menguji file robots.txt dan memastikan file tersebut berfungsi sesuai keinginan:
    • Masuk ke Google Search Console.
    • Di bagian Crawl, pilih robots.txt Tester untuk memeriksa apakah file tersebut bekerja dengan benar.

5. Verifikasi Robots.txt di Google Search Console

Setelah Anda memperbarui robots.txt, penting untuk memverifikasinya:

  1. Buka Google Search Console:
    • Masuk ke akun Google Search Console Anda.
  2. Uji Robots.txt:
    • Di bagian Crawl > robots.txt Tester, masukkan URL website Anda yang baru saja diperbarui. Google akan memberikan umpan balik apakah ada kesalahan dalam file robots.txt.
  3. Perbarui Index Google: Setelah memverifikasi, pastikan untuk meminta Google mengindeks ulang website dengan versi robots.txt yang baru.

Contoh File Robots.txt untuk WordPress

Berikut contoh file robots.txt yang baik untuk website WordPress:

plaintextSalin kodeUser-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

# Izinkan bot mengakses AJAX
Allow: /wp-admin/admin-ajax.php

# Blokir halaman arsip tertentu
Disallow: /author/
Disallow: /category/
Disallow: /tag/

# Izinkan crawling gambar untuk SEO
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

Kesimpulan

Dengan memeriksa dan memperbarui file robots.txt, Anda bisa mengontrol bagaimana mesin pencari mengindeks dan meng-crawl situs WordPress Anda. Baik menggunakan plugin seperti Yoast SEO atau mengedit secara manual melalui FTP, selalu pastikan file robots.txt dioptimalkan agar tidak memblokir konten penting dan meningkatkan SEO situs Anda.

Scroll to Top