Solusi Google Crawler Tidak Dapat Fetch Robots.txt Kamu

Sebagai seorang blogger, wajar banget kalau ketemu masalah teknis di situs web. Salah satu yang bikin pusing adalah pas Google Crawler nggak bisa akses file robots.txt, padahal situs kelihatannya baik-baik aja. Kalau kamu pernah lihat error kayak "We were unable to fetch a robots.txt file," jangan panik! Kamu bisa cari tahu kenapa ini terjadi dan gimana cara ngatasinnya di sini.

Apa Itu Google Webmaster

Google Webmaster, atau yang sekarang dikenal sebagai Google Search Console, adalah alat gratis dari Google yang wajib kamu gunakan sebagai pemilik situs web. Alat ini membantu kamu memantau dan meningkatkan performa situs di hasil pencarian Google. Dengan Google Search Console, kamu bisa tahu bagaimana Google melihat situsmu, melacak peringkat kata kunci yang kamu targetkan, dan bahkan menemukan masalah teknis seperti error crawling. Intinya, alat ini sangat berguna untuk memastikan situsmu tampil optimal di mesin pencari.

Apa Itu Google Crawler

Google Crawler, atau yang sering disebut Googlebot, adalah robot otomatis yang dipakai Google buat menjelajahi dan mengindeks konten di internet. Proses ini disebut crawling. Setelah situs kamu di-crawl, informasi dari situs itu bakal dipakai buat pembaruan indeks Google, jadi kontennya bisa muncul di hasil pencarian.

Tipe-Tipe Googlebot

Googlebot hadir dalam beberapa tipe yang masing-masing punya tugas spesifik. Berikut beberapa tipe utama Googlebot:

1. Googlebot Desktop
   • Googlebot ini dirancang untuk menjelajahi situs dari sudut pandang pengguna desktop. Biasanya fokus pada bagaimana situs tampil dan berfungsi di perangkat komputer.
2. Googlebot Mobile
   • Bot ini berperan penting karena Google sekarang mengutamakan "mobile-first indexing." Artinya, Google menilai performa dan konten situs berdasarkan versi mobile-nya.
3. Googlebot Image
   • Bot ini digunakan untuk menjelajahi gambar di situs web. Googlebot Image membantu memastikan gambar bisa diindeks dengan baik dan muncul di pencarian gambar Google.
4. Googlebot Video
   • Bot ini berfokus pada konten video. Jika kamu punya video di situs, bot ini akan membantu mengindeksnya agar muncul di hasil pencarian video.
5. Googlebot News
   • Bot ini bertugas menjelajahi situs berita untuk konten terbaru, memastikan berita yang relevan segera muncul di Google News.

Mengapa Google Crawler Melakukan Crawling

Crawling adalah langkah awal agar sebuah halaman dapat muncul di hasil pencarian Google. Dengan melakukan crawling, Googlebot:

1. Mengidentifikasi konten baru atau perubahan pada halaman.
2. Memahami struktur situs untuk memberikan peringkat yang lebih relevan.
3. Memastikan situs mematuhi pedoman SEO dan tidak memiliki error teknis.

Namun, jika Googlebot tidak dapat mengakses file robots.txt, proses crawling dapat terhambat.

Permasalahan Error : We were unable to fetch a robots.txt file

Ketika menghadapi error "We were unable to fetch a robots.txt file," berikut adalah langkah-langkah yang saya ambil untuk mengidentifikasi dan menyelesaikan masalah ini.

Platform dan Layanan yang Digunakan

1. Hosting: Cloudways
2. Domain Registrar: Namecheap
3. CDN: Cloudflare

Mengapa Menggunakan Cloudways

Cloudways dipilih karena fleksibilitasnya, performa yang baik, dan kemudahan pengelolaan server. Platform ini memungkinkan pengguna untuk memilih berbagai layanan cloud seperti DigitalOcean atau AWS, memberikan kontrol penuh atas pengaturan hosting. Kalau kamu ingin mencoba Cloudways, kamu bisa daftar lewat link ini dan nikmati layanan hosting berkualitas dengan berbagai fitur unggulan!

Identifikasi Masalah dan Solusi

1. Cek Akses Robots.txt
   • Saya mencoba mengakses file robots.txt langsung melalui Google Search Console menggunakan fitur live test.
   • Hasilnya: tidak berhasil.
2. Periksa Pengaturan CDN di Cloudflare
   • Pengaturan awal SSL/TLS di Cloudflare menggunakan mode Flexible. Mode ini memungkinkan akses HTTP, namun mengarahkan semua permintaan ke HTTPS secara otomatis.
   • Saya mencoba mengganti mode SSL/TLS menjadi Full, tetapi error tetap muncul.
3. Penyebab Utama: Penggunaan Mode Flexible SSL
   • Mode Flexible menyebabkan redirect tambahan pada URL, yang tampaknya tidak dapat diikuti oleh Google Crawler.
   • Masalah ini terjadi karena saya tidak berlangganan SSL dari Namecheap maupun Cloudways.
4. Solusi yang Dilakukan
   • Saya memasang SSL gratis langsung dari Cloudways.
   • Setelah SSL terpasang, saya mengganti pengaturan SSL/TLS di Cloudflare menjadi Full.
   • Mengulangi live test di Google Search Console.
5. Hasil Akhir
   • Alhamdulillah, berhasil! Google Crawler dapat mengakses file robots.txt tanpa kendala.

Kesimpulan

Jika kamu menghadapi masalah serupa, pastikan untuk:

1. Memeriksa pengaturan SSL/TLS di layanan CDN seperti Cloudflare.
2. Menggunakan SSL penuh untuk menghindari redirect tambahan yang membingungkan Googlebot.
3. Memanfaatkan SSL gratis jika layanan domain atau hosting tidak menyediakannya secara default.

Dengan langkah-langkah ini, error "We were unable to fetch a robots.txt file" dapat diselesaikan dengan cepat dan situsmu kembali dapat di-crawl oleh Google. Semoga artikel ini membantu!