Apa Itu Googlebot?

Googlebot mengunjungi triliunan page web & terus menerus mengunjungi halaman-laman tadi.

Apa itu WebCrawler?

Sebenarnya Webcrawlers yang juga disebut sebagai bots, robots, atau spiders, hanyalah sejenis software yang didesain untuk mengikuti tautan-tautan/links dan mengumpulkan data dari setiap link.

Googlebot merogoh konten dari page-laman web, misalnya kata-istilah, kode, dan sumberdaya yang menyusun laman web tersebut.

Kalau di pada konten yg diambilnya terdapat link menuju page lain, maka link-link itu akan dicatat.

Googlebot dan Website Anda

Informasi yang dikirimkan oleh Googlebot akan memperbarui index Google. Index inilah tempat di mana semua halaman web akan dibandingkan dan diberi ranking menurut kata kunci.

Jadi langkah pertama agar halaman website anda bisa ada di dalam index ini adalah membuat website anda bisa terlihat dan bisa diakses oleh Googlebot.

Apakah Googlebot Bisa Melihat Halaman Web Saya?

Untuk mengetahui apa yang bisa dilihat oleh Googlebot dari situs anda, lakukan hal ini di pencarian Google. Masukkan pencarian berikut:

Site:namadomain.Com

Ini adalah perintah untuk menampilkan semua halaman yang dikumpulkan Googlebot ke dalam Google index.

Dari sini anda bisa melihat ada berapa poly laman anda yg terdapat di dalam index Google. Apakah jumlahnya masuk akal, kurang, atau malah terlalu hiperbola?

Jika kurang, maka bisa saja terdapat page yang anda anggap seharusnya masuk ke pada index Google malah secara nir sengaja anda blokir menggunakan robots.Txt.

Kalau hiperbola, maka bisa jadi ada halaman-laman yg nir anda inginkan masuk malah terindeks; atau bahkan website anda secara nir sengaja menciptakan poly duplikat konten karena sistem berdasarkan tema yang dipakai.

Mana saja yang terjadi pada antara keduanya akan menghambat SEO dari website anda.... Apabila laman yg terindeks kurang, maka kurang pula poin yang harusnya anda dapatkan; dan kebalikannya bila laman yg terindeks hiperbola, maka poin setiap laman pula menjadi lebih mini lantaran pembaginya jadi lebih banyak....

Jadi jika anda baru pertama kali belajar SEO, maka mengamati index Google adalah salah satu hal yang harus anda pahami.

Apakah Google bisa mengakses seluruh konten & tautan?

Tidak semua yang ada di dalam halaman kita bisa diakses oleh Google, jadi anda harus tahu apakah elemen penting dari halaman yang anda harapkan bisa membantu SEO bisa dilihat oleh Google.

Ada poly jenis kasus yang mengakibatkan Google tidak sanggup melihat semua isi konten di pada website kita. Beberapa pada antaranya merupakan:

1. Diblokir robots.txt
2. Link tidak terbaca (broken link)
3. Memakai teknologi flash yang belum bisa dilihat Googlebot
4. Kode yang error
5. Link dinamis yang terlalu rumit

apabila anda mau mengetahui apakah semua komponen laman anda bisa dipandang sang Google, maka coba lakukan FETCH AND RENDER pada Search console; lihat apakah Google bisa merayapi semuanya atau hanya sebagian.

Atau anda bisa pula mencari page anda di Google menggunakan operator site: tadi, dan selesainya hasil pencarian keluar, coba lihat CACHE Google menurut panah mini yg ada di setiap hasil pencarian (lihat gambar pada bawah)

Bisakah Googlebot dikendalikan?

Ya, Google adalah perusahaan yang menghargai aturan di dalam robots.txt. Jadi robotnya tidak akan mengumpulkan data dari halaman-halaman yang dilarang.

Secara holistik terdapat beberapa cara anda bisa mengatur robot google:

1. Memakai robots.txt
2. Memasukkan meta robots di halaman
3. Menggunakan instruksi robot di header
4. Memakai peta situs
5. Memakai Google Search Console

Tapi yg paling generik dipakai adalah robots.Txt

Apa itu Robots.Txt?

Ini adalah file yang berisi aturan bagaimana seharusnya robot perayap berinteraksi di halaman web anda. Yang perlu anda ketahui adalah;... hanya karena website anda menggunakan robots.txt bukan berarti semua robot akan mengikuti aturan yang ada di dalamnya.

Robot menurut pihak yg tidak baik tentu saja nir akan mempedulikan aturan di pada robots.Txt ini.

Khusus Googlebot; anda mampu mengatur page mana yg boleh dan tidak boleh diakses sang Googlebot ketika datang ke website anda. Hanya saja pembahasan robots.Txt ini cukup kompleks jadi akan dibahas nanti pada artikel tersendiri.

Googlebot dan Peta Situs

Peta situs atau biasa disebut sitemap adalah cara untuk membantu google memahami struktur dari website anda.

Google mengatakan terdapat beberapa syarat pada mana anda sangat perlu memakai peta situs...

1. Anda membuat website yang sangat besar
2. Website anda mempunyai banyak konten tapi saling terisolasi dan tidak mempunyai struktur link yang baik
3. Situs anda masih baru dan hanya sedikit backlink yang masuk; jadi Google lebih mengandalkan peta situs untuk perayapan semua halaman baru.

Tipe-Tipe Googlebot

Googlebot mempunyai 9 tipe yang berbeda dengan fungsi yang berbeda pula. Kesembilan Googlebot tersebut adalah:

1. Googlebot (Google Web search)
2. Google Smartphone
3. Google Mobile (Feature phone)
4. Googlebot Images
5. Googlebot Video
6. Googlebot News
7. Google Adsense
8. Google Mobile Adsense
9. Google Adsbot (landing page quality check)

Kalau ada yang mau info yang lebih detilnya bisa kunjungi halaman penjelasan Google Crawlers.