Googlebot Google tarafından kullanılan bir arama robotudur. Google arama motoru için web'de bulunan dökümanları toplayarak aranabilir bir indeks üretir.
Eğer bir sitenin webmaster'ı sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robots.txt dosyasına uygun komutlar girerek bunu yapabilir.
Googlebot'un deepbot ve freshbot olarak iki sürümü bulunmaktadır. Deepbot web sayfasındaki bütün bağlantıları takip ederek Google indeksleyicilerine en mümkün olan en fazla bilgiyi sağlar.
Freshbot web sitelerini onların güncellenme sıklıklarına göre ziharet ederek yeni içeriği kaydeder. Teoride freshbot günlük bir gazeteyi günde bir haftalık bir dergiyi haftada bir ziyaret etmektedir. Bu bilgi toplama işlemine aynı zamanda "Google Dance" de denmektedir
Eğer bir sitenin webmaster'ı sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robots.txt dosyasına uygun komutlar girerek bunu yapabilir.
Googlebot'un deepbot ve freshbot olarak iki sürümü bulunmaktadır. Deepbot web sayfasındaki bütün bağlantıları takip ederek Google indeksleyicilerine en mümkün olan en fazla bilgiyi sağlar.
Freshbot web sitelerini onların güncellenme sıklıklarına göre ziharet ederek yeni içeriği kaydeder. Teoride freshbot günlük bir gazeteyi günde bir haftalık bir dergiyi haftada bir ziyaret etmektedir. Bu bilgi toplama işlemine aynı zamanda "Google Dance" de denmektedir