Mencari informasi dengan perayapan

Kami menggunakan perangkat lunak yang disebut dengan “perayap web” untuk menemukan laman web yang tersedia untuk publik. Perayap yang paling terkenal disebut “Googlebot”. Perayap melihat laman web dan mengikuti tautan pada laman tersebut, hampir sama seperti yang Anda lakukan jika Anda menjelajahi konten di web. Perayap membuka tautan satu ke tautan lainnya dan membawa data tentang laman web tersebut kembali ke server Google.

Proses perayapan dimulai dari daftar alamat web dari perayapanpetasitus sebelumnya yang diberikan oleh pemilik situs web. Saat perayap kami mengunjungi situs web ini, perayap mencari tautan laman lain untuk dikunjungi. Perangkat lunak ini memberikan perhatian khusus terhadap situs baru, perubahan terhadap situs yang sudah ada, dan tautan yang mati.

Program komputer menentukan situs mana yang akan dirayapi, seberapa sering, dan berapa banyak laman yang akan diambil dari setiap situs. Google tidak menerima pembayaran agar suatu situs bisa dirayapi lebih sering untuk hasil penelusuran web kami. Kami lebih peduli akan hasil sebaik mungkin  karena dalam jangka panjang, itulah yang terbaik untuk pengguna dan bagi bisnis kami.

Pilihan untuk pemilik situs web

Kebanyakan situs web tidak perlu menyiapkan batasan untuk perayapan, pengindeksan, atau penayangan, sehingga laman mereka layak untuk muncul dalam hasil penelusuran tanpa kerja ekstra. Artinya, pemilik situs memiliki banyak pilihan tentang cara Google merayapi dan mengindeks situs mereka melalui Alat Webmaster dan sebuah file yang disebut “robots.txt”. Dengan file robots.txt, pemilik situs dapat memilih untuk tidak dirayapi oleh Googlebot, atau mereka dapat memberikan petunjuk yang lebih spesifik tentang cara memproses laman di situs mereka.

Pemilik situs memiliki pilihan detail dan dapat memilih cara konten diindeks dalam basis laman per laman. Contohnya, mereka dapat ikut serta untuk menampilkan laman tanpa cuplikan (ringkasan laman yang ditampilkan di bawah judul di hasil penelusuran) atau versi dalam cache (versi alternatif yang disimpan di server Google apabila laman langsung tidak tersedia). Webmaster juga dapat memilih untuk mengintegrasikan penelusuran ke dalam laman mereka sendiri dengan Penelusuran Khusus.

Mengatur informasi dengan pengindeksan

Web itu bagaikan perpustakaan umum yang terus berkembang dengan miliaran buku dan tanpa administrasi pusat. Google pada dasarnya mengumpulkan laman selama proses perayapan, lalu membuat indeks, sehingga kami tahu persis cara untuk mencari sesuatu. Hampir seperti indeks di bagian belakang buku, indeks Google meliputi informasi tentang kata dan lokasinya. Saat Anda menelusuri, pada level yang paling dasar, algoritme kami mencari istilah penelusuran Anda di indeks untuk menemukan laman yang sesuai.

Setelah itu, proses penelusuran menjadi jauh lebih kompleks. Saat menelusuri  “anjing” Anda tidak menginginkan laman dengan kata “anjing” ratusan kali di dalamnya. Mungkin Anda menginginkan gambar, video, atau daftar jenis anjing. Sistem pengindeksan Google mencatat banyak aspek laman yang berbeda, misalnya kapan laman dipublikasikan, apakah laman tersebut berisi gambar atau video, dan masih banyak lagi. Dengan Grafik Pengetahuan, kami tidak sekedar mencocokkan kata kunci. Kami terus berusaha lebih memahami orang, tempat, dan hal yang penting bagi Anda.