Robots.txt adalah suatu file yang di
berguna untuk memudahkan suatu search engine mengindex halaman web kita.
Jika search engine crawler datang di web kita, maka dia akan mencari
file robots.txt dan memberitahukan search engine spider bahwa halaman
web tersebut harus di index atau di abaikan. Berikut beberapa kesalahan
mengapa robot search engine menjauh di web kita :
1. Robots.txt rusak atau berisi parameter yang salah
Jika robot google salah membaca isi robots.txt anda, maka google akan mengabaikan halaman web anda.
Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/
2. Halaman web anda mempunyai code terlalu panjangAnda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/
Jika halaman web anda berisikan code
javascript, CSS, Html dan lainnya yang terlalu banyak dan panjang, maka
akan membuat web anda susah di akses ( lambat aksesnya). Jika itu
terjadi maka robot search engine akan kesulitan untuk mengurai isi web
anda.
3. Navigasi menu web anda mempunyai masalah
Jika anda membuat menu yang menggunakan
javascript,DHTML atau AJAX, maka menu tersebut tidak bisa di index oleh
robot search engine. karena robot search engine hanya bisa mengindex
link yang menggunakan HTML.
4. URL website anda terlalu banyak variable
Jika url anda terlalu banyak variable, maka google juga akan mengabaikan halaman web anda.
Contoh URL yang terlalu banyak variable :
Pernyataan resmi dari search engine google :Contoh URL yang terlalu banyak variable :
“Google indexes dynamically generated webpages, including .asp pages, .php pages, and pages with question marks in their URLs. However, these pages can cause problems for our crawler and may be ignored.”
5. Menggunakan session ID di web anda
Search engine google tidak mau mengindex
suatu URL yang berisikan session ID karena menyebabkan duplicate
content. Penggunaan cookies lebih baik dari pada menggunakan session ID
0 comments:
Posting Komentar