Google försöker göra den osynliga webben mer synlig

Osynliga webben (eng. invisble web) är ett begrepp som syftar på sidor, dokument etc. som Google inte kan eller inte vill indexera. Vanliga exempel här är JavaScript-länkar (i menyer, popupfönster m.m.), flash-filer och framför allt sidor bakom sökformulär som göms i databaser.

Enligt Google och Matt Cutts jobbar man på att t ex hitta sätt att indexera Drop-downmenyer som sökmotorer vanligtvis inte kan hantera. Så här skriver Matt Cutts:

“Now Google is finding ways to crawl through forms and drop-down boxes. We only do this for a small number of high-quality sites right now, and we’re very cautious and careful to do the crawling politely and abide by robots.txt”.

Och angående frågan om sökresultat i våra sökresultat som Danny Sullivan ifrågasatt förklarar Matt Cutts varför Googles spindel ibland fyller i sökformulär för vissa högkvalitativa webbplatser:

“…it’s less about crawling search results and more about discovering new links. A form can provide a way to discover different parts of a site to crawl. The team that worked on this did a really good job of finding new urls while still being polite to webservers”.

Google kämpar alltså på med att göra webben mer synlig, men bäst vore naturligtvis om alla som skapar webbplatser var medvetna om denna problematik.