Seiten und folgt dann den Links jeder einzelnen Seite. Zumindest in
der Theorie wird daher früher oder später jede Webseite gefunden
werden. Suchmaschinen schicken Hunderte dieser Programme von
einer Vielzahl von Servern aus gleichzeitig auf die Reise.
Besucht nun ein Spider Ihre Homepage, lädt er den Inhalt Ihrer Seite
in eine Datenbank. Für manche Spider ist das die einzige Aufgabe,
die Indizierung wird dann von einem eigenen Spider vorgenommen –
in einer Datenbank mit Milliarden von Webseiten.
Ein anderer Typ von Spider ist der „404 spotter“. Er hilft
Suchmaschinen dabei, zu verhindern, dass Besucher auf Seiten
geführt werden, die online nicht mehr existieren. Diese Spider gehen
von der Homepage weg von Page zu Page und versuchen, jede
einzelne Page zu laden. Kann eine davon nicht gefunden werden,
liefert der betreffende Server eine „404“ Fehlermeldung, die anzeigt,
dass diese Seite derzeit online nicht verfügbar ist.
Findet ein Spider eine Seite nicht, wird sie aus dem Index
genommen. Aus diesem Grund ist ein guter Web Hosting Provider so
wichtig. Ist Ihr Server nämlich zur falschen Zeit offline, wird Ihre
Seite aus dem Index entfernt – und dann kann es Wochen dauern,
bis sie wieder aufgenommen wird.
Ein Begriff, der Ihnen irgendwann sicher einmal unterkommen wird,
ist „Spider food“. Darunter fällt alles (meist Hyperlinks), was auf
einer Webseite mit dem Ziel platziert wird, die Aufmerksamkeit der
Spider darauf zu lenken. So ist ein gefährlicher, immer noch
verwendeter und empfohlener Trick, für Besucher unsichtbare Links
einzusetzen, die den Spider zu speziellen Keyword-reichen „doorway-
“, „hallway-“ „Tunnel- etc.“ Pages führen soll.
Ich setze diese Art von Tricks nicht ein, Sie sollten es auch nicht tun.
Ich werde im weiteren Verlauf dieses Buches noch näher darauf
eingehen, warum ich meine Finger von all diesen Methoden lasse, mit
denen Suchmaschinen ausgetrickst werden sollen.
Das Erste, wonach ein Spider Ausschau hält, wenn er Ihre Seite
besucht, ist eine Datei mit der Bezeichnung „robots.txt“. Sie enthält
Anweisungen an den Spider, welche Teile der Seite er indizieren und
welche er ignorieren soll. Diese Datei ist Ihr einziges Mittel, um zu
kontrollieren, was ein Suchmaschinen Spider auf Ihrer Seite zu sehen
bekommt und was nicht. Im Kapitel 8 behandle ich dieses Thema
dann ausführlicher.
Die Spider der wichtigen Suchmaschinen halten sich im Allgemeinen
an bestimmte Regeln. Eine davon besagt, dass Spider nur eine
Einzelseite pro Minute laden sollten - das stammt noch aus alten
Zeiten, als Spider ganze Webseiten auf einmal zu laden versuchten.
Mit dem Ergebnis, dass dies den Zugang für richtige Besucher, die
ebenfalls zu dieser Webseite wollten, auf Schneckentempo
reduzierte.
Allerdings kamen damals die Spider auch öfters am Tag vorbei. Mit
den modernen high-speed Spidern und den unregelmäßigen
Besuchen hat diese Regel zwar an Bedeutung verloren, wird aber
immer noch beachtet.
So findet man Sie
Üblicherweise findet Sie ein Spider, indem er den Hyperlinks von
Webseiten folgt – sogen. „found pages“. Viele Suchmaschinen
bewerten Seiten höher, die sie selbst auf ihren Streifzügen im Netz
finden. Warum das so ist, sehen wir uns in der Folge dann noch
näher an.
Suchmaschinen haben meist auch ein URL Eingabefenster, über das
Sie die Aufnahme Ihrer Seite in den Index beantragen können. Sie
geben Ihre Index Page ein, die dann auf die Liste der zu spidernden
Links gesetzt wird.
Nun werden Ihnen im Web immer wieder Anmeldeservice angeboten,
automatische ebenso wie per Hand. Manche kostenlos, andere gegen
Bezahlung. Das ist nicht einmal dann ein gutes Geschäft, wenn es
nichts kostet. Es gibt weniger als eine Handvoll Suchmaschinen, die
von Bedeutung für Sie sind, von denen dann wiederum eine einzige –
nämlich Google – wirklich zählt. Fallen Sie auf einen Anmeldeservice
Anbieter hinein, der Ihre Seite dort regelmäßig immer wieder
anmeldet, bezahlen Sie Geld dafür, dass sich Ihre Positionen bei der
wichtigsten Suchmaschine systematisch verschlechtern werden.
Das gilt auch für Software Programme, die Ihre Seite bei
„Tausenden“ von Suchmaschinen anmelden. Wie gesagt, es gibt
nicht einmal eine Handvoll davon, die für uns von Bedeutung sind. In
Wirklichkeit handelt es sich dabei um nichts anderes als um so
genannte „free-for-all (FFA)“ Link Seiten. Diese FFA Seiten schicken
Ihnen alles nur keine Besucher auf Ihre Webseite - dafür aber umso
mehr Spam Mails, sofort von dem Augenblick Ihrer Anmeldung an.
Und Sie können ganz sicher sein - Suchmaschinen wissen sehr
genau, was es mit diesen FFA Seiten auf sich hat – daher wird alles,
was Sie damit erreichen werden, die Bestrafung als Spammer sein.
Klingt das für Sie nun so, als würde ich empfehlen, Ihre Seite von
den Suchmaschinen finden zulassen, anstatt sie selbst anzumelden?
Dann haben Sie recht.
Denn genau das empfehle ich Ihnen. Ich habe seit über drei Jahren
nichts mehr bei Suchmaschinen angemeldet, und dennoch braucht es
meist keine 4 Wochen, bis Google meine neuen Pages gefunden hat.
Lesen Sie Kapitel 6, konzentrieren Sie sich darauf, externe Links zu
bekommen – dann werden die Suchmaschinen Ihre Seite von selbst
finden. Und das mit besserem Ranking belohnen.
Was wird indiziert?
Nehmen Suchmaschinen Ihre Seite in den Index auf, speichern sie
nicht die gesamte Seite, sondern nur Informationen über den
Textinhalt. Bilder, Script etc. mögen zwar auch indiziert und
gespeichert werden, können jedoch nur durch spezialisierte Suchen
gefunden werden.
Die Leute suchen nach Worten, daher sind auch Suchmaschinen in
erster Linie an den Worten interessiert, die sie auf einer Webseite
vorfinden.
Die META Tags, mit denen man Suchmaschinen bestimmte Inhalte
wie Beschreibung des Inhaltes oder wesentliche Keywords vorgibt,
sind heute ziemlich bedeutungslos. Es gibt zwar immer noch
Suchmaschinen, die den Inhalt Ihrer META Tags in ihren Index
aufnehmen, daher sollte man auch weiter die entsprechenden
Angaben eingeben, es schadet zumindest nicht.
Ihr „Description Tag“ wird manchmal noch zur Beschreibung Ihrer
Seite in Suchergebnissen verwendet, Google z.B. schreibt sich jedoch
in den meisten Fällen die Beschreibung Ihrer Seite bereits selbst.
Manche Suchmaschinen lesen auch noch den „Keywords“ META tag,
aber Sie können davon ausgehen, dass dieser Tag heutzutage keine
Suchmaschine mehr wirklich interessiert.
Mit dem Textinhalt speichern Suchmaschinen auch Informationen
über die Hyperlinks einer Webseite. Diese Links helfen ihnen
festzustellen, worum es auf einer Seite eigentlich geht. Der Text von
Hyperlinks verrät nämlich häufig etwas über das Thema einer
bestimmten Webseite oder -page. Außerdem können Suchmaschinen
so auch gleich die Linkpopularität und Bedeutung der Seiten
feststellen, zu denen die Links führen. Das ist dann auch der Weg,
über den Suchmaschinen neue Webseiten und Pages finden.
Bei der Definition dessen, was zum Inhalt gezählt wird, bestehen
erhebliche Unterschiede zwischen den einzelnen Suchmaschinen.
Manche Suchmaschinen indizieren „ALT“ in den (image) tags
auf einer Page. Andere indizieren diesen Inhalt nur, wenn das Bild
auch ein Hyperlink ist. Andere Dinge, wie ein Dateiname werden
Читать дальше