Was Suchmaschinen sind, haben Sie ja bereits im letzten Teil dieser SEO-Anleitung erfahren. Aber wie funktioniert eine solche Suchmaschine überhaupt? Die folgenden Absätze sollen Ihnen nun die Technik begreiflich machen, die hinter einer solchen Suchmaschine steckt.

Die Suchmaschine besteht aus folgenden wesentlichen Teilen:
- dem URL-Server,
- einigen Crawlern, die auch als Bots, Robots oder Spider bezeichnet werden,
- dem Parser,
- dem Store Server,
- dem Index,
- der Benutzeroberfläche (auch Frontend genannt),
- dem Searcher und
- dem Algorithmus.

Im Folgenden wird Ihnen erklärt, worum es sich genau bei diesen Elementen handelt und was diese zur Funktion einer Suchmaschine beitragen.

Der URL-Server:
Alle Internetadressen, auch unter dem Namen URL bekannt, die sich noch nicht im Index der Suchmaschine befinden, werden vom URL-Server verwaltet. Wenn man also eine neue Webseite bei einer Suchmaschine anmelden möchte, geschieht dies zunächst durch die Übermittlung der Internetadresse an den URL-Server. Dieser gibt die entsprechenden Daten dann an die Crawler der Suchmaschine weiter.

Die Crawler
Diese dienen hauptsächlich der Umwandlung der Internetadressen in so genannte IP-Adressen. Dabei treten die Crawler mit den entsprechenden Servern in Kontakt, wobei sie mehrere hundert Verbindungen gleichzeitig aufrechterhalten. Dies soll die Übertragungsdauer verkürzen und sicherstellen, dass der Server nicht überlastet wird. Wenn es nun bei einer der Verbindungen zu Problemen kommen sollte, dann greift der jeweilige Crawler einfach auf eine der anderen Verbindungen zu und dadurch wird eine weitere Übertragung gewährleistet. Wenn die URLs einer Webseite in IP-Adressen umgewandelt wurden, dann werden die Daten an den Parser weitergeleitet.

Der Parser
Die Funktion des Parsers lässt sich mit einem kurzen Satz beschreiben: Er erstellt eine vereinfachte HTML-Seite der jeweiligen Webseite und leitet diese dann an den so genannten Store Server weiter.

Der Store Server
Der Store Server hat die Aufgabe, aus der vereinfachten HTML-Seite, die ihm vom Parser übermittelt wurde, sämtliche wichtige Informationen zu ziehen. Dabei sendet er die auf der HTML-Seite vorhandenen Links wieder an den URL-Server, der überprüft, ob es sich dabei auch um neue Webseiten handelt oder ob diese schon im Index vorhanden sind. Der Text bzw. die Begriffe, die sich auf dieser vereinfachten HTML-Seite befinden, werden an den Index gesendet, wenn diese noch unbekannt sind.

Der Index
Dieser besteht aus drei wesentlichen Elementen: dem Lexicon, den Hit Lists und dem Repository.
Das Lexicon kann prinzipiell als eine Sammlung sämtlicher Begriffe aus dem World Wide Web angesehen werden, die in einer Art Tabelle gespeichert wurden. Nur diejenigen Suchbegriffe, die auch im Lexicon vorhanden sind, liefern auch wirklich eigenständige Ergebnisse bei einer Suchanfrage. Für jeden einzelnen dieser Begriffe existiert ein entsprechender Verweis auf die Hit Lists.
Die so genannten Hit Lists ihrerseits enthalten für jedes Wort einen Verweis auf die Seiten, die sich im Repository befinden. Zudem ist dabei auch die Relevanz jeder einzelnen Seite für das jeweilige Wort in diesen Hit Lists vermerkt. Im Repository sind sämtliche Webseiten gespeichert.

Frontend
Dieser Begriff bezeichnet eigentlich nur die Benutzeroberfläche einer Suchmaschine, also den Teil, über welchen der Nutzer mit der Suchmaschine „in Kontakt tritt“. Wesentliche Bestandteile dieser Benutzeroberfläche sind somit das Eingabefeld und der Button zum Auslösen der Suchanfrage.

Der Searcher
Dieses Suchmaschinenelement erstellt mithilfe des Indexes (genauer gesagt des Lexicons und der Hit Lists) eine Ergebnisliste, die dann ausgegeben wird.

Der Algorithmus
Dieser ist ein besonders wichtiger Teil einer Suchmaschine. Er ist eine bestimmte Methode, die für die Auflistung der Ergebnisse verantwortlich ist. Diese Methode enthält mehrere hundert Relevanzkriterien, die zur Positionierung einer Webseite innerhalb der Suchergebnisseite benötigt werden.