meta name="robots" ....

[macadamia]

Hallo! Ich habe ein Frägchen.

Ich bastel gerade eine Internetseite (HTML) und bin fast fertig.
Reicht es, wenn ich nur in der index.htm folgenden Meta-Tag eingebe? Funktioniert er zuverlässig?

<meta name="robots" content="index, follow">

Oder muss ich in jeder HTML-Seite folgendes eingeben:

<meta name="robots" content="index">

Vielen Dank für eure Hilfe.

 

[dkdenz]

Ersteres dürfte reichen.

Ich würde Dir allerdings eine robots.txt empfehlen...

 

[womstar]

@dkdenz
Warum?

 

[dkdenz]

Weil man mit der robots.txt expliziter die Robots anweisen kann,
Ordner/Dateien nicht zu indizieren.

Nachtrag:

@dkdenz
Warum?

Uuups, zu schnell gelesen...Beide!
Oder keine...

Trotzdem tendiere ich zur robots.txt.
Diese Metatags benutze ich nie.

 

[dkdenz]

So, ich habe mir nochmal Gedanken darüber gemacht...

Eigentlich braucht man
<meta name="robots" content="index, follow">
<meta name="robots" content="index">
überhaupt nicht, denn:
der Bot kommt auf die Einstiegsseite, indiziert sie und folgt den Links,
egal ob da <meta name="robots" content="index, follow"> oder nix da steht,
denn den Meta kann man genausogut weglassen,
wenn man will, das indiziert wird.
Anderfalls müsste man <meta name="robots" content="nofollow"> schreiben.

Soweit, sogut...
weiter im Text:

So, jetzt ist er auf den Folgeseiten.
Die indiziert er sowieso auch.
Will man nicht, das er einzelne Seiten indiziert,
dann macht eigentlich nur das Gegenteil Sinn, nämlich:
<meta name="robots" content="noindex">.
Da muss kein <meta name="robots" content="index"> stehen.

Demzufolge braucht man die im Eingangsthread erwähnten Tags überhaupt nicht,
außer man will einzelne Seiten nicht indiziert haben.

Um das Ganze aber etwas einfacher zu gestalten,
wäre eine robots.txt eleganter.

Man muss dann eben einfach nur die Dateien die nicht indiziert werden sollen,
in einem extra Ordner haben, welcher dann für die Bots nicht zugänglich gemacht wird.
So erspart man sich Tipparbeit, wie ich finde...

Feedback erwünscht.

 

[abydos]

@dkdenz:
Von Google ausgehend macht das sicherSinn, was Du schreibst. Aber es gibt auch noch reichlich ältere robots, die das web durchkämmen. Altavista (Marktführer vor Google Zeiten) hat sehr sensibel auf das Vorhandensein dieser meta tags ragiert. Seit damals mache ich beides, eine robots.txt und die meta tags, frei nach dem Motto "Viel hilft viel"

 

[dkdenz]

Möglich...
Ich kann ja nur von dem berichten, was ich an Erfahrungen habe.
Google ist der größte Anbieter von Suchergebnissen,
von dem viele andere Sumas ihre Ergebnisse beziehen.
Die Anderen habe ich auch immer unter (augenscheinlicher) Kontrolle
und da sind meine Ergebnisse sogar des Öfteren besser.
Und das alles ohne Meta-Tags.

Wobei ich natürlich niemanden überreden will,
auf Metas zu verzichten, denn Dein Argument
'Viel hilft viel' ist ja auch nicht einfach von der Hand zu weisen...