Gesucht: "unwichtige" Wörter

[style-guide!]

wie z.B.:

und
oder
ich
du
er
sie
es
wir
ihr
sie
....

Für Begriffe, die nicht weiter berücksichtigt werden sollen bei einer Indizierung...

 

[mo]

dann lies mal die beiträge von albu
bye,
mo

 

[Albu]

haha

 

[style-guide!]

Spass beiseite, das ganze hat schon einen etwas ernsteren Hintergrund.

Ich versuche gerade herauszufinden, bzw. nachzubauen, wie eine Webseite von einem Roboter verarbeitet wird / werden könnte. Hier geht es darum, den Quellcode auseinanderzunehmen in die einzelnen Bestandteile und diese auszuwerten. Das ganze soll nicht perfekt sein, aber eine "Marschrichtung" andeuten können um grundsätzliche Fehler bei der Seitenerstellung zu verhindern.

Um hier halt eine sinnvolle Inhaltsverwertung zu haben, ist es ratsam einige Wörter der dt. Sprache nicht zu berücksichtigen.

 

[digleu]

püh, ja ich denke mal alle Artikel (bestimmte wie unbestimmte) ließen sich filtern, dann Bindewörter wie "trotzdem", "aber", "das heißt"...
um mal nen Anfang zu machen

aber wäre es nicht vielleicht auch eine überlegung Wert einfach alle Wörter wegzufiltern, die kleingeschrieben sind. Vielleicht sicherheitshalber auchnoch die die am Satzanfang stehen.

 

[style-guide!]

Original geschrieben von digleu
püh, ja ich denke mal alle Artikel (bestimmte wie unbestimmte) ließen sich filtern, dann Bindewörter wie "trotzdem", "aber", "das heißt"...
um mal nen Anfang zu machen

aber wäre es nicht vielleicht auch eine überlegung Wert einfach alle Wörter wegzufiltern, die kleingeschrieben sind. Vielleicht sicherheitshalber auchnoch die die am Satzanfang stehen.

Das ist aber leider zuviel des guten. Es ist nur sauber, wenn gegen einen sinnvolle Blacklist abgeglichen wird, deshalb versuche ich möglichst viele Wörter zusammenzusammeln.

 

[Albu]

Kannst Du das nicht über einen statistichen Ansatz lösen? Solche Bindewörter sollten doch relativ häufig im Vergleich zu den anderen Worten auftauchen, so daß man eine obere Schwelle definieren könnte, über der Worte automatisch in der Blacklist landen.... nur so eine Idee

 

[style-guide!]

Original geschrieben von Albu
Kannst Du das nicht über einen statistichen Ansatz lösen? Solche Bindewörter sollten doch relativ häufig im Vergleich zu den anderen Worten auftauchen, so daß man eine obere Schwelle definieren könnte, über der Worte automatisch in der Blacklist landen.... nur so eine Idee

Ick könnt Dir

 

[style-guide!]

Ich erstelle einfach eine Vorschlagliste mit den Begriffen, die amhäufigsten gefunden wurden. So können diese noch manuell geprüft werden ob doch sinnvoll oder nicht.

 

[mo]

ich hab hier vom forum einen wortindex. den kannst ja mal haben, da sind 3487525 wörter drin. wenn du da albus schwellen reinpackst und nen limes gegen 0 definierst, dann kannst den rest ja nehmen und das sind deine häufigen wörter..
oder so
bye,
mo

 

[style-guide!]

Original geschrieben von Michael
ich hab hier vom forum einen wortindex. den kannst ja mal haben, da sind 3487525 wörter drin. wenn du da albus schwellen reinpackst und nen limes gegen 0 definierst, dann kannst den rest ja nehmen und das sind deine häufigen wörter..
oder so
bye,
mo

Hab selber so einen Index, das ist aber mehr arbeit als Albus Vorschlag.