Information Retrieval bei ECM

[Nick]

Guten Tag,

ich habe mich die letzten Wochen aufgrund einer Diplomarbeit, ausführlich mit dem Thema "Information Retrieval" befasst.

Meine Frage ist nun ob es schon ECM-Systeme oder DMS gibt die erfolgreich automatisch Indexterme gewichten (z.B. durch statistische Verfahren) und diese dann bspw. durch eine Vektorraummodell abbilden und suchbar machen?

Ich finde nur Systeme die eine Volltextindizierung anbieten und dann ist meist noch das Wort "Relevance Ranking" zu finden. Doch wie das Ranking nach der Relevanz erstellt wird ist nicht erläutert.

Es muss doch Systeme geben die sich auf die Suche spezialisieren und über die Volltextindizierung hinausgehen!

Mit besten Grüßen
Nick

[jdk]

Hallo Nick,

die Antwort auf deine Frage ist nicht ganz einfach, da die Systeme auf dem Markt nicht so klar strukturiert sind, wie man es sich vielleicht vorstellen könnte. Generell ist es so, dass die meisten Anbieter keine eigene Suche verwenden, sondern auf OEM-Versionen von z.B. Autonomy (ehem. Verity), Microsoft (FAST-Search) oder Lucene (Open Source). Diese erstellen einen Volltextindex und gewichten die Suchergebnisse nach eigenen Algorithmen. Nicht selten werden diese Suchmaschinen von den Anbietern speziell konfiguriert oder tiefergehende Funktionen verwendet, um besondere Funktionen anbieten zu können.

Wenn umfangreiche Suchmöglichkeiten benötigt werden, werden die OEM-Produkte oft gegen größere Versionen desselben Produktes (z.B. bei FAST) ausgetauscht oder andere Produkte integriert. FAST oder auch IBM Omnifind bieten umfangreiche Funktionen in der von dir beschriebenen Richtung, die dann entsprechend verwendet werden.

In ganz seltenen Fällen werden auch spezialisierte Nischenlösungen integriert.

Eigene Suchlösungen hat praktisch kein ECM-Anbieter im Angebot (wenn er nicht auch eine eigene Suchlösung als eigenes Produkt anbietet, wie z.B. die oben genannten IBM oder Microsoft).

Viele Grüße,
Jörg Dennis Krüger

[Nick]

Hallo Herr Krüger,

wiedermal vielen Dank für die Antwort.

Die Anbieter FAST (jetzt Microsoft) und Autonomy habe ich auch in einer Marktanalyse von Gartner als Leader im Bereich "Enterprise Search" gefunden!
Ich merke langsam, dass ich eher nach einer Enterprise Search suche als nach einer ECM-Lösung. Bisher habe ich nur noch kein Enterprise-Search-Forum gefunden;-)

Sehr schade ist es, dass die Anbieter in Ihren "Technologiebeschreibungen" nur sehr vage darauf eingehen welche Modelle im Hintergrund genutzt werden. Die Anbieter sollen ja nicht gleich den kompletten Algorithmus verraten, sondern nur einen Hinweis geben;-)

Benötigt denn eine Enterprise Search Lösung noch ein DMS oder reicht es die Daten auf einem Fileserver zu haben?

Beste Grüße
Nick

[jdk]

Hallo,

keine Sorge! Auch zu Enterprise Search sind Sie hier genau richtig!

Enterprise Search kann als alleinstehende Lösung verwendet werden, um Inhalte jeder Art (z.B. auf einem Fileserver) zu erschließen - aber auch in Kombination mit einem DMS.

Das direkte Gespräch mit den Herstellern kann sehr viel bringen, um die genaue Funktion zu erschließen. Haben Sie hier schon mal versucht, Kontakt aufzunehmen?

Beste Grüße,
Ihr Jörg Dennis Krüger

[Nick]

Hallo,

ich habe bisher noch kein Kontakt zu Herstellern aufgenommen. Ich denke diesen Schritt werde ich noch machen müssen.

Es ist komisch, dass es im Internet noch relativ wenig zu Enterprise Search gibt, außer natürlich eine Menge Anbieter.

Sind aus Ihrer Sicht bei "Enterprise Search" die gleichen Aspekte wichtig wie auch beim Information Retrieval mit einem Schwerpunkt auf Sicherheit und Rechtevergabe?

Bei der Anbieterwahl habe ich gelesen, dass die deutschen Anbieter unter Umständen aufgrund des Datenschutzes vorzuziehen sind. Stimmt das oder kann man das auf die EU ausweiten, denn FAST ist ja bspw in Norwegen beheimatet. Oder nutzt FAST jetzt durch die Übernahme von Microsoft die "amerkanische Datenschutz-Philosophie"?

Viele Grüße
Nick

[ragnarh]

Zitat von Nick

Meine Frage ist nun ob es schon ECM-Systeme oder DMS gibt die erfolgreich automatisch Indexterme gewichten (z.B. durch statistische Verfahren) und diese dann bspw. durch eine Vektorraummodell abbilden und suchbar machen?

Hallo Nick
Fast ESP hat eine sogenannte "Stage" namens Vectorizer, die beim Prozessieren der Dokumente auf dem Weg in den Index entsprechend vektorisiert. Das wird nicht in einem visuellen Raummodell abgebildet, sondern durch numerische Werte. Vektoren sind u.a. hilfreich für Funktionen wie "zeige mir verwandte Themen". Immer mehr Zeitungen möchten, dass neben ihren Artikel automatisch ähnliche Artikel gelistet werden.

Ich finde nur Systeme die eine Volltextindizierung anbieten und dann ist meist noch das Wort "Relevance Ranking" zu finden. Doch wie das Ranking nach der Relevanz erstellt wird ist nicht erläutert.

Die Vektoren sind nicht der einzige Faktor, der fürs Ranking relevant ist. Es kommt auch auf die Content-Qualität, Geo-Koordinaten, Aktualität, Authority (vgl Google PageRank), Kontext, Boosting, Dichte des Suchwortes im DOkument und Vollständigkeit des Contents an

viele Grüße
Ragnar

[Nick]

Hallo,

wie kann man denn die Content-Qualität, Vollständigkeit des Contents und den Kontext fürs Ranking bestimmen?

Was sind Geo-Koordinaten? Ist das die Idee das Suchergebnisse die in der Nähe meines Stadortes sind besser gerankt werden?

Was ist Boosting?

Sind eigentliche semantische Ansätze schon mit einem automatischen Indexieren schon vereinbar? Oder ist dies nur durch hohen Aufwand beim Indexieren möglich? Bspw Anlegen von Onthologien.

Gruß
Nick

[ragnarh]

Zitat von Nick

wie kann man denn die Content-Qualität, Vollständigkeit des Contents und den Kontext fürs Ranking bestimmen?

diese Frage lässt sich weder in einem Satz noch in einer Stunde beantworten, da es zu viele Konfigurationsmöglichkeiten dafür gibt

Enterprise Search-Lösungen sind nicht nur zum Suchen da, sondern auch zum Bereinigen und Transformieren von Inhalten.

Was sind Geo-Koordinaten? Ist das die Idee das Suchergebnisse die in der Nähe meines Stadortes sind besser gerankt werden?

ja, genau. "Local Search" ist das Stichwort

Was ist Boosting?

Boosting geht manuell (über GUI) als auch automatisch über QueryLanguage. ich pushe Suchtreffer nach oben. Ich will zB, dass sich in meinem Shop zu Ostern der teure zartbitter-Schokohase gut verkauft und ändere so die Resultlist.

Sind eigentliche semantische Ansätze schon mit einem automatischen Indexieren schon vereinbar? Oder ist dies nur durch hohen Aufwand beim Indexieren möglich? Bspw Anlegen von Onthologien.

Vor dem Indexieren kommt erst einmal das Verarbeiten des Contents ("Document Processing"). Während dieses Prozessieren laufen vielfältige linguistische und semantische Verfahren ab. Content wird transformiert

viele Grüße!
Ragnar

[Nick]

Hallo,

besteht eigentlich die Möglichkeit semi-automatisches (Computer schlägt Indexwörter vor und Ersteller entscheidet bzw. löscht oder fügt Indexwörter hinzu) mit vollautomatischem Indexieren zu kombinieren? Oder macht das überhaupt keinen Sinn?

Meine Überlegung ist Folgende:

Beim Einstellen neuer Dokumente besteht die Möglichkeit zwischen semi- und vollautomatischem Indexieren zu wählen.

Der Vorteil wäre, dass die relativ große Datenmenge die jetzt schon vorhanden ist, automatisch indexiert werden könnte und neu eingestellte Dokumente könnten durch semi-automtische Indexierung besser auffindbar gemacht werden bzw. wenn der Ersteller den Aufwand ablehnt, wenigstens automatisch indexiert werden.

Die Frage die sich mir dabei stellt ist, wie die Gewichtung der (durch semi-autom. Indexierung) gewählten Indexterme, verglichen mit den statistischen Gewichtungen der voll-autom. Indexierung, realisiert werden könnte.

Viele Grüße
Nick

[ragnarh]

Zitat von Nick

Die Frage die sich mir dabei stellt ist, wie die Gewichtung der (durch semi-autom. Indexierung) gewählten Indexterme, verglichen mit den statistischen Gewichtungen der voll-autom. Indexierung, realisiert werden könnte.

Hallo Nick
in den meisten meiner Projekte werden beim Indexieren Dokumente mit Metadaten und Taxonomien angereichert. Ich würde es aber nicht semi-automatisch nennen, da nichts anhält und auf manuelle Eingabe wartet.

Ein Ranking-Profil entscheidet dann die Gewichtung. Welchen prozentualen Anteil am Ranking bekommt Taxonomie, Metadata1, Metadata2, Titel, Dateityp, Erstellungsdatum, Änderungsdatum etc pp.