[nach oben]
Kernziel des ersten Arbeitspaketes ist die teil-automatisierte Evaluation der Dienste.
Diese sollen eine schnelle und aktuelle Rückkopplung der Nutzung der Dienste an die EntwicklerInnen,
die diese Informationen nutzen, erlauben, um Erweiterungen und Verbesserungen vorzunehmen und den
Nutzen ihrer Arbeit zu überprüfen. Durch die Automatisierung wird vermieden, dass die Ergebnisse einer
Evaluation bei ihrer Fertigstellung den neuesten Stand der Entwicklung noch nicht berücksichtigt.
Die Nutzung in Abhängigkeit von Veränderungen und Werbemassnahmen soll gemessen, modelliert und
bewertet werden. Dabei soll der in Entwicklung stehende Dienst im Mittelpunkt stehen und nicht die
individuellen BenutzerInnen.
Der Vorteil dieses Projektes ist, dass auf die Logfiles unseres funktionierenden zentralen Datenproviders
(LiLi) (der Mehrwert zu nachgewiesenen externen Links anbietet) und eines Serviceproviders (LiLi-Harvest),
der die Quellen Dritter nachweist, zurückgegriffen werden kann.
Ziel ist, zu möglichst allgemeinen Aussagen zu kommen, die allgemein auch für andere verwandte Dienste
(Portale, Suchmaschinen, Plattformen, Nachweisdienste) nützlich sind. Auch die Werkzeuge sollen möglichst
universal einsetzbar sein.
Evaluation der Nutzung
Es werden Werkzeuge erstellt, um die Dienste fortlaufend während des Betriebs zu evaluieren.
Für die Messung der Nutzung stehen sogenannte Logfiles zur Verfügung. Zum einen handelt es sich dabei
um die Zugriffe auf den Server, zum anderen um die Aufzeichnung der Suchanfragen an die Datenbank.
Die Logfiles werden anonymisiert ausgewertet.
Zum einen soll die Quantität der Dienste betrachtet werden: Dabei stehen die Zahlen der
Serverzugriffe,
Suchanfragen,
Eintragungen in LiLi,
eingetragenen neuen Bewertungen von Objekten in LiLi je Monat,
aktiven und passiven NutzerInnen je Tag,
Lehrenden, ErzeugerInnen und AutorInnen,
und der Kurse und Studierenden in der Lernplattform
im Vordergrund. Auch die Verbreitung (Standorte, Länder) der NutzerInnen und der Umfang des erreichten
Dokumentenraumes der Suchmaschine werden beleuchtet.
Zudem soll die Qualität der Suchmaschine untersucht werden:
Wieviel Prozent der Suchantwort ist relevant?
Wieviel Prozent der relevanten Dokumente sind in LiLi nachgewiesen?
Wie viel Zeit vergeht durchschnittlich zwischen der Suchanfrage und der Lieferung des Suchergebnisses?
Wie gut wird das Ergebnis präsentiert?
Wie aufwendig ist es für NutzerInnen der Suchmaschine, an das Ergebnis zu kommen?
Wie gut schneidet LiLi im Vergleich zu anderen Suchmaschinen ab?
Wie gut und vollständig sind die manuellen Eintragungen in LiLi und damit die Metadaten der Objekte?
1. Eine quantitative Analyse der Nutzung der neuen Dienste durch AutorInnen/ErzeugerInnen,
Studierende und BewerterInnen soll durchgeführt werden.
2. Insbesondere soll die zeitliche Dynamik und der Response auf Verbesserungen oder Werbemassnahmen
untersucht und funktional mathematisch abgebildet werden. Aus diesem sollen dann Aussagen zur Ausbreitung
der Kenntnis und der Nutzung der experimentellen Dienste gewonnen werden. Dabei werden zunächst von den
Rohdaten der Jahresgang abgezogen, wie er aus der Linksammlung PhysNet dokumentiert ist. Aus der
aktuellen Nutzung, der Zahl der eingegangenen Suchanfragen (Queries) pro Tag als Funktion der Zeit
können zunächst grob die wesentlichen Schwankungen des Jahresganges (bedingt durch Semester-freie Zeit,
Urlaubszeit, Weihnachten, Ostern, Wochenende) herausgenommen werden. Hierfür verwenden wir nach einer
Normierung die Zeitabhängigkeit der Suchanfragen von PhysNet. Die verbleibenden jahreszeitlichen
Schwankungen sollen dann auf Hinweise auf Unterschiede zwischen dem NutzerInnenverhalten von
eLearning-Modulen und wissenschaftlichen Dokumenten hin untersucht werden (z.B. abklingende Nutzung
während eines Semesters).
3. Sodann wird eine auf Grund der Analysen zu anderen Linksammlungen erwartete quadratische Steigerung
der Nutzung und der Einträge als Funktion der Zeit extrahiert (Überzeugung weiterer NutzerInnen auf Grund
von Akzeptanz durch die, die das System bereits nutzen), wie dies aus Analysen zu Dokumentenarchiven
bekannt ist. Die verbleibenden Zeitabhängigkeiten von Neueinträgen und Nutzung hoffen wir, den
Steigerungen der Qualität, dem Umfang der experimentellen Dienste und den 'Marketing'-Maßnahmen
zuordnen zu können und so Aussagen über die Wirkung von Massnahmen gewinnen zu können, die allgemein
auch für andere verwandte eScience Dienste verwendbar sein könnten.
[nach oben]
Der Übergang von der lokalen Vorratshaltung der Dokumente und Lernmodule Dritter
('Bibliothek') zu direktem Anbieten durch die ErzeugerInnen/AutorInnen auf deren lokal
verteilten Servern erfordert Suchmaschinen. Damit diese auf inhaltsbezogene Anfragen der
potentiellen NutzerInnen diese finden, müssen die Suchmaschinen möglichst leistungsfähig und
'intelligent' sein. Sie müssen den gesamten weltweiten Suchraum aller denkbar geeigneten Dokumente und
Module abdecken, aber möglichst wenige irrelevante Dokumente mit einsammeln.
Wir haben daher parallel drei alternative Strategien entwickelt, die zugehörige Software geschrieben und
implementiert, die nun in diesem Vorhaben als Forschungsmittel genutzt und evaluiert werden kann.
Die erste beiden Stategien, LiLi-die Datenbank und LiLi-die Harvestsuchmaschine
(siehe eLearning) sollen nun mit einer
weiteren Harvestsuchmaschine verglichen werden:
Es soll eine analog zu LiLi-die Harvestsuchmaschine arbeitende Harvest-Maschine eingerichtet
werden, die jedoch als Startlinks alle Fachbereiche und Institute der Physik weltweit verwenden soll.
Der Suchraum sollte also so gut wie alle relevanten Module weltweit enthalten, die an Universitäten
erzeugt wurden. Es ist aber notwendig, die entsprechend viel höhere Zahl der irrelevanten Nachweise
auszufiltern. Hierzu ist ein sehr genauer Set von Filtern zu entwickeln.
Daß wir guter Hoffnung sind, dies operativ zu bewältigen, können wir durch eine Demonstrations-Maschine
nachweisen: SHRIMPS (siehe eLearning).
Um SHRIMPS auf Lehr - und Lernobjekte anzuwenden, müssen auch für diese Filter erstellt werden,
um eLearning Module von für die Lehre irrelevanten Dokumenten zu trennen. Hierbei gibt es zwei Arten
von Filtern:
Zur Einschränkung des Dokumentenraumes, der von SHRIMPS-eL abgesucht wird, wird eine optimierte
Liste von web-Adress-Bausteinen zusammengestellt, die auf eLearning Module hindeuten könnten
(Positivliste; z.B. /lehre) bzw. möglicherweise irrelevante Links sein sollten (Negativliste; z.B. /mensa).
Die verbleibenden Links dienen dann als Startseite für eine vertiefte Suche in darunter liegenden Links.
Die Filter müssen die Dokumente möglichst gut in ihrer Eigenart und Besonderheit, in ihrem fachlichen
und didaktischen Inhalt und Nutzen 'verstehen'.
Zur Filterung bereits eingesammelter Links werden weitere Filter eingesetzt, um den Inhalt der Seite
zu analysieren.
Beide Harvestsuchmaschinen sollen evaluiert (siehe Arbeitspaket 1) und miteinander verglichen werden.
Als Endprodukt sollen die positiven Eigenschaften beider zusammengeführt und als ein Dienst angeboten werden.
[nach oben]
Das Retrieval (Auffinden gesuchter Dokumente) und die inhaltliche Information der NutzerInnen über eine
Fundstelle ist bei verteilten heterogenen Quellen und Quellentypen die zweite Herausforderung neben
der Erkennung und maximalen Erfassung des Dokumenten-Raumes. Hierzu müssen die Inhalte der Quellen
beschrieben werden. Diese Beschreibung muss maschinenlesbar sein, um von anderen Suchmaschinen
Dritter gelesen zu werden, und sie muss so kodiert werden, dass der Inhalt von der dritten Seite
auch inhaltlich verstanden wird. Dies geschieht durch international vereinbarte oder zu vereinbarende
Absprachen, sogenannte Metadaten.
Für das Projekt physik multimedial wurde ein eigener Satz von Metadaten erstellt
(siehe eLearning).
Arbeitsschritt 1: Kontaktaufnahme und ggf. Mitarbeit in den für Metadaten relevanten nationalen und
internationalen Standardisierungs-Aktivitäten.
Konkret für dieses Vorhaben sind dies:
1. Aktive Mitarbeit wie bisher in den Arbeitsgruppen eLearning Kompetenz und eLearning Plattform
von DINI Deutsche Initiative für NetzwerkInformation
2. Aktive Mitarbeit wie bisher in der Arbeitsgruppe eLearning der IuK Initiative für Information
und Kommunikation der wissenschaftlichen Fachgesellschaften in Deutschland
3. Aktive Teilnahme an der neuen AG Internationale Standardisierung von DINI
4. Kontaktaufnahme und Einreichen des eigenen Metadaten-Satzes bei der Arbeitsgruppe bei
IEEE, LOM, Adriadne
5. Beobachtung der AG DCMI Education Working Group.
Neben der Diskussion über Metadaten für eLearning Objekte wollen wir konkret Informationen zu Dokumenten
von verwandten Nachweisdiensten einsammeln und integrieren. Hierzu sind Abbildungs-Wrapper
für den jeweiligen Metadaten Set zu schreiben.
Insbesondere ist der Nachweis und wenn möglich die Integration in die Lern-Plattform von Skripten aus dem
MIT-Programm OpenCourseWare zur freien Online
Verfügbarkeit aller Vorlesungsmanuskripte ihrer Lehrenden vorgesehen.
Schliesslich soll versucht werden, die z.T. interaktiven eLearning Module von
a href="http://www.lon-capa.org/">LONCAPA zu
integrieren. LONCAPA ist eine Lernplattform der MSU Michigan State University, USA,
die abgeschlossen einen Satz von Lern-Modulen enthält, die NutzerInnen der Lernplattform nutzen können.
Auf Grund der guten Kontakte zu den Entwicklern von LONCAPA hoffen wir, daß sie umgekehrt auch LiLi
als Repository aufnehmen und wir mit ihnen die entsprechenden Schnittstellen verabreden und uns über
die jeweilige Nutzung informieren können. Es soll ein gemeinsamer Fragebogen entworfen werden,
der beiden Nutzerkreisen angeboten werden soll.
[nach oben]
Aus dem Index der Harvestsuchmaschine, den Volltexten aller über LiLi - Harvest gefundenen Dokumente,
werden 2-Wort- und 3-Wort-Fachworte extrahiert. Techniken, die für die Extraktion von Mehrwort-Fachbegriffen
von physikalischen Dokumenten verwendet wurden
(siehe eLearning:Keyword Space), sollen hier genutzt werden.
Die Mehrwort-Fachbegriffe der Lehr- und Lernobjekte sollen zunächst als eine Art Index alphabetisch
geordnet angeboten werden, um auch NutzerInnen zu unterstützen, denen Physik-Fachworte weniger vertraut sind.
Im zweiten Schritt sollen diese Mehrwort-Fachbegriffe das Auffinden von Artikeln erleichtern: Liefert eine
Suchanfrage zu wenig Dokumente, werden die so gefundenen Artikel auf besonders häufig auftretende
Mehr-Worte Fachbegriffe hin untersucht. Diese werden den NutzerInnen für eine nächste Suchanfrage
angeboten.
Letztes Update am 18.09.2007
Serverbetrieb: Institute for Science Networking, Oldenburg Redaktion: Julika Mimkes und Isabell Schaffer Impressum
Die LiLi-Suche für Ihre 
