Die Software
Die Software soll Texteingabe und Ergebnisse übersichtlich zusammenbringen. Sie macht die Analyse zugänglich, ohne dass du programmieren musst.
Über das Projekt
Eine Bewertung ist schnell gelesen und manchmal gar nicht so leicht einzuordnen. SentimentalFramework soll dabei helfen: mit verständlichen Beispielen, einer einfach bedienbaren Software und einem eigenen KI-Modell für deutsche Texte.
Aktuell kannst du die Methode an Beispielen kennenlernen. Das eigene Modell befindet sich noch in Entwicklung.
Die Software soll Texteingabe und Ergebnisse übersichtlich zusammenbringen. Sie macht die Analyse zugänglich, ohne dass du programmieren musst.
Das KI-Modell soll die Bewertungen im Text einordnen. Dafür wird es mit gekennzeichneten Beispielen trainiert und an getrennten Testdaten geprüft.
Das Ziel von SentimentalFramework ist, dass du eine Einordnung verstehen, am Text prüfen und auch hinterfragen kannst.
Sentimentanalyse untersucht, welche Bewertungen in einem Text ausgedrückt werden. Die grundlegenden Fragen sind einfach:
Zum Beispiel um eine Beratung, eine Wartezeit oder eine Eigenschaft einer Anwendung.
Positiv, negativ oder ohne erkennbare Bewertung? Ein Text kann auch mehrere, gegensätzliche Bewertungen enthalten.
An Wörtern und Formulierungen im Zusammenhang – etwa „sehr hilfreich“ oder „viel zu langsam“.
Bei Zitaten kommt eine weitere Frage hinzu: Wer äußert die Bewertung?
Ausgedachtes Beispiel · von Menschen eingeordnet
„Die Beratung war hilfreich, aber auf den Rückruf habe ich lange gewartet.“
| Worüber? | Einordnung | Textstelle |
|---|---|---|
| Beratung | positiv | „Die Beratung war hilfreich“ |
| Wartezeit auf den Rückruf | negativ | „auf den Rückruf habe ich lange gewartet“ |
Die Aussage lobt die Beratung und kritisiert die Wartezeit. Solche Unterschiede getrennt zu betrachten, heißt in der Forschung aspektbasierte Sentimentanalyse.
„Nicht hilfreich“ ist etwas anderes als „hilfreich“. „Großartig, schon wieder ein Ausfall“ klingt nach ironischer Kritik. Und wer eine kritische Aussage zitiert, muss sie nicht selbst vertreten.
Deshalb zählt der Zusammenhang. Fehlt er, kann eine Einordnung offenbleiben. Genau solche Fälle machen die Entwicklung und Prüfung eines Modells anspruchsvoll.
Sie kann Hinweise darauf geben, was in einem Text gelobt oder kritisiert wird. Textstellen helfen dir, die vorgeschlagene Lesart zu prüfen. Eine Markierung allein beweist allerdings noch nicht, warum ein Modell zu seinem Ergebnis gekommen ist.
Eine solche Analyse stellt nicht verlässlich fest, was ein Mensch wirklich fühlt oder beabsichtigt. Sie prüft auch nicht automatisch, ob eine Aussage wahr ist.
Ebenso wenig zeigt die Auswertung einiger Kommentare, was alle Menschen denken. Welche Texte ausgewählt wurden, beeinflusst das Ergebnis.
Für die Entwicklung werden deutsche Texte benötigt, deren Nutzung geklärt ist und die unterschiedliche Ausdrucksweisen abdecken.
Menschen ordnen die Texte nach gemeinsamen Regeln ein. Dabei wird festgehalten, worauf sich eine Bewertung bezieht. Abweichende Lesarten werden geprüft; begründete Mehrdeutigkeit soll sichtbar bleiben.
Das Modell lernt aus den Trainingsbeispielen. Seine Leistung wird anschließend an anderen Daten geprüft, die nicht für Training oder Modellauswahl verwendet wurden.
Zu veröffentlichten Modellständen sollen die verwendeten Testverfahren, Ergebnisse und bekannten Schwächen dokumentiert werden.
Du sollst Sentimentanalyse ausprobieren können, ohne dich vorher in Fachbegriffe einzuarbeiten. Gleichzeitig soll erkennbar sein, wie eine Auswertung zustande kommt, wo ihre Grenzen liegen und wie das Modell geprüft wurde.
Der erste Schritt ist schon möglich: Entdecke die Beispiele und bilde dir eine eigene Lesart.
Auf der öffentlichen Website stehen derzeit Beispiele und Erläuterungen bereit. Das eigene Modell ist noch in Entwicklung. Neuigkeiten zur Verfügbarkeit findest du im Entwicklungsstand.
Für die Beispiele nicht. Die wichtigsten Begriffe werden direkt erklärt. Auch die geplante Software soll ohne Programmierkenntnisse nutzbar sein.
Hier geht es um Bewertungen in Texten: zum Beispiel, ob etwas gelobt oder kritisiert wird. „Stimmung“ ist eine verbreitete Kurzbeschreibung, kann aber den falschen Eindruck einer Gefühlsmessung erwecken.
Nein. „Ohne erkennbare Bewertung“ bezeichnet einen Text, in dem sich keine klare positive oder negative Wertung erkennen lässt. „Gemischt“ fasst vorhandenes Lob und vorhandene Kritik zusammen. „Unklar“ heißt, dass sich der Fall mit dem verfügbaren Zusammenhang nicht ausreichend sicher einordnen lässt.
Ironie gehört zu den schwierigen Fällen, die bei der Entwicklung berücksichtigt werden sollen. Ob und wie zuverlässig ein Modell sie erfasst, muss an geeigneten Tests gezeigt werden. Die Beispiele sind dafür kein Leistungsnachweis.
Nein. Eine Rückmeldung verändert nicht unmittelbar das Modell. Vor einer möglichen Nutzung für das Training stehen die Prüfung der Einordnung und die Klärung, ob der Text dafür verwendet werden darf.
Das lässt sich erst für einen bestimmten Modellstand und bestimmte Textarten belastbar beurteilen. Geplant ist, Testergebnisse und bekannte Grenzen mit veröffentlichten Modellständen zu dokumentieren.
Ausgedachte Texte mit menschlichen Einordnungen. Sie machen die Fragestellungen verständlich und erlauben noch keine Aussage über die Trefferquote des eigenen Modells.
Hinweise auf unklare Erklärungen, interessante Sprachfälle oder mögliche Anwendungen sind willkommen. Sobald ein direkter Kontakt eingerichtet ist, findest du ihn auf der Kontaktseite.
Der Ansatz knüpft an Forschung zur Sentimentanalyse an. Besonders relevant sind die Zuordnung von Bewertungen zu einzelnen Themen oder Eigenschaften, gezielte Tests schwieriger Sprachfälle und eine nachvollziehbare Dokumentation von Modellen.
Die folgenden Veröffentlichungen erläutern diese Grundlagen. Sie sind keine Begutachtung von SentimentalFramework.
Grundlage für Bewertungen zu einzelnen Gegenständen bzw. Aspekten und getrennte Auswertung von Teilaufgaben.
Deutsches Beispiel für aspektbasierte Sentimentanalyse. Ein Restaurantdatensatz belegt keine allgemeine Qualität für alle deutschen Textsorten; seine Nennung ist keine Lizenzfreigabe für eine konkrete Trainingsnutzung.
Sprachliche Fähigkeitstests zusätzlich zu aggregierten Kennzahlen; ausdrücklich auch an Sentimentmodellen untersucht.
Nachvollziehbare Beschreibung von Modell, vorgesehenem Einsatz, Tests und Grenzen.
Menschliche Uneinigkeit und unterschiedliche Perspektiven bei der Annotation; nicht jede Abweichung ist automatisch ein Fehler.
Abgrenzung von Sentiment und Stance; Grundlage für die Präzisierung des bisherigen Haltungsslogans.
Modellkonfidenz und tatsächliche Trefferwahrscheinlichkeit müssen nicht übereinstimmen. Begründet Vorsicht bei Prozentanzeigen, nicht eine Diagnose des ungeprüften eigenen Modells.
Grenzen der Interpretation von Attention-Gewichten als Erklärung. Die konkrete Studie ist kein pauschaler Nachweis, dass jede Textmarkierung bedeutungslos wäre.
Differenzierung der Erklärbarkeitsdebatte; Definition und Prüfung einer Erklärung sind entscheidend.
Empirische Grundlage für knappe, überfliegbare und sachliche Webtexte. Die historischen Prozentwerte werden nicht auf diese Website übertragen.
Klare Überschriften, sinnvolle Linktexte, verständliche Anweisungen und kurze Texte. Eine sprachliche Überarbeitung allein belegt keine vollständige Barrierefreiheit.
Ausgangspunkt für Anbieterinformationen, abhängig von der rechtlichen Einordnung des Dienstes.
Verständliche Informationen über tatsächliche personenbezogene Datenverarbeitung; keine Grundlage für erfundene Betriebsangaben.
Belegt an untersuchten englischsprachigen Systemen mögliche systematische Verzerrungen. Begründet die Empfehlung gezielter Fairnessprüfungen, ohne einen solchen Fehler für SentimentalLM zu behaupten.