iOS-App zur Tokenisierung, Lemmatisierung und sonstige Analysen?

Liebes Forum,

ich arbeite aus reiner Begeisterung für das Thema Natural-Text-Processing derzeit an einem entsprechenden Algorithmus. Ich habe keinen linguistischen Hintergrund, kann aber programmieren. Bis jetzt habe ich das Tokenisieren sowie die Lemmatisierung erfolgreich umgesetzt. Derzeit bewältige ich erste Schritte in Sachen Wertigkeit von Texten - ich würde gerne algorithmisch herausfinden, ob ein Text eher gut oder schlecht ist.

Der Einfachheit halber entwickle ich für iOS - der Algorithmus ist verpackt in eine kleine App. Die App ermöglicht mir die Eingabe eines Textes und wertet diesen im Anschluss aus:

   

Die Fragen, die ich gerne in die Runde werfen würde, sind die folgenden: Hätte eine solche Anwendung für euch als Linguisten einen Mehrwert? Und wenn nicht: Was fehlt, damit sie eine Bereicherung für euch böte?

Ich freue mich auf euer Feedback!

Viele Grüße

Ich find solche Tools immer erst mal sehr spannend, unabhängig, ob sie einen „Mehrwert“ haben. D.h. sowas sollte dich nie abschrecken, wenn der eine oder die andere sagt, dass man sowas nicht gebrauchen kann. Denn jedes jetzt nützliche Ding hat auch mal mit dem ersten Schritt begonnen, bevor es weiterentwickelt wurde.

Weshalb ich aber aus der Erfahrung bei solchen neuen Tools auch immer skeptisch bin, ist, dass sie in der Regel nicht wirklich gut sind und ich für die tägliche Arbeit fast immer wieder zu den Tools zurückkehre, die seit Jahr(zehnten) von Computerlinguist/innen entwickelt wurden, trotz ihrer Schwächen. Das heißt natürlich nicht, dass ich nicht trotzdem geekig genug bin, Spielzeuge cool zu finden.

Was jetzt deinen aktuellen Ausschnitt im Speziellen angeht, wäre meine erste Frage: diese Art von Analyse sollte jede/r von uns hinkriegen, auch ohne App, also so als Linguist/innen -- und: ich würde Tools direkt wieder schließen, die Adverbien nicht von Adjektiven oder Partikeln unterscheiden können. Fürs Tagesgeschäft ist diese Analyse uns auch idR viel zu grob. Und fürs computerlinguistische Arbeiten (Analyse von Texten) brauchen wir normalerweise leistungsfähige Rechner oder Server, da wäre eine App eher in der Kategorie „Cooles Spielzeug“.

Die andere Frage ist natürlich, wo du damit hinwillst: was meinstn, wenn du die Qualität von Texten bewerten möchtest? Da gibts ne Menge an Forschung, die sich genau mit diesem spannenden Feld beschäftigen. In dem Feld bin ich nicht soooo sehr bewandert und kann auch wenig direkte Tipps geben, aber da solltest du auf jeden Fall Inspiration finden, in der Computerlinguistik sind immer gute Programmierer/innen gefragt! Ist das denn ein Studienprojekt?

Lieben Dank für deine ausführliche Antwort! Ich kann deine Skepsis sehr gut nachempfinden. Natürlich muss eine solche App qualitativ überzeugen und vor allem die Basics beherrschen. Nur kann ich allein das nicht vollständig gewährleisten - sondern bin auf Mithilfe angewiesen. Wenn sich hier z.B. ein kleiner Anwenderkreis zusammenfinden würde, der mir aktiv Feedback gibt, könnte ich den Algorithmus darauf basierend weiterentwickeln. Momentan kann man die App noch nicht downloaden. Meine ursprüngliche Frage implizierte insofern indirekt, ob eine "Veröffentlichung" dieser für euch interessant wäre.

Ganz allgemein faszinieren mich künstliche Intelligenzen und der thematische Einstieg mit geschriebenen Text erschien mir einfach (anders als z.B. beim Natural Speech Processing, bei dem erstmal Audio-Signale verarbeitet werden müssen). Text-Algorithmen machen auch deshalb Spass, da man das Ergebnis ziemlich unmittelbar begutachten kann.

Für die Beurteilung von Wertigkeiten eines Korpus bzw. einzelner Entitäten habe ich eine selbst-lernende Datenbank erstellt. Herausfordernd sind Kontexte: "nicht einfach" alleinstehend ist einfach zu deuten, für längere Sätze fehlt es mir noch an einem schlüssigen Konzept.

Was genau wird denn z.B. computerlinguistisch analysiert, dass leistungsstarke Rechner notwendig macht? Dein Kommandozeilen-Screenshot sieht auch etwas unbequem in der Handhabung aus - oder täusch das? :)