Leser halten computergenerierte Texte für glaubwürdiger als Journalistentexte – so die Ergebnisse einer aktuellen Studie

Unter der Leitung von Mario Haim haben Studierende am Institut für Kommunikationswissenschaft und Medienforschung an der Ludwig-Maximilians-Universität München eine Studie zum Thema „Wie stufen Leser die Qualität computergenerierter Texte ein?“ durchgeführt. AX Semantics hat die computergenerierten Texte geliefert und deshalb finde ich die Ergebnisse natürlich besonders interessant.  Steffi Leupolt,Veronika Gburikova und Dayana Penkova beschreiben für text-gold die Zielsetzung und die Resultate der Studie.

Frau Leupolt, sie haben zusammen mit Ihren Kommilitoninnen eine Studie zum Thema Wahrnehmung von automatisierten Texten durchgeführt. Können Sie kurz die Zielsetzung und das Setting der Studie vorstellen? 

Die bisherige Forschung zum Thema Roboterjournalismus hat sich vor allem auf die Anbieterseite konzentriert und mit den möglichen Auswirkungen beschäftigt, die diese neue Technologie auf Redaktionen und Verlage haben könnte. Nach unserem heutigen Kenntnisstand wurden bisher nur zwei Studien publiziert, welche sich mit der Perspektive der Leser beschäftigen und die wahrgenommene Qualität von softwaregenerierten Nachrichtenartikeln erforscht haben (Clerwall, 2014 und van der Kaa & Krahmer, 2014). In Anlehnung an diese beiden Studien haben wir untersucht, wie glaubwürdig, gut geschrieben und verständlich computergenerierte Texte von Lesern wahrgenommen werden und ob sie computergenerierte Texte erkennen können.

Mit 1024 Teilnehmern haben wir eine experimentelle Online-Befragung durchgeführt. Dem Kern unserer Studie liegt ein mehrfaktorielles Design (2x2x2) zugrunde, in dem die tatsächliche Quelle des Artikels (Computer vs. Journalist), die den Versuchspersonen genannte Quelle (Computer vs. Journalist) sowie das Thema (Fußball vs. Finanzen) systematisch variiert wurden. Gemessen wurde der Einfluss dieser unabhängigen Variablen auf die wahrgenommene Qualität der präsentierten Texte. Den abstrakten Begriff „Qualität“ haben wir in Glaubwürdigkeit (als wie verlässlich, fehlerfrei, fair und glaubhaft wird ein Textes oder eine Quelle bewertet); Leservergnügen (als wie interessant, lebendig, gut geschrieben und unterhaltsam wird ein Text empfunden) und journalistische Fachkompetenz (als wie erklärend, verständlich, prägnant und schlüssig die Rezipienten einen Text wahrnehmen) unterteilt. Anhand dieser 12 Adjektive haben die Leser die jeweiligen Artikel bewertet.

Um die Frage zu beantworten, ob Leser computergenerierte Texte erkennen können, haben die Befragten entweder einen journalistischen oder einen computergenerierten Wetterbericht gelesen, bei denen keinerlei Angaben zur Quelle gemacht wurden. Nach dem Lesen haben die Befragten angegeben, wer ihrer Meinung nach der Autor des rezipierten Artikels sei – ein Journalist oder ein Computer.

Was sind die wichtigsten Ergebnisse ihrer Befragung? 

Zum einen haben wir untersucht, ob Leser bestimmen können, ob ein Wetterbericht von einem Journalisten verfasst wurde oder computergeneriert ist. Anhand unserer Ergebnisse können wir dazu keine eindeutige Aussage treffen. Denn die Befragten, die einen computergenerierten Wetterbericht gelesen haben, konnten diesen auch richtig zuordnen und nannten einen Computer als vermutete Quelle des Artikels. Allerdings hat auch die Mehrheit der Befragten, die den Wetterbericht des Journalisten gelesen haben, auf einen Computer als Quelle getippt. Demnach konnten die Befragten anhand des Textes nicht eindeutig identifizieren von welcher Quelle der jeweilige Wetterartikel stammte. Möglichweise haben wir keine eindeutigen Ergebnisse gefunden, weil die jeweiligen Wetterberichte sehr kurz und vom Aufbau recht ähnlich waren. Außerdem wurde die Frage im letzten Teil des Fragebogens gestellt und die Leser waren zu diesem Zeitpunkt möglichweise bereits für das Thema sensibilisiert und haben sich deshalb verstärkt für den Computer als mögliche Quelle des Wetterberichts entschieden.

Zusätzlich haben wir untersucht, ob die Qualität des gleichen Artikels unterschiedlich bewertet wird, wenn ein Computer oder ein Journalist als Quelle angegeben ist. Damit wollten wir herausfinden, ob Leser Vorurteile gegenüber den Computern, oder auch den Journalisten haben. Unsere Ergebnisse zeigen, dass Leser einen Artikel für glaubwürdiger und besser geschrieben halten, wenn ein Journalist als Autor genannt wird.

Betrachtet man allerdings die Bewertung der Textqualität von computergenerierten Artikeln im Vergleich zu Artikeln, die von einem Journalisten zum gleichen Thema verfasst wurden, zeigen unsere Ergebnisse, dass Leser die computergenerierten Artikel als glaubwürdiger bewerten und ihnen eine höhere journalistische Fachkompetenz zuschreiben. Fragt man allerdings nach dem Lesevergnügen, schneiden die journalistischen Artikel deutlich besser ab, als die computergenerierten Texte. Die Journalisten können sich demnach immer noch mit einem lebendigeren Schreibstil auszeichnen. In Punkto Glaubwürdigkeit und Fachkompetenz wurden allerdings die Computertexte besser bewertet.

Wie unterscheiden sich die Ergebnisse von den anderen beiden bekannten Studien zum Thema (Clerwall und van der Kaa)? 

Clerwall (2014) und van der Kaa & Krahmer (2014) waren die ersten, die sich für die Wahrnehmung und Einstellung der Leser gegenüber computergenerierten Texten interessiert haben. Allerdings hat Clerwall (2014) nur die Textqualität untersucht, van der Kaa & Krahmer (2014) nur die Einflüsse der angegebenen Quelle auf die Bewertung der Glaubwürdigkeit. In unserer Studie haben wir diese beiden Perspektiven vereint und können somit den Einfluss der angegebenen Quelle und der tatsächlichen Quelle eines Artikels direkt in Bezug setzen. Die Leser konnten in unserer Studie einen computergenerierten Wetterbericht erkennen und als solchen identifizieren. Sie haben aber Schwierigkeiten, wenn ihnen ein journalistischer Text vorgelegt wird. In beiden Gruppen wurde der Computer häufiger als vermutete Quelle genannt. Auch Clerwall (2014) hat in seiner Studie ähnliche Ergebnisse bei dem Vergleich von Sportartikeln gefunden.

Betrachtet man die Bewertung der Textqualität, unterscheiden sich unsere Befunde mit den Ergebnissen aus der Studie von Clerwall (2014). In seiner Studie wurden keine signifikanten Unterschiede in der Beurteilung der Texte gefunden. Wir haben herausgefunden, dass die computergenerierten Artikel als glaubwürdiger eingestuft werden, sowohl bei dem Thema Fußball, als auch bei Finanzartikeln.

Unsere Ergebnisse zeigen, dass Rezipienten einen Artikel besser bewerten, wenn als Quelle ein Journalisten angegeben ist, unabhängig davon ob der Artikel tatsächlich von einem Journalisten stammt oder computergeneriert ist. Demnach schenken die Rezipienten dem Journalisten mehr Vertrauen als dem Computer. Diese Ergebnisse stehen im Widerspruch zu den Befunden von van der Kar & Krahmer (2014). In ihrer experimentellen Befragung konnte kein Einfluss der angegebenen Quelle auf die Glaubwürdigkeit gefunden werden.

Gab es Aspekte, die Sie überrascht haben? 

Es ist sehr interessant zu beobachten, dass die Leser computergenerierte Texte für glaubwürdiger halten, als Texte, die von einem Journalisten verfasst wurden. Doch sobald ein Computer als Quelle des Artikels genannt wird, bewerten die Leser diesen als weniger glaubhaft. Unsere Ergebnisse zeigen, dass die Leser immer noch Vorurteile gegenüber den Computern haben und sich in ihrer Wahrnehmung beeinflussen lassen. Es hat uns überrascht, dass ein Artikel am glaubwürdigsten bewertet wird, wenn der Text von einem Computer generiert wurde, als Autor aber ein Journalist angegeben wird.

Was sind für Sie ausschlaggebende Faktoren dafür, wie Texte von den Lesern bewertet werden? 

Das Wahrnehmen eines Textes bzw. Artikels hängt von verschiedenen Faktoren ab. An erster Stelle steht unserer Ansicht nach, die persönliche Einstellung und Meinung des Lesers zu einem bestimmten Thema. Ist das Thema für den Leser interessant? Stimmt die Ansicht des Autors mit der Meinung des Lesers überein? Kennt sich der Leser selbst mit dem Thema aus?

Ebenso entscheidend sind der persönliche Geschmack und die daraus resultierenden Erwartungen an einen bestimmten Text. Diese können die Wahrnehmung des Lesers stark beeinflussen und darüber entscheiden, ob der Artikel dem Leser gefällt oder nicht. Ein Fußballfan, der einen Artikel zum letzten Heimsieg seiner Mannschaft liest, bevorzugt möglichweise eine emotionale Reportage gegenüber einer neutralen Nachspielberichterstattung.

Die Berücksichtigung dieser individuellen Einflüsse stellt die Forschung vor eine große Herausforderung.

Welche Ideen aus der Studie werden Sie denn noch weiter untersuchen wollen? 

Wir haben uns mit den beiden Themen Fußball und Finanzen beschäftigt, aber es wäre sicherlich sehr interessant herauszufinden, wie die Leser computergenerierte Artikel zu anderen Themen bewerten. Aus Gesprächen und Kommentaren, die uns die Befragten hinterlassen haben, wurde ersichtlich, dass die Leser Angst haben, ob die Computer demnächst nicht auch Artikel über Politik in Form von Feuilletons oder Reportagen schreiben würden. In solchen Bereichen, in denen Meinungen zum Ausdruck kommen, trauen die Leser der Computersoftware noch nicht viel zu. Außerdem kann man sich noch anschauen, wie die Interessen der Leser die Bewertung

beeinflussen. Sind beispielsweise Fußballfans bei der Bewertung des computergenerierten Artikels kritischer, da sie denken, mehr über Fußball zu wissen?

Weiterhin kann man vor allem in den USA bereits die Entwicklung beobachten, dass sich Unternehmen wie Automated Insights mittlerweile mit „robotic social media posting“ beschäftigen. Die Software generiert dabei Tweets für Athleten oder ganze Sportteams, die spannende Fakten wie Siegwahrscheinlichkeit, Statistiken oder andere interessante Informationen über die einzelnen Spieler beinhalten. Es wäre spannend zu untersuchen, wie Social Media Nutzer zum computergenerierten Social Publishing stehen.

http://www.text-gold.de/wp-content/plugins/sociofluid/images/twitter_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/google_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/stumbleupon_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/delicious_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/digg_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/reddit_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/dzone_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/blinklist_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/blogmarks_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/furl_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/newsvine_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/technorati_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/magnolia_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/myspace_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/facebook_48.png http://www.text-gold.de/wp-content/plugins/sociofluid/images/yahoobuzz_48.png

Ein Kommentar zu “Leser halten computergenerierte Texte für glaubwürdiger als Journalistentexte – so die Ergebnisse einer aktuellen Studie”

  1. Computertexte inzwischen so gut wie die menschliche Feder - Online By Nature  on April 26th, 2015

    […] gut und wird natürlich jeden Tag besser. Die Eindrücke vom Vortrag wurden gerade von einer Studie bestätigt. Die Glaubwürdigkeit eines Artikels war beim Leser hier nur noch subjektiv, anhand der […]


Kommentare