Wie viel Information steckt in einem Text? Diese auf den ersten Blick philosophische Frage hat eine erstaunlich präzise Antwort. 1948 legte Claude Shannon mit seiner Theorie der Information den Grundstein dafür, Information in einer konkreten Einheit zu messen: dem Bit. Die zentrale Größe dabei ist die Shannon-Entropie. Sie taucht heute überall auf – von Datenkompression über Passwortstärke bis zur maschinellen Sprachverarbeitung. Dieser Ratgeber erklärt, was sie bedeutet und wie du sie berechnest.
Was ist Entropie im Informationssinn?
Im Alltag verbindet man Entropie mit Unordnung. In der Informationstheorie steht sie für Ungewissheit oder Überraschung. Je unvorhersehbarer das nächste Zeichen einer Nachricht ist, desto mehr Information trägt es. Ein Text, der nur aus dem Buchstaben "a" besteht, ist völlig vorhersehbar – seine Entropie ist null. Ein Text aus zufälligen Zeichen ist maximal überraschend und hat hohe Entropie.
Die Entropie wird in Bit pro Zeichen gemessen. Sie gibt an, wie viele Bit du im Durchschnitt mindestens bräuchtest, um jedes Zeichen der Nachricht zu kodieren. Mit dem Text Entropie Rechner berechnest du die Shannon-Entropie eines beliebigen Textes direkt, ohne die Formel selbst anwenden zu müssen.
Die Formel hinter der Entropie
Shannons Entropie H berechnet sich aus den Wahrscheinlichkeiten der einzelnen Zeichen. Für jedes Zeichen ermittelt man, wie häufig es im Text vorkommt (seine relative Häufigkeit p), und summiert nach folgender Regel:
- H = – Summe über alle Zeichen von ( p · log2(p) )
Der Logarithmus zur Basis 2 sorgt dafür, dass das Ergebnis in Bit herauskommt. Anschaulich: Ein Zeichen, das in der Hälfte der Fälle auftritt, trägt ein Bit Information; ein Zeichen, das nur jedes vierte Mal kommt, trägt zwei Bit. Seltene Zeichen sind "überraschender" und gewichten stärker.
Ein einfaches Beispiel
Betrachte einen Text, der nur aus zwei Zeichen besteht, die gleich häufig vorkommen, etwa eine Folge aus genau gleich vielen Nullen und Einsen. Jedes Zeichen hat die Wahrscheinlichkeit 0,5. Die Entropie beträgt dann exakt ein Bit pro Zeichen – das Maximum für ein Zwei-Zeichen-Alphabet. Sobald ein Zeichen häufiger wird als das andere, sinkt die Entropie, weil der Text vorhersehbarer wird.
Wofür ist Entropie nützlich?
Datenkompression
Die Entropie ist die theoretische Untergrenze für verlustfreie Kompression. Ein Kompressionsverfahren kann einen Text im Idealfall auf seine Entropie eindampfen, aber nicht darunter. Texte mit niedriger Entropie – etwa mit vielen Wiederholungen – lassen sich stark komprimieren, zufällige Daten dagegen kaum. Genau deshalb lässt sich eine bereits gepackte ZIP-Datei nicht weiter verkleinern: Sie hat bereits hohe Entropie.
Passwortstärke
Bei Passwörtern ist Entropie ein Maß für die Widerstandsfähigkeit gegen Erraten. Allerdings ist hier Vorsicht geboten: Die reine Shannon-Entropie eines kurzen Strings misst die Zeichenverteilung, nicht die Vorhersehbarkeit für einen Angreifer. Ein menschlich gewähltes Passwort wie "Passwort123" kann eine hohe Zeichenentropie haben und trotzdem leicht zu erraten sein, weil es in Wörterbüchern steht. Für die echte Passwortstärke zählt die Zufälligkeit der Erzeugung, nicht nur die Buchstabenverteilung.
Sprachverarbeitung
In der maschinellen Sprachverarbeitung dient Entropie als Maß dafür, wie gut ein Modell die nächste Wahl vorhersagt. Niedrigere Entropie bedeutet, dass das Modell weniger überrascht wird – ein direkter Qualitätsindikator.
Was die Entropie nicht ist
Wichtig zur Einordnung: Die Shannon-Entropie betrachtet nur die Häufigkeit einzelner Zeichen, nicht deren Reihenfolge oder Bedeutung. Der Text "abcabc" und eine zufällige Umordnung derselben Buchstaben haben dieselbe Zeichenentropie, obwohl der eine ein Muster hat und der andere nicht. Für Strukturen und Muster braucht man komplexere Maße. Die einfache Entropie ist eine erste, sehr nützliche Näherung – mehr aber auch nicht.
Verwandte Tools
Wenn dich die Sicherheitsseite besonders interessiert, lohnt der Blick auf den Passwort Entropie Rechner und weitere Helfer im Webtools-Bereich. Geht es dir um die Größe von Texten in Bytes statt um ihren Informationsgehalt, hilft dir ein Zeichen-Bytes-Rechner weiter. Für den Informationsgehalt selbst bleibt der Text Entropie Rechner das richtige Werkzeug.
Fazit
Die Shannon-Entropie macht etwas scheinbar Unfassbares messbar: den Informationsgehalt von Daten. Sie erklärt, warum sich manche Dateien stark komprimieren lassen und andere nicht, und liefert eine Grundlage für das Verständnis von Zufälligkeit. Mit dem Text Entropie Rechner siehst du den Bit-Wert eines Textes auf einen Blick – und behältst dabei im Kopf, dass Entropie zwar Häufigkeit, aber nicht Bedeutung erfasst.