Frequenzanalyse

Die Frequenzanalyse ist ein allgemeines Verfahren, das beim Knacken verschiedener Arten von Chiffren verwendet werden kann. Bei der Häufigkeitsanalyse gehen wir in der Regel den verschlüsselten Text durch und versuchen, Ähnlichkeiten mit der Sprache zu finden, in der die Nachricht verfasst ist.

Die Häufigkeit der Buchstaben im Chiffriertext

Eines der grundlegenden Instrumente der Häufigkeitsanalyse ist die Häufigkeit der Buchstaben in einer bestimmten Sprache. Wenn wir genügend tschechische Texte analysieren, können wir verschiedene statistische Informationen berechnen, darunter auch, wie oft welche Buchstaben in diesen Texten vorkommen.

Da ich neulich etwa fünftausend Bücher in tschechischer Sprache gekauft habe, habe ich eine solche Analyse durchgeführt. In diesen fünftausend Büchern gab es insgesamt 1.404.443.151 Buchstaben. Die folgende Tabelle zeigt die Verteilung der Buchstaben (nach Abzug der diakritischen Zeichen):

Die folgende Tabelle zeigt dann die relative Häufigkeit der Buchstaben:

Aus der Tabelle geht hervor, dass etwa 9,58 % der Buchstaben in allen Büchern der Buchstabe "a" waren. Daraus können wir ableiten, dass etwa 9,58 % der Buchstaben in einem normalen tschechischen Text "a" sind.

Jede dieser Statistiken wird leicht abweichende Werte zeigen, aber das ist in Ordnung - es geht nicht so sehr um exakte Werte, die kann man sowieso nicht herausfinden, sondern nur um Näherungswerte.

Die Abweichung der Häufigkeit der Buchstaben von der Häufigkeit der Buchstaben in der Sprache

Wenn wir die erwarteten relativen Häufigkeiten der einzelnen Buchstaben in einer bestimmten Sprache kennen, können wir die Abweichung eines Textes von den erwarteten Werten berechnen. Nehmen wir als Beispiel zwei Texte: "fhes dudy fqhup ijhecuc fhejepu eriqxkzu ahkpdysu" und "proc neni parez tree because it contains crucifixes". Auf den ersten Blick sehen wir, dass der erste Text ein Kauderwelsch ist, während der zweite Satz der tschechische Text ist. Berechnen wir die Abweichung - es sollte sich herausstellen, dass die Abweichung des ersten Textes wesentlich höher sein wird als die des zweiten.

Berechnen wir zunächst die Häufigkeit der Buchstaben in jedem Text:

Nun berechnen wir die Abweichungen. Wir berechnen diese, indem wir die relative Häufigkeit eines Buchstabens in der Sprache von der relativen Häufigkeit im ersten Text abziehen und quadrieren. Das heißt, für den Buchstaben "a" und den ersten Text erhalten wir die Abweichung als

$$ (0.0232558 - 0.0958927)^2=0.0052761 $$

und in ähnlicher Weise für alle anderen Buchstaben. Wenn Sie den Mauszeiger über die Zelle mit dem Ergebnis bewegen, wird auch der Ausdruck angezeigt, der zur Ermittlung des Ergebnisses verwendet wurde.

Schließlich haben wir alle Abweichungen addiert. Korrekterweise müssten wir diesen Wert noch durch die Anzahl der Buchstaben dividieren und dann subtrahieren, um die tatsächliche Abweichung zu erhalten. Aber diese Operationen ändern nichts an der Tatsache, dass der zweite Text eine deutlich geringere Abweichung aufweist, so dass es viel wahrscheinlicher ist, dass es sich um einen tschechischen Text handelt.

Die gebräuchlichsten Wörter der Sprache

Manchmal kann eine Liste mit den häufigsten Wörtern einer Sprache nützlich sein.