{"id":7144,"date":"2024-01-31T13:13:51","date_gmt":"2024-01-31T12:13:51","guid":{"rendered":"https:\/\/content-conversion.com\/layout-analysis-benchmark\/"},"modified":"2024-01-31T16:46:44","modified_gmt":"2024-01-31T15:46:44","slug":"layout-analysis-benchmark","status":"publish","type":"page","link":"https:\/\/content-conversion.com\/de\/layout-analysis-benchmark\/","title":{"rendered":"Layout Analysis Benchmark"},"content":{"rendered":"

[et_pb_section fb_built=“1″ admin_label=“section“ _builder_version=“3.22″][et_pb_row _builder_version=“4.4.1″][et_pb_column type=“4_4″ _builder_version=“3.25″ custom_padding=“|||“ custom_padding__hover=“|||“][et_pb_text _builder_version=“4.9.4″ header_font=“Open Sans Condensed Light local|300|||||||“ header_text_color=“#666666″ header_font_size=“70px“ header_letter_spacing=“1px“ max_width=“100%“ animation_style=“slide“ animation_direction=“left“ header_font_tablet=““ header_font_phone=“||||||||“ header_font_last_edited=“on|phone“ header_font_size_phone=“50px“ locked=“off“]<\/p>\n

Layout Analysis<\/span><\/h1>\n

Bechmark<\/h1>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][\/et_pb_section][et_pb_section fb_built=“1″ _builder_version=“4.4.2″ background_color=“#919191″ background_enable_image=“off“ parallax=“on“ min_height=“194px“ custom_margin=“||-44px|||“ custom_padding=“15px||0px||false|false“ animation_style=“fade“ animation_direction=“right“ background_last_edited=“off|desktop“ background_enable_color_phone=“off“ background_blend_phone=“normal“ border_color_top=“#1e69ae“ border_color_bottom=“#1e69ae“ locked=“off“][et_pb_row _builder_version=“4.4.1″][et_pb_column type=“4_4″ _builder_version=“3.25″ custom_padding=“|||“ custom_padding__hover=“|||“][et_pb_text _builder_version=“4.9.4″ text_font=“Open Sans Condensed||||||||“ text_text_color=“#ffffff“ text_font_size=“26px“ text_letter_spacing=“1px“ text_line_height=“1.4em“ text_orientation=“center“ max_width=“750px“ module_alignment=“center“ custom_padding=“16px||0px|||“ animation_style=“slide“ animation_direction=“right“ min_height=“196.6px“]<\/p>\n

docWizz 8.1 erzielt wesentliche Verbesserungen bei der Layoutanalyse von Newpapers. Die Erkennungsrate von Schlagzeilen wird massiv erh\u00f6ht, w\u00e4hrend die falsch-positiven und falsch-negativen Ergebnisse erheblich reduziert werden.<\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][\/et_pb_section][et_pb_section fb_built=“1″ _builder_version=“4.9.4″ _module_preset=“default“ min_height=“477.8px“][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

Einleitung<\/span><\/h2>\n

Seit mehr als 20 Jahren bietet CCS im Rahmen seiner Software docWizz\u00ae die automatische Layoutanalyse von Zeitungen an. Urspr\u00fcnglich war unsere Layoutanalyse als komplexe Bildverarbeitung konzipiert, die ein umfangreiches Regelwerk auf Bildebene und auf die Ergebnisse der Optical Character Recognition (OCR) anwendet.<\/span><\/p>\n

Im Jahr 2019 haben wir ein KI-System (Convolutional Neural Network, CNN) integriert, um unsere Regel-Engine mit zus\u00e4tzlichen Informationen zu versorgen, wodurch wir die Komplexit\u00e4t der Regeln reduzieren und ihre Robustheit gegen\u00fcber Layoutschwankungen verbessern k\u00f6nnen.<\/span><\/p>\n

Vor kurzem haben wir das KI-System durch ein Detectron2-basiertes Netzwerk ersetzt. Dies erm\u00f6glichte es uns, die Bildverarbeitung und die Regel-Engine durch ein generisches Nachbearbeitungsmodul zu ersetzen, das nicht mehr zeitschriftsspezifisch ist. Die Robustheit wird nun nur noch durch die Trainingsdaten gesteuert.<\/span><\/p>\n

Experimente mit Transformer-Netzwerken zeigten bisher das gleiche Potenzial, jedoch mit viel h\u00f6herem Rechenaufwand.<\/span><\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“ custom_padding=“||2px|||“]<\/p>\n

Training Data<\/span><\/h2>\n

Aufgrund vertraglicher Vereinbarungen mit einigen unserer Kunden sind wir berechtigt, Korrekturen zu nutzen, die w\u00e4hrend<\/span> der Manuelle Qualit\u00e4tssicherung gemacht werden. Wir wenden einen weitgehend manuellen Harmonisierungsprozess auf die erhobenen Daten an, da die Qualit\u00e4tsstandards in Projekten in der Regel unter den Anforderungen an Trainingsdaten liegen. Dar\u00fcber hinaus variieren die Spezifikationen je nach Kunde und Projekt. Bisher haben wir einen Bestand von 175.000 Seiten mit nahezu perfekter Layoutanalyse auf der Grundlage unserer harmonisierten Spezifikation erstellt. Wir unterscheiden 10 verschiedene Arten von Zonen: Textblock, Illustration, Tabelle, \u00dcberschrift, Anzeige, Nachruf, Bildunterschrift, Lauftitel, Autor und Seitenzahl. <\/span><\/p>\n

In dieser Fallstudie konzentrieren wir uns auf die Erkennung von Artikel\u00fcberschriften.<\/p>\n

<\/h2>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“ custom_padding=“||2px|||“]<\/p>\n

\u00dcberschriften<\/span><\/h2>\n

Aus technischer Sicht sind \u00dcberschriften die wichtigsten Zonen in einer Zeitung, da sie den Weg f\u00fcr die anschlie\u00dfende Artikelsegmentierung ebnen. \u00dcberschriften sind auch entscheidend f\u00fcr die Unterst\u00fctzung einer robusten Auffindbarkeit auf der Plattform mit verbesserter Benutzererfahrung durch Indizierung auf Artikelebene. Daher hat ihre automatische Erkennung einen starken Einfluss auf die Produktivit\u00e4t. <\/span><\/p>\n

<\/h2>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“ custom_padding=“||2px|||“]<\/p>\n

Auswertung<\/span><\/h2>\n

F\u00fcr die Evaluierung haben wir drei Versionen unserer propriet\u00e4ren Software verglichen. Es gab keine 3rd-Party-Software, die eine solche Analyse liefern kann.<\/span><\/p>\n

docWizz 7.3, <\/span><\/strong>unser letztes Release ohne KI-basierte Layoutanalyse. <\/span> <\/p>\n

docWizz 8.0,<\/span><\/strong> unser letztes Release mit CNN-artiger KI-Layout-Analyse.<\/span><\/p>\n

docWizz 8.1<\/strong> , unser j\u00fcngstes Release, das erste mit Transformer-basierter Layout-Analyse.<\/p>\n

<\/h2>\n

<\/h2>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“ custom_padding=“||2px|||“]<\/p>\n

Ground Truth und Messung<\/span><\/h2>\n

Unser Ground Truth-Set umfasst 175.000 Seiten Zeitungen aus dem 19., 20. und 21. Jahrhundert mit 3-10 Spalten. Die Sprachen sind meist lateinisches Alphabet mit einem kleinen Anteil an Kyrillisch, Griechisch und Malaiisch. Die Scans erfolgtren von Mikrofilm und Originalen.<\/span><\/p>\n

Aus der Grundwahrheit haben wir eine relativ kleine Teilmenge f\u00fcr Tests abgesondert und eine gr\u00fcndliche manuelle Auswertung durchgef\u00fchrt. Wir verlassen uns derzeit auf die manuelle Auswertung, da sie es Entwicklern erm\u00f6glicht, direkt zu erkennen, wo das Training verbessert werden muss oder welche Art von Trainingsdaten hinzugef\u00fcgt werden sollten.<\/p>\n

Das Testset wurde nicht f\u00fcr das Training verwendet. Innerhalb des Testsatzes z\u00e4hlten wir die Gesamtzahl der korrekt erkannten \u00dcberschriften (ok), die Gesamtzahl der erkannten falsch positiven Schlagzeilen (extra) und die Schlagzeilen falsch negative Schlagzeilen, die in der Ground Truth vorhanden sind, aber nicht erkannt wurden (missed).<\/p>\n

<\/h2>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“ custom_padding=“||2px|||“]<\/p>\n

Resultate<\/span><\/h2>\n

Insgesamt ist die Verbesserung, die mit dW 8.0 gegen\u00fcber dW 8.1 erzielt wurde, erheblich. Die Erkennungsrate wird massiv erh\u00f6ht, w\u00e4hrend die falsch-positiven und falsch-negativen Ergebnisse erheblich reduziert werden. Folglich erreicht der F1-Score 81 %. (F1-Ergebnis wird unten erkl\u00e4rt)<\/p>\n

Die Ergebnisse sindn nur bedingt auf andere Materialien zu extrapolieren, da der anf\u00e4ngliche Datensatz f\u00fcr Tests relativ klein ist.
Unsere Auswertung zeigt keine Korrelation des Ergebnisses mit Sprache, Epoche, Anzahl der Spalten oder Scanquelle.<\/p>\n

 <\/p>\n

<\/h2>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row column_structure=“1_2,1_2″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“1_2″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_image src=“https:\/\/content-conversion.com\/wp-content\/uploads\/2024\/01\/image-1.png“ alt=“Performance von docWizz Layoutanalysis“ title_text=“image-1″ _builder_version=“4.9.4″ _module_preset=“default“][\/et_pb_image][\/et_pb_column][et_pb_column type=“1_2″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_image src=“https:\/\/content-conversion.com\/wp-content\/uploads\/2024\/01\/image-2.png“ alt=“F1 Score der docWizz Layoutanalyse auf \u00dcberschriften“ title_text=“image-2″ _builder_version=“4.9.4″ _module_preset=“default“][\/et_pb_image][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

Typische Fehler<\/o:p><\/span><\/h2>\n

Zus\u00e4tzliche \u00dcberschriftenfehler, die in den Vorg\u00e4ngerversionen dW 7 und dW 8.0 auftraten, waren oft kleine Zonen in Anzeigen oder der Titelabschnitt, der f\u00e4lschlicherweise als \u00dcberschrift identifiziert wurde. Mit dW 8.1 hat sich das Fehlerschema komplett ge\u00e4ndert. <\/span>Jetzt sehen wir, dass Anzeigen als Artikel behandelt werden und Fehler auftreten, die aus Inkonsistenzen in den Trainingsdaten resultieren. <\/span>Trotz aller Bem\u00fchungen sind sich unsere Experten nicht einig \u00fcber die korrekte Zonierung der beiden Zeilen.<\/span><\/p>\n

In den Vorg\u00e4ngerversionen dW 7 und dW 8.0 fehlten viele kleine \u00dcberschriften und wurden f\u00e4lschlicherweise als Text klassifiziert. Diese Art von Fehler kann auch bei dW 8.1 beobachtet werden, jedoch mit viel geringerer Frequenz.
<\/span><\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row column_structure=“1_3,1_3,1_3″ _builder_version=“4.9.4″ _module_preset=“default“ custom_padding=“15px|||||“][et_pb_column type=“1_3″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

\"Werbung<\/a>

Werbung wird als Artikel behandelt<\/p><\/div>[\/et_pb_text][\/et_pb_column][et_pb_column type=“1_3″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

\"Ist<\/a>

Ist die zweite Zeile eine \u00dcberschrift oder ein Text?<\/p><\/div><\/p>\n

 <\/p>\n

[\/et_pb_text][\/et_pb_column][et_pb_column type=“1_3″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

\"Verpasste<\/a>

Verpasset \u00dcberschrift<\/p><\/div><\/p>\n

 <\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

Ein h\u00e4ufiges Problem von Fehlern ist, dass das trainierte Modell keine Kontextinformationen lernen kann. Wir f\u00fcttern die OCR-Ergebnisse w\u00e4hrend des Trainings nicht und die Bilder werden unter die Lesbarkeit herunterskaliert. <\/span><\/p>\n

Wir kommen zu dem Schluss, dass das Fehlerprofil von dW 8.1 insgesamt dem von menschlichen Bedienern sehr \u00e4hnlich ist.<\/span><\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

Ausblick<\/span><\/h2>\n

Diese Evaluierung wird mit weiteren Software-Updates aktualisiert und neu ver\u00f6ffentlicht und umfasst Evaluierungsl\u00f6sungen von Drittanbietern. <\/span><\/p>\n

Die Verwendung der automatischen Auswertung erm\u00f6glicht eine Vergr\u00f6\u00dferung des f\u00fcr die Tests verwendeten Datensatzes und liefert Ergebnisse, die statistisch zuverl\u00e4ssiger sind.<\/span><\/p>\n

Aufgrund des menschen\u00e4hnlichen Fehlerprofils planen wir eine Evaluation, um die vollautomatisches Zoning mit dem menschlichen Zoning im Rahmen des „National Digital Newspaper Program“ (NDNP) der Library of Congress zu vergleichen. <\/span><\/p>\n

Wir glauben, dass die Qualit\u00e4t der automatisierten Artikelsegmentierung ein Niveau erreicht hat, das der manuellen Korrektur nahe kommt.<\/span><\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][\/et_pb_section][et_pb_section fb_built=“1″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_row _builder_version=“4.9.4″ _module_preset=“default“][et_pb_column type=“4_4″ _builder_version=“4.9.4″ _module_preset=“default“][et_pb_text _builder_version=“4.9.4″ _module_preset=“default“]<\/p>\n

F1 score<\/span><\/h1>\n

Wir verwenden den h\u00e4ufig verwendeten F1-Score, um die Leistung zu messen. Um die Partituren zu verstehen, verwenden wir eine grafische Darstellung. Der blaue Teil des Quadrats (links) enth\u00e4lt alle Zonen, die wirklich \u00dcberschriften sind, der wei\u00dfe Teil (rechts) enth\u00e4lt alle anderen Zonen. Der Kreis (rot) enth\u00e4lt alle Zonen, die von docWizz als \u00dcberschriften gekennzeichnet sind. <\/span><\/p>\n

\"\"<\/a><\/p>\n

Der F1-Score ber\u00fccksichtigt zun\u00e4chst die Begriffe „Pr\u00e4zision“ und „Recall“. Pr\u00e4zision ist die Antwort auf die Frage „Wie viel vom Ergebnis ist wahr?“ <\/span><\/p>\n

\"\"<\/a><\/p>\n

Erinnern ist die Antwort auf die Frage: „Wie viel Wahrheit steckt im Ergebnis?“<\/span><\/p>\n

\"\"<\/a> <\/span><\/p>\n

F1 ist dann wie folgt definiert:<\/span><\/p>\n

\"\"<\/a><\/p>\n

Es ist erw\u00e4hnenswert, dass der F1-Score die wirklich negativen Ergebnisse ignoriert. F\u00fcr ein Problem vom Typ „Nadel im Heuhaufen“ scheint der F1-Score nicht angemessen zu sein. F\u00fcr unsere Layout-Analyse glauben wir jedoch, dass der F1-Score einen sehr guten Hinweis auf die Leistung gibt.<\/span><\/p>\n

[\/et_pb_text][\/et_pb_column][\/et_pb_row][\/et_pb_section]<\/p>\n","protected":false},"excerpt":{"rendered":"

Layout Analysis BechmarkdocWizz 8.1 erzielt wesentliche Verbesserungen bei der Layoutanalyse von Newpapers. Die Erkennungsrate von Schlagzeilen wird massiv erh\u00f6ht, w\u00e4hrend die falsch-positiven und falsch-negativen Ergebnisse erheblich reduziert werden.Einleitung Seit mehr als 20 Jahren bietet CCS im Rahmen seiner Software docWizz\u00ae die automatische Layoutanalyse von Zeitungen an. Urspr\u00fcnglich war unsere Layoutanalyse als komplexe Bildverarbeitung konzipiert, die […]<\/p>\n","protected":false},"author":3,"featured_media":6884,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_et_pb_use_builder":"on","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"class_list":["post-7144","page","type-page","status-publish","has-post-thumbnail","hentry"],"_links":{"self":[{"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/pages\/7144","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/comments?post=7144"}],"version-history":[{"count":11,"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/pages\/7144\/revisions"}],"predecessor-version":[{"id":7302,"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/pages\/7144\/revisions\/7302"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/media\/6884"}],"wp:attachment":[{"href":"https:\/\/content-conversion.com\/de\/wp-json\/wp\/v2\/media?parent=7144"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}