The Journal Fjölnir for Everyone: The Post- Processing of Historical OCR Texts

Transcription

1 Jón Friðrik Daðason, Kris0n Bjarnadó4r & Kristján Rúnarsson The Árni Magnússon Ins0tute for Icelandic Studies, University of Iceland The Journal Fjölnir for Everyone: The Post- Processing of Historical OCR Texts Language Resources and Technologies for Processing and Linking Historical Documents and Archives Deploying Linked Open Data in Cultural Heritage LRT4HDA May LREC 2014 Reykjavík

2 Fjölnir: a 19 th century journal The aim is making the text of Fjölnir accessible on the Web, both in the original spelling, and in modern spelling, in a version suitable both for scholars and the general public. KrisYn: Jón Friðrik: Kristján: The journal The cohesion of Icelandic spelling The need for normaliza0on The OCR post- correc0on process The normaliza0on process Manual post- processing The website The layers of Fjölnir

3 Fjölnir Published in Copenhagen to publish a yearly journal, not confined to anything but the sensible and the amusing... Short stories, poetry, history, poli0cs, natural sciences, book reviews, language, spelling reforms... A cornerstone of Roman0c literature in Iceland

4 The text From the Digital library of Icelandic newspapers, cf. Hrafnkelsson & Sævarsson (LRT4HDA) OCR: 86.2% word accuracy Extreme font changes, cf. example to the right, from a trea0se on spelling Extremely varied spelling, due to par0ally implemented experimental spelling reforms. Spelling was not standardized at the 0me.

5 Sta0s0cs Year Pages Words Characters , , , , , , , , , , ,974 95, , , , , , ,365 Total 1, ,172 1,728,534

6 22% 76% The cohesion of Icelandic spelling: Reykjaholtsmáldagi [The Reykjaholt Charter] AD 1150

7 Resources 19 th century word forms and frequency: 517,000 The Wrilen Language Archive (Ritmálssafn), The Árni Magnússon Ins0tute for Icelandic Studies (AMI) Modern word forms: 5.8 million The Database of Modern Icelandic Inflec0on (Beygingarlýsing íslensks núymamáls), AMI Modern word frequency: Íslenskur orðasjóður (Wortschatz), Universität Leipzig Approx. 500 million running words

8 The benefits of normaliza0on The general public balks at reading unfamiliar spelling Scholars make use of the anchoring of spelling variants to modern word forms and lemmas Modern NLP tools generally assume modern spelling Normaliza0on greatly enhances the scope of search engines

9 Approaches to spelling normaliza0on Rule- based normaliza0on Rules manually created or derived from parallel corpora A few rules can normalize a large por0on of the text Ambiguous and uncommon variants can result in large and complex rule sets Generally specific to certain 0me periods and domains Spellchecking Candidates generated and ranked by probability Probability es0mated from character transforma0ons and the frequency of the candidate A good general solu0on if the spellchecker can be adapted to each document

10 Noisy channel model Es0mate the probability that a given candidate is correct based on a language model and an error model The language model es0mates the probability of a given word (or a sequence of words) based on its frequency in a large corpus We use a unigram model The error model es0mates the probability of a given character transforma0on

11 Error model The error model is trained on pairs of correct and noisy words The probability that the leler m could be misrecognized as rn is P(rn m) = count(m rn) / count(m), where count(m rn) is the number of 0mes m was replaced with rn, and count(m) is the number of 0mes m appears in the correct words

12 Training the error model Several training itera0ons First itera0on Assume all words not in our lexicon are errors For each error, generate candidates from the lexicon Rank the candidates using the language model only Following itera0ons Train the error model using the results of the previous itera0on Re- rank the candidates using the updated error model

13 Interac0ve OCR correc0on

14 Results for OCR correc0on (1) Results when evaluated on the 8 th volume of Fjölnir 18,714 alphabe0cal tokens; 2,591 word errors Iter. 1 Iter. 2 Iter. 3 Iter. 4 N=1 38.1% 51.6% 52.9% 52.9% N=5 49.4% 58.1% 57.8% 58.0% Sugges0on accuracy (top 5 sugges0ons) Language model only: 49.4% With error model: 58.0% Fraktur font results in many uncorrected errors E.g., vardveiti (varðvei0) preserve oartw^t Easier to correct during the OCR process itself

15 Results for OCR correc0on (2) Excluding words in Fraktur yields significantly improved results Iter. 1 Iter. 2 Iter. 3 Iter. 4 N=1 47.9% 65.0% 66.4% 66.6% N=5 62.0% 72.0% 72.1% 71.7% Sugges0on accuracy (top 5 sugges0ons) Language model only: 62.0% With error model: 71.7%

16 Results for spelling normaliza0on Iter. 1 Iter. 2 Iter. 3 Iter. 4 N=1 35.7% 68.9% 73.4% 73.6% N=5 48.6% 84.6% 84.6% 84.6% Sugges0on accuracy (top 5 sugges0ons) Language model only: 48.6% With error model: 84.6% Remaining errors are largely real- word errors E.g., where en but has been wrilen as enn s0ll Require a context- sensi0ve spellchecker

17 Jietta nafn er niikjils til of stutt, því bókjin ætti reíndar að heífa: "látilffdrlegur smntiningur af málleísum, bögumœlum, dönskuslettum, hortittum, klaufalegum orðatiltækj'um, smekkleisum og öðrum þess húttar smámunum, sumt frjálst og sumu stolið af Siguroi Breíðfj'úrð." Jietta nafn er niikjils til of stutt, því bókjin ætti reíndar að heífa: "látilffdrlegur smntiningur af málleísum, bögumœlum, dönskuslettum, hortittum, klaufalegum orðatiltækj'um, smekkleisum og öðrum þess húttar smámunum, Þetta nafn er mikjils til of stutt, því bókjin ætti reíndar að heíta: lítilfjörlegur samtíníngur af málleísum, bögumælum, dönskuslettum, hortittum, klaufalegum orðatiltækjum, smekkleísum og öðrum þess háttar smámunum, sumt frjálst j Þetta nafn er mikils til of stutt, því bókin ætti reyndar að heita: lítilfjörlegur samtíningur af málleysum, bögumælum, dönskuslettum, hortittum, klaufalegum orðatiltækjum, smekkleysum og öðrum þess háttar smámunum, sumt frjálst j Facsimile OCR Corrected original spelling Corrected modern spelling

18 The layers of Fjölnir OCR Post- corr. Modern Lemma Tag Hjcr Hjer Hér hér aa eru eru eru vera sfg3fn fáei n fáeín fáein fáeinir fohfn dæmi dæmi dæmi dæmi sþghfn af af af af aþ hvurju hvurju hverju hver fsheþ firir firir fyrir fyrir ao sig sig sig sig fphfo Links to the scanned pages on 0marit.is will be provided. The texts will be available in KWIC format at arnastofnun.is.

19 Manual post- processing Classifica0on of different text styles: Block styles: Headers and subheaders of different levels, body text, smaller text, footnote text, etc. Inline styles: Italic, wide-spaced, bold; Fraktur Layout: Poem blocks, tables, footnotes, math Standardiza0on of text and layout styles, defined in a CSS stylesheet Graphics replicated manually in SVG format

20 Time- consuming aspects Reordering text: tables, footnotes The few ar0cles with a lot of forma ng changes (e.g. ar0cle on spelling reforms)

21 deplabaugnum Z' n' N' m' (Fig. 1 b). og N' er ílóð, og á n' og m' er fjara. 40 Á stððunum Z' Af þcssu 111 á það sjá án alls reíkníngs, að flóð og íjara veröur aö koma tvisvar á hvurju tíniabili, scm Iíður ámilli þess, er túngllð kjcmur í imdeígjisstað, svo og, að flóð kjemur alstaðar á jöröunni, þar sem túnglið er í hádeígjis- og miðnættisstað, og fjara hhtur að koma þar rúmum G stundum seínna, hegar túnglið nemur við sjóndeíldarliríng, hað er að skjilja: ftcgar hað kjemur öpp og gjeíngur undir. Sama er að scígja Um S(Slina, og mi hefir verið sagt um túnglið ; pví cínu munar, að miklu mlnna her á aðdráttarmagni sólarinnar, þótt þaö raunar sje miklu meíia, af því fjarlægð hennar er svo afarmikjil: enn það höfum vjer áður sjeð, að flóð og fjara kjemur af því, að aðdráttarmagnið má sjer mikjið eða lítið á jörðunni, eptir því sem staðirnir á ifirhorði hennar eru íjær eður n;er þeím likomum, sem að sjer draga. Meðalfjarlægð túngls frá jtfrðu er 51,536 mílur, og þvermál jarðarinnar er 1719 mílur; iljastaðurinn N (Fig. 1) er því ^ fjær miðju táogts enn hvirfilstaðurínn Z, og aðdráttarmagni túnglsins munar því töluvert á háðum þeím stöðum. Meðalfjarlægð sólar frá jörðu er 20,606,800 mílna ; mismunur fjarlægðanna á N og Z frá miðju jarðar er því aðeíns j ^ ^, og mismunur aðdráttarins harla litill, þó eigji svo, að ekkji íieri á houum. Setjnm nú, að S (Fig. 2) sje miðja sólar, og A- B kahli úr jarðbrautinni kríngum sólina; hinir stafirnir þíða hjer sama og í Fig. 1. Af því jsrðiri gjeíngur í hríng um sólina, nmndi hvur hluti hennar vera á kasti. sem steíni sje snarað úr slaungu, og fjarlægjast hvur annann. þar verður eínnig flóð. Eíns fer það, þótt flóðið smámínkji, á öllum þeím stöðum jarðarinnar, sem liggja undir sama hádeígjisbaug, sem Z og N, eður þar, sem túnglið er í hádeígjis- og miðnættisstað. Allt annað vatn umhverfis jörðina fjarlægjir sig því minna miðju hennar, sem það er fjær hádeígjisbaug; það er með öðrum orðum: aðdráttarablið liptir því þeím mun minna. Á stöðunum n og m ber túnglið við sjóndeíldarhríng, og þar dregur túnglið vatnið að sjer með jafn miklu abli og miðju jarðarinnar C; aðdráttarmagnið breítir því ekkji í sjálfu sjer sjáarhæðinni á þeím stöðum; samt sem áður hlítur hæð sjáarins að breítast þar um sama leíti og sjórinn eíkst á Z og N; ifirborð sjáarins lækkar á n og m, því mikjill hluti vatnsmegnisins er orðinn eptir við N, og jafn mikjið er runnið til Z, svo ifirborð alls vatnsins er nú búið að fá þá mind, sem sjá er á deplabaugnum Z n N m (Fig. 1 b). Á stöðunum Z og N er flóð, og á n og m er fjara. Af þessu má það sjá án alls reíkníngs, að flóð og fjara verður að koma tvisvar á hvurju tímabili, sem líður ámilli þess, er túnglið kjemur í hádeígjisstað, svo og, að flóð kjemur alstaðar á jörðunni, þar sem túnglið er í hádeígjis- og miðnættisstað, og fjara hlítur að koma þar rúmum 6 stundum seínna, þegar túnglið nemur við sjóndeíldarhríng, það er að skjilja: þegar það kjemur upp og gjeíngur undir. Sama er að seígja um sólina, og nú hefir verið sagt um túnglið; því eínu munar, að miklu minna ber á aðdráttarmagni sólarinnar, þótt það raunar sje miklu meíra, af því fjarlægð hennar er svo afarmikjil: enn það höfum vjer áður sjeð, að flóð og fjara kjemur af því, að aðdráttarmagnið má sjer mikjið eða lítið á jörðunni, eptir því sem staðirnir á ifirborði hennar eru fjær eður nær þeím líkömum, sem að sjer draga. Meðalfjarlægð túngls frá jörðu er 51,536 mílur, og þvermál jarðarinnar er 1719 mílur; iljastaðurinn N (Fig. 1) er því 1 fjær miðju 30 túngls enn hvirfilstaðurinn Z, og aðdráttarmagni túnglsins munar því töluvert á báðum þeím stöðum. Meðalfjarlægð sólar frá jörðu er 20,666,800 mílna; mismunur fjarlægðanna á N og Z frá miðju jarðar er því aðeíns 1, og mismunur aðdráttarins harla lítill, þó eígji svo, að ekkji beri á honum. N C n A Fig. 2 m Z B N! n! C! m! Z! S Setjum nú, að S (Fig. 2) sje miðja sólar, og AB kabli úr jarðbrautinni kríngum sólina; hinir stafirnir þíða hjer sama og í Fig. 1. Af því jörðin gjeíngur í hríng um sólina, mundi hvur hluti hennar vera á kasti, sem steíni sje snarað úr slaungu, og fjarlægjast hvur annann, ef aðdráttarmagn jarðarinnar sjálfrar orkaði ekkji að halda þeím saman. Slaungukast þetta er almennt kallað miðf lóttamagn, og er það mest á staðnum N, á C, n og m er það minna og jafnmikjið á þeím öllum, og á staðnum Z er það minnst. Þetta er gagnstætt því, sem vjer höfum áður heírt um aðdráttarmagnið, því mest er það á

22 The Árni Magnússon Insetute for Icelandic Studies Thank you for your a^eneon Jón Friðrik Daðason, KrisYn Bjarnadó r & Kristján Rúnarsson jfd1@hi.is, kris0nb@hi.is, krr1@hi.is golnir.arnastofnun.is May LRT4HDA / LREC 2014 Reykjavík

23