Resurse lingvistice în flux continuu Dan CRISTEA

Transcription

1 Resurse lingvistice în flux continuu Dan CRISTEA Facultatea de Informatică, Universitatea A.I.Cuza - Iaşi Institutul de Informatică Teoretică, Academie Română, Iaşi

2 Dicţionare tezaur în format Engleză electronic Oxford Advanced Learner s Dictionary Collins Merriam-Webster Franceză: Trésor de la Langue Française Informatisé Italiană: Tesoro della Lingua Italiana delle origini Spaniolă: Diccionario de la Lengua Española Portugheză: Língua Portuguesa On-Line Română: DEX online, WebDEX

3 Dicţionare tezaur în format Deutsches Wörterbuch der Grimm (DWB) , volume cuvinte şi variante TLFI volume cuvinte definiţii exemple electronic

4 Dicţionarul Tezaur al Limbii Române începutul 1913

5 Două serii: Dicţionarul Tezaur al Limbii Române Dicţionarul Academiei (DA) publicat între 1913 şi 1949 A-C, D-De, F-K, L-lojniţă Dicţionarul Limbii Române (DLR) ultimul volum: 2010

6 DTLR: statistici DA + DLR 37 volume, pagini intrări citate: ~88% din text

7 DA şi DLR eda şi edlr DTLR = DA DLR edtlr edtlr+ edtlr++ Notaţii

8 Faze în construirea unui dicţionar reprezentativ al limbii române actuale Partea I: construieşte edtlr dicţionarul corectat, sursele dicţionarul XML şi legăturile în surse softul de acces Partea II: construieşte/cumpără un mediu lexicografic Partea III: actualizează edtlr edtlr+

9 edtlr++ eda actualizat edlr edtlr+ E deja rămas în urmă! Partea IV: ţine-l la zi cu evoluţia limbii

10 O fabrică de cuvinte depozit digital

11 Actualizarea legislaţiei asupra drepturilor de autor şi a depozitului legal Legea drepturilor de autor prea restrictivă Legea depozitului legal rămasă în urmă Parlamentul: grija pentru păstrarea limbii naţionale! DAR Nu aduce atingere autorilor şi proprietarilor de texte!

12 O lege Impune tuturor deţinătorilor de texte (resourcers) obligativitatea de a depune o copie electronică a resurselor lor lingvistice pentru păstrare îndelungată şi cercetări asupra limbii!

13 Portalul O entitate legală (unitate de cercetare): infrastructură de calcul, stocare şi acces garantează tehnic şi juridic securitatea datelor asigură servicii pentru: cercetători proprietarii de texte public Resurse lingvistice şi instrumente pentru prelucrarea limbii române MNLR 6+7 mai 2010, Bucureşti

14 În textul legii Nu se prejudiciază drepturile de autor Proprietarii de texte nu sunt lezaţi Copia electronică poate fi folosită numai intermediată de Portal şi numai în scopuri de cercetare a limbii Portalul nu poate publica copia ori părţi din ea în Internet sau în alte medii decât dacă i se cere să facă astfel de către proprietar Resurse lingvistice şi instrumente pentru prelucrarea limbii române MNLR 6+7 mai 2010, Bucureşti

15 Proprietarii de texte edituri persoane publice ori particulare care tipăresc texte pentru consum public case de înregistrări şi studiouri universităţi

16 Surse Publicaţii pe hârtie şi în Internet: cărţi, ziare, reviste, magazine, almanahuri, materiale propagandistice, postere, proclamaţii, teze de doctorat, articole ştiinţifice, cursuri universitare, legi, colecţii de standarde şi norme etc.

17 Comunicaţia: Proprietar Portal provider PID

18 Comunicaţia: Proprietar Portal provider PID

19 Câtă memorie? Kevin Kelly în The New York Times, întreaga operă (scrisă) a umanităţii, de la apariţia scrisului, şi în toate limbile nu depăşeşte 50 petabytes. Date textuale pentru Romania/zi: <1GB

20 Câtă memorie? Carți publicate pe ani: anul 2004 aprox. 716 anul 2005 aprox anul 2006 aprox anul 2007 aprox anul 2008 aprox x aprox. 2Mb = 6 GB/ an anul 2009 aprox. 900 Ziare din România: ziare locale: aprox 429 ziare zilnice x 365 zile = x 0.5 Mb aprox. 80 GB/an ziare centrale: aprox. 324 x 365 zile = x 0.5 Mb aprox 60 GB/an reviste din România: aprox 420 de reviste x 26 (la 2 săptămâni) = reviste/an * 1.5 Mb aprox 17 GB/an TOTAL: aprox 163 GB / an (2008) Resurse lingvistice şi instrumente pentru prelucrarea limbii române MNLR 6+7 mai 2010, Bucureşti

21 Către un dicţionar al limbii permanent actualizat Decizii: când să se accepte un nou cuvânt în limbă când să se accepte că un cuvânt este ieşit din uz când să se accepte un nou sens al unui cuvânt când să se considere că un cuvânt este ieşit din uz Activităţi lexicografice ajutate de calculator: construirea de definiţii selectarea exemplelor determinarea primei menţiuni stabilirea etimologiilor...

22 edtlr++ varianta diacronică a edtlr+ Organizare, criterii, resurse Parlamentul: iniţiază legea depozitului electronic dedicat cercetării Comitetul: stabileşte criteriile selectării surselor Un program: sortează resursele după registru, stil, domeniu, autor, data de publicare etc. Un program: selectează resursele Comitetul: stabileşte criterii de intrare şi ieşire din limbă

23 edtlr++ varianta diacronică a edtlr+ Prelucrări Program: POS-tagg, lematizează resursele selectate, sortează lemele în ordinea frecvenţei Program: aplică criteriile pentru a stabili calitatea unui cuvânt/sens nou şi învechit Lexicografi: validează, lucrează definiţii etc. Program: creează o versiune nouă a edtlr++ Lexicografi ajutaţi de interfeţe: extrage subdicţionare, modifică etc.

24 Atractivitate pentru posesorii de texte Servicii (aproape) gratuite: acces sofisticat cu TPLN asistenţă tehnică, proiecte reclamă, publicare în Internet Resurse lingvistice şi instrumente pentru prelucrarea limbii române MNLR 6+7 mai 2010, Bucureşti

25 Concluzie Iniţiativa: - satisface o necesitate - necesită o infrastructură abordabilă DAR: impune realizarea unei mase critice!

26 Grantul CNMP 91_013 Colegii mei: Mulţumiri Universitatea A.I.Cuza Iaşi: Facultatea de Informatică Facultatea de Litere Academia Română: Institutul de Cercetări în Inteligenţă Artificială, Bucureşti Institutul de Informatică Teoretică, Iaşi Institutul de lingvistică I. Iordan A. Rosetti, Bucureşti Institutul de filologie română A. Philippide, Iaşi Institutul de lingvistică şi istorie literară S. Puşcariu, Cluj-Napoca PIM SRL, Iaşi

27 Şi dumneavoastră