Literofteco: Malsamoj inter versioj

 

{{Aranĝu|aranĝo=maldekstra|__TOC__}}

==Graveco==

[[Dosiero:Dancing men.png|300px|dekstra|eta|Parto de la ĉifraĵo en ''La dancantoj'']]

 

<br clear=all />

 

==Esperanto==

===Literofteco===

Grafikaĵo montranta oftecon de literoj en [[Esperanto]] laŭ studoj de [[Pejno Simono]], [[Ottó Haszpra]] kaj [[David G. Simpson]], kaj averaĝan oftecon kalkulitan laŭ tiuj tri studoj.

 

Oni konstatu, ke depende de la specimenoj la precizaj valoroj varias de aŭtoro al aŭtoro.

 

===Vortkomenca literofteco===

! colspan=4 | El 292561 vortoj

|}

 

===Vortfina literofteco===

Evidente okaze de Esperanto kun ĝiaj regulaj gramatikaj finaĵoj vortfina literofteco kaj senfinaĵa radikfina literofteco apenaŭ interrilatas.

 

===Vortlongo===

Ankaŭ pri la distribuo de vortlongoj estis en la jaro 2012 nenie trovebla Interrete. Mallonga esploro<ref name="pejno" group="noto" /> tamen liveras la sekvantan bildon. Tre interesa estas la intermonto ĉe la longo 4.

|}

 

===Korpusoj===

Rilate Esperanton estus eble aserti &#151; kiom da korpusoj, tiom da rezultoj. Alivorte la literoftecoj dependas de la enhavo &#151; do stilo kaj temo &#151; de la esplorata korpuso. En Interreto estas plej ofte nur antikvaj senkopirajtaj tekstoj elŝuteblaj. Ne haveblaj estas tekstoj el modernaj revuoj. Aldone la skalo de temoj pritraktataj ne estas tre vasta.

Surprize estas, ke la facile atingeblaj longegaj tekstoj tiugrade statistike diverĝas, ke tio influas eĉ la ĝeneralan literoftecon.

 

==Aliaj Latinalfabetaj lingvoj==

===Literoftecoj===

Jen grafikaĵo kaj ordigebla tabelo de la oftecoj de pluraj lingvoj.<ref name="enWP" group=Vidu>Fonto: ''Relative frequencies of letters [[:en:Letter frequency#Relative frequencies of letters in the English language|in the English language]]'' kaj ''[[:en:Letter frequency#Relative frequencies of letters in other languages|in other languages]]'' de la anglalingva Vikipedio.</ref>

 

Pliaj lingvoj estas troveblaj ĉe la [http://www.sttmedia.com/characterfrequencies Retejo de ''Stefan Trost Media'']. Tiuj baziĝas sur esploroj de korpusoj por testi [[Unikodo]]n.

 

===Literrangoj===

Ĉiuj ĉi lingvoj aplikas similan alfabeton el 25 literoj aŭ iom pli.

 

 

====La Angla lingvo====

Jen la oftoj de specifa litero vortkomence por la Angla lingvo.<ref>Calculated from "Project Gutenberg Selections" available from the [http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml NLTK Corpora]</ref> Por ordigi alklaku la respektivan titolon de la kolumno.

Notinda estas la diverĝo inter la vortkomenca literofteco kaj la ĝenerala literofteco.

 

 

====La Angla lingvo====

Denove, nur por la Angla kaj nur proksimume.

 

Notinda estas la diverĝo inter la vortfina literofteco kaj la ĝenerala literofteco.

 

===Vortlongoj===

Temas pri tre interesa komparo inter ĉirkaŭ 300 lingvoj, pluraj kun nelatinbazaj alfabetoj.

 

==Ne-Latinalfabetaj lingvoj==

===Literoftecoj===

====La Rusa lingvo====

La tabelo sube eniĝis danke al [http://www.stefantrost.com/contact Stefan Trost]. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en ''"WordCreator"''. La esploro baziĝis sur korpuso kun 1.351.370 signoj, (210.844 vortoj), el kiuj 1.086.255 literoj nombriĝis por la tabelo.<ref>[http://www.sttmedia.com/characterfrequency-russian Retejo Stefan Trost: la Rusa.]</ref> Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

</table>

</td></tr></table>

 

====La Greka lingvo====

</td></tr></table>

 

====La Hebrea lingvo====

La tabelo sube eniĝis danke al [http://www.stefantrost.com/contact Stefan Trost]. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en ''"WordCreator"''. La esploro baziĝis sur korpuso kun 1.230.923 signoj (279.679 vortoj), el kiuj 937.426 literoj nombriĝis por la tabelo.<ref>[http://www.sttmedia.com/characterfrequency-hebrew Retejo Stefan Trost: la Hebrea.]</ref> Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

</td></tr></table>

 

====La Hindia lingvo====

La tabelo sube eniĝis danke al [http://www.stefantrost.com/contact Stefan Trost]. La listo kreiĝis per Unikoda Nombrilo, funkcio integrigita en ''"WordCreator"''. La esploro baziĝis sur korpuso kun 978.430 signoj (238.604 vortoj), el kiuj 736.216 literoj nombriĝis por la tabelo.<ref>[http://www.sttmedia.com/characterfrequency-hindi Retejo Stefan Trost: la Hindia.]</ref> Baze de aliaj korpusoj evidente la valoroj povos iomete varii.

</table>

</td></tr></table>

 

===Vortlongoj===

Bedaŭrinde ne estas klare, kiel nomiĝas la aŭtoro kaj same ne estas klare, kiel grandaj estis la analizitaj tekstkorpusoj &#151; laŭŝajne temas pri tiamaj testtekstoj por provi Unikodon.<ref name=pathall />

 

==Parencaj oftecoj==

===Vortoftecoj===

====La leĝo de Zipf====

Alia ĉi-kampe interesa distribuado rilatas al la ofteco, ne de literoj, sed de tutaj vortoj en tekstkorpuso de specifa natura homa lingvo. La oftoj enrangiĝas &#151; tamen nur proksimume &#151; laŭ la [[Leĝo de Zipf]]<ref group=Vidu>[[:en:Zipf's law|Zipf's Law]]</ref>. Laŭ ĝi la plej ofta vorto aperas duoble pli ofte ol la duarange plej ofta vorto.

{{Parenteze|Grave estas unue difini tion, kio konsistigu vorton. En la supra listo evidente temas pri radikoj kaj ne pri vortoj &#151; do ''esti'' entenas ''esti, estas, estos, estis,'' ktp. Aldone, kio pri radikokombinaĵoj? Ĉu ''fervojo'' estu nur unu vorto aŭ eble du? Ĝuste en Esperanto la difino de tio, kio estu vorto, estas speciale malfacila. Ĉu ekzemple ''viro'' kaj ''viron'' estu unusama vorto? Kaj kio pri la pluraloj ''viroj'' kaj ''virojn''? Do la enklasigo endanĝeriĝas iĝi iomete arbitra &#151; do nur laŭ la kaprico de la esploristo.}}

 

====Esperanto====

Malmulte surprizas, ke okaze de Esperanto ''la'' estas la plej ofta vorto, sekvata eble de ''kaj''. Tamen aliaj fontoj donas iomete aliajn vicordojn. Iam ''de'' dualokiĝas ankoraŭ antaŭ ''kaj''.<ref>[http://www.lingviko.net/db/11_Liu.htm Informadikaj aspektoj de Interlingvistiko] de [[LIU Haitao]]</ref>

Rilate Esperanton specifa [[Fenton Stancliff]] pionire jam en [[1932]] okupiĝis pri tiu temo. Eĉ antaŭ li en [[1927]] laŭŝajne [[Sergej Rublov]] (Сергей Григорьевич Рублёв)<ref>[http://www.ipernity.com/blog/37943/204877 ''La du plej oftaj vortoj: "la" kaj "kaj" – iom pri oftec-vortaroj''] laŭ ''Bernardo'' en blogo ĉe [[Ipernity|Iperno]]</ref> jam ĉi-teme esploris.

 

====La Angla lingvo====

Jen simila listo por la Angla.<ref name=langfacts>[http://oxforddictionaries.com/words/the-oec-facts-about-the-language The OEC: Facts about the language].</ref> Notu, ke la vortoj estas la praformoj, do la formoj, kiuj enlistiĝas kapvorte en Angla vortaro. Tiel ''be'' entenas ankaŭ ''is'', ''was'', ''are'', ''were'', ktp. Aliflanke, ''I'' kaj ''me'' estas apartaj, kio de Esperanta vidpunkto ŝajnas esti iomete nekonsekvenca.

 

Jen troviĝas tre simpla nur rudimenta Aŭka programo<ref name="awk" group=Vidu /> por kalkuli vortoftecojn: [[:en:AWK#Calculate word frequencies|Calculate word frequencies]]. Pli profesia programo troviĝas fine de tiu ĉi artikolo.

 

===Ciferoftecoj===

[[Dosiero:DEU VW-Currywurst 20 MSZ111114.jpg|200px|dekstra|Varoj en superbutiko]]

====Pomalgrandaj prezoj====

Ĉi-kadre estas ankaŭ menciinde, ke ne nur literoj en tekstoj montras specifan distribuon. Ankaŭ ciferoj en multaj ĉiutagaj aplikoj de numeroj montras kelkajn ekkoneblajn distribuojn. Evidente, la plej ofta lasta, do plej dekstra cifero de la prezoj en [[superbazaro]] estas la ''9''. Ĉio kostas 1,99€ kaj preskaŭ neniam 2,00€. Laŭ studo el [[1997]] publikigita en ''Marketing Bulletin'':

Verdire, por ekkoni tion ne necesas esti profesia statistikisto aŭ komisii ampleksan sciencan esploron.

 

====La leĝo de Benford====

Tamen pli malmulte evidenta ekzemplo troviĝas en multaj kontoj de ĝenerala komerca kontado rilate la komencan ciferon de la enkontaĵoj. Ekzemple, tie ne estas tiel, ke ĉiuj ciferoj aperas same ofte en la plej maldekstra ciferloko de numero &#151; normalokaze ili sekvas la tielnomatan [[Leĝo de Benford|Leĝon de Benford]]<ref group=Vidu>[[:en:Benford's law|Benford's Law]]</ref>. Laŭ ĝi la cifero 1 aperas 30% ofte sed la cifero 9 nur malpli ol 5% ofte. Do koni la ĝustan atendatan distribuon de la unualokaj ciferoj kaj sekve ekkoni iujn strangajn diverĝojn helpas al revizoroj malkovri falsadan kaj fraŭdadon.

 

Tamen, defie al ĉiuj matematikistoj, ne en via loka superbazaro. Tie dekstre egege naŭas!

 

==Aldonaĵo==

===AWK-programo &#151; Oftecoj===

====Priskribo====

Jen Aŭka programo<ref name="awk" group=Vidu>[[:en:AWK|The AWK programming language]]</ref> por mezuri ĉiujn la diskutitajn literajn kaj vortajn oftecojn en Esperanta tekstdosiero kodita laŭ la [[X-sistemo]]. Ĝi eligas sinsekvajn tabelojn kun histogramoj laŭnecese en la formatoj [[ASCII|Askia]], [[HTML|HTML-a]] kaj [[:en:Help:Table|Vikitabela]].<ref name="pejno" group="noto" /> por ĉiuj literaj kaj vortaj statistikaĵoj diskutitaj tie ĉi.

 

Tiel ĉiu povos kunmeti kaj esplori propran tekstkorpuson kaj produkti analizon de la vortkomenca literofteco, la vortfina literofteco, la ĝenerala literofteo, la distribuiĝo de vortlongoj kun mezuma vortlongo, kaj la vortofteco ene de la al la programo prezentita tekstkorpuso.

 

====Programo====

}}

 

== Vidu aliloke ==

<references group=Vidu />

 

== Notoj ==

{{Notoj}}

 

==Referencoj==