Wikipedia:Automatyczne sprawdzanie pisowni

Przydałoby się automatyczne sprawdzanie pisowni działające na zasadzie kilku heurystyk typu: jeśli jakieś słowo jest mało prawdopodobne, a przyjęcie teorii że powstało w wyniku literówki czyni je bardziej prawdopodobnym, zaznacz je jako "błąd". Literówki bardzo prawdopodobne to:

• zbyt późne puszczenie prawego altu, czyli ogonkizacja litery występującej po literze zogonkizowanej np. "prześłij" zamiast "prześlij"
• zamiana kolejności dwóch liter
• inne konwersje litera->litera, przy czym niektóre konwersje są o wiele bardziej prawdopodobne od innych, zależnie od statusu ogonkowego i położenia na typowej klawiaturze.

Zostały zrobione obliczenia częstości występowania wyrazów. Wyrazy na Wikipedii to oczywiście rzecz względna, więc wszystko co przeżyło poniższe:

#!/usr/bin/perl -p

s/<.*?>/ /g;
s/[^a-zA-Z\\200-\\377]+/ /g;
s/\s+/ /g;
s/^ //;
s/ $//;
s/ /\n/g;
y/A-Z/a-z/;
$_ .= "\n" unless $_ eq "";

jest "wyrazem".

Ciekawostki:

• Najpopularniejszy wyraz nie-łaciński to: き (12 wystąpień)
• Odnotowano 140 101 różnych wyrazów
• 52.8% wyrazów wystąpiło tylko raz, i stanowiły one 5.9% wystąpień wyrazów
• 1183 wyrazy (0.84%) stanowiły 50% wszystkich wystąpień wyrazów

A teraz statystyki, od góry to:

40878	w
24328	i
16366	na
15301	z
13933	się
11492	do
9632	jest
8149	to
7675	nie
6463	a
6228	powiat
5868	lata
5547	województwo
5308	województwie
5264	miejscowość
5261	o
4743	te
4670	wieku
4599	przez
4575	od
3546	po
3384	lub
3376	język
3220	są
3152	że
2988	roku
2728	oraz
2647	wiek
2577	jak
2529	za
2455	też
2284	dla
2197	zobacz
2125	rok
2016	http
1978	jako
1969	tym
1965	nbsp
1917	jego
1886	może
1837	także
1828	co
1811	np
1690	pod
1657	historia
1629	m
1611	które
1610	ze
1604	www
1602	ma
1589	xviii
1556	wikipedia
1525	en
1514	być
1496	tego
1488	x
1469	xix
1459	tylko
1454	r
1454	ale
1439	jednak
1422	ich
1411	n
1403	xx
1395	można
1375	polsce
1370	czy
1359	dzień
1311	był
1282	ii
1267	p
1251	e
1240	redirect
1239	polski
1224	km
1180	nobla
1176	the
1173	taw
1161	wikipedysta
1157	tak
1116	wydarzenia
1107	który
1078	s
1077	c
1042	jej
1030	pl
1028	czyli
1027	wikipedii
1026	of
1021	innych
1013	zmarli
1012	urodzili
1012	bardzo
992	nagroda
986	xv
984	art
981	ten
978	lat
974	ok
969	latach
951	tys
948	wojna
933	informatyki
925	również
922	strony
918	tej
915	świecie
912	polska
906	usa
904	lipca
901	języki
896	już
894	mln
893	przy
886	jeśli
881	de
866	których
848	u
845	in
825	tych
824	został
823	grafika
818	iii
806	między
806	kpjas
798	nad
795	polskich
787	maja
780	inne
755	nazwa
743	prawo
737	dni
736	b
714	państwa
710	liczba
707	bez
706	wiele
702	we
700	było
700	artykuł
698	go
697	by
696	więc
692	v
691	stan
691	czerwca
686	kwietnia
685	stulecia
684	sierpnia
684	d
680	często
677	która
676	grudnia
672	wiki
661	prawa
654	września
654	on
651	niż
642	wszystkich
640	mają
634	wszystkie
633	pomorskie
629	następny
628	system
625	była
625	angielski
623	kujawsko
621	sposób
620	mazowieckie
617	mogą
615	mazowieckim
614	tzw
614	poprzedni
613	t
612	warmińsko
607	przed
604	strona
598	jeden
596	k
593	będzie
591	xvi
589	część
587	pomorskim
584	stycznia
577	polskiej
575	wielu
575	org
574	wojny
567	f
565	której
564	pierwszy
563	czasie
559	gdzie
554	gdy
552	png
551	com
550	nawet
550	iv
546	października
536	były
535	marca
530	wielkopolskie
529	ziemiach
524	kalendarz
523	części
521	obecnie
521	nich
518	grupy
516	takie
516	końca
513	pierwiastek
513	lutego
510	języka
510	and
506	xvii
506	federacji
505	ta
505	one
504	należy
501	je
498	danych
497	wielkopolskim
497	jeszcze
492	youandme
489	listopada
485	vii
485	przypadku
482	albo
479	którym
478	małopolskie
477	tu
476	dniu
474	dziesięciolecia
473	lubelskie
471	miasto
467	vi
467	liczby
462	rosyjskiej
462	jan
460	lubelskim
459	małopolskim
457	kalendarium
456	rady
455	układ
451	jpg
451	h
450	francuski
449	xi
448	każdy
445	głównie
443	xii
442	ix
438	dwa
437	podkarpackie
434	zwykle
431	języków
430	bardziej
427	później
426	osób
425	podkarpackim
424	wyspy
424	więcej
424	systemu
424	pracy
422	polskie
421	około
419	najbardziej
417	polskiego
416	została
414	ziemi
414	ludzi
414	aby
413	viii
412	bo
411	sierpień
411	dolnośląskie
407	życia
407	rzeczypospolitej
407	którego
407	czerwiec
406	gru
405	marzec
404	praw
404	języku
404	dniem
403	różnych
403	lipiec
403	grudzień
402	xiv
400	maj
399	Święta
399	stron
399	gregoriański
398	styczeń
397	luty
395	sobie
394	mieszkańców
392	październik
392	nazwy
392	dolnośląskim
389	zostaje
388	wrzesień
387	państwo
387	listopad
387	kwiecień
387	kalendarzu
385	dwóch
385	bitwa
382	świata
380	grupa
380	amerykański
379	stanu
378	pozostało
378	kilka
378	ani
375	cesarz
374	usunięto
374	przestępnych
374	postaci
371	Świecie
371	takich
371	gregoriańskim
371	czasu
369	czas
369	chemiczny
368	jednym
366	typu
366	istnieje
362	literatura
361	punkt
360	europie
359	j
358	celu
356	chemia
355	względu
355	wraz
355	itp
354	prezydent
353	tam
353	ministrów
352	stanów
351	miasta
350	niemiecki
350	kraju
349	określa
349	ang
348	śląskie
348	powierzchnia
344	większość
343	skład
343	okresie
342	zasady
341	teorii
340	zjednoczonych
338	wyniku
338	pierwsze
337	ustawy
337	oznacza
336	nowy
335	y
335	nim
333	teoria
333	symbol
333	l
332	temat
324	tekstu
324	odkrycia
321	łódzkie
321	program
321	pierwsza
321	miejsce
320	poprzez
320	ona
319	morze
318	ją
317	jedynie
317	drugiej
316	człowieka
315	występuje
314	terytorium
314	ponad
314	amp
313	łódzkim
313	rzymski
313	mazurskie
311	–
311	powstanie
311	czym
309	ustawa
308	poza
308	pomocą
308	g
307	ludności
307	jednego
307	coś
306	stany
306	mazurskim
305	znaczenie
305	sejm
302	niemcy
300	znaków