LinuxForum.Fans
Тема

Частота встречаемости слов в файле

Автор: valet 6 сообщений 1729 просмотров
#266780

Имеется большой файл. Хотелось бы список слов, которые чаще всего в нем встречаются. Это чем-то возможно выполнить?

#266783

На мой взгляд можно воспользоваться какой-либо системой индексирования файлов.
...либо использовать связку
sed — заменяет все пробелы и табуляции на перенос строки, убирает слова менее определённого количества символов, удаляет знаки препинания и т.п.;
uniq — оставляет только уникальные вхождения слов;
head — оставляет наиболее используемые слова.

Правда, насколько быстро будет работать этот «комбайн», сильно сомневаюсь ;)
Я не программист, но уверен, что подобные реализации должны быть в языках, для этого предназначенных — perl, python.

#266801
"valet" написал:
Имеется большой файл. Хотелось бы список слов, которые чаще всего в нем встречаются. Это чем-то возможно выполнить?

Что является разделителем - пробел ?

"valet" написал:
список слов, которые чаще всего в нем встречаются

А конкретнее - одно, два, три .. ?

#266814
"valet" написал:
Хотелось бы список слов, которые чаще всего в нем встречаются

Это так и называется - составление частотного словаря/frequency list

Подробнее, можно почитать вот здесь, например: http://bazzinga.org/blog-kak_sostavit_tematicheskiy_chastotniy_slovar.html

.

#266820

"-=Serj=-" написал:
Что является разделителем - пробел ?
перевод строки

"-=Serj=-" написал:
А конкретнее - одно, два, три .. ?
одно.

"Chars67" написал:
Подробнее, можно почитать вот здесь, например: http://bazzinga.org/blog-kak_sostavit_t … lovar.html
спасибо, уже читаю.
Войдите или зарегистрируйтесь, чтобы ответить.