Имеется большой файл. Хотелось бы список слов, которые чаще всего в нем встречаются. Это чем-то возможно выполнить?
Частота встречаемости слов в файле
На мой взгляд можно воспользоваться какой-либо системой индексирования файлов.
...либо использовать связку
sed — заменяет все пробелы и табуляции на перенос строки, убирает слова менее определённого количества символов, удаляет знаки препинания и т.п.;
uniq — оставляет только уникальные вхождения слов;
head — оставляет наиболее используемые слова.
Правда, насколько быстро будет работать этот «комбайн», сильно сомневаюсь ;)
Я не программист, но уверен, что подобные реализации должны быть в языках, для этого предназначенных — perl, python.
Имеется большой файл. Хотелось бы список слов, которые чаще всего в нем встречаются. Это чем-то возможно выполнить?
Что является разделителем - пробел ?
список слов, которые чаще всего в нем встречаются
А конкретнее - одно, два, три .. ?
Хотелось бы список слов, которые чаще всего в нем встречаются
Это так и называется - составление частотного словаря/frequency list
Подробнее, можно почитать вот здесь, например: http://bazzinga.org/blog-kak_sostavit_tematicheskiy_chastotniy_slovar.html
.
перевод строкиЧто является разделителем - пробел ?
одно.А конкретнее - одно, два, три .. ?
спасибо, уже читаю.Подробнее, можно почитать вот здесь, например: http://bazzinga.org/blog-kak_sostavit_t … lovar.html