Вывод строки которая повторяется более n раз.

Здравствуйте.
Интересует вопрос какая утилита может вывести строки которые повторяются в файле более 1000 раз
спросил бы у гугла но не знаю как сформулировать правильно вопрос.

А если по длиннее то получается я имею файл в котором записаны сотни ип, и мне нужно отобрать только параноидально активных, которые записаны более 1к рас.
Ипы записаны в столбик.
Это файл с дампа tcp трафика. приведен он к виду

Для того что бы почистить лишнее использовал sed , ну и grep - с этими утилитами знаком очень поверхностно и возможно они это умеет.
Подскажите плиз.

Попробуйте, в качестве аргумента должен передаваться файл со списком адресов.

#!/bin/bash
LIST_IP="${1}"
NUM=100 
for i in $(sort -u "${LIST_IP}");
do              
                [[ $(grep -c "${i}" "${LIST_IP}")  > ${NUM} ]] && echo "${i}"
done

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys
dictionary = {}
for line in open(sys.argv[1]).readlines(): 
    if line in dictionary:
        dictionary[line] +=1
    else: 
        dictionary[line] = 1
for key in dictionary:
    if dictionary[key] >= 1000:
        print key.strip()

Файл передаётся в качестве параметра скрипту.

Lupo Alberto, -=Serj=-
Протестил ваши скрипты на логе с 150000 строками.
Результат конечно разный а вот кому верить )

Правда лог оказался чучуть другой, там не только ип но и под домены провайдеров были. короче вот такой в этот рас.

Lupo Alberto, у вас я поправил еше строку NUM=100 на NUM=1000
результат вышел в 2067 ип. здесь выкладывать не буду :)

-=Serj=- А вот ваш дал вот такой результат. его и выложить несложно.

"Rassol2" написал:

Протестил ваши скрипты на логе с 150000 строками.
Результат конечно разный а вот кому верить )

Попробуйте сначала

sort -u list.txt | wc -l

чтобы получить количество уникальных адресов и соотнести его с результатами работы скриптов.

"Rassol2" написал:

Lupo Alberto, у вас я поправил еше строку NUM=100 на NUM=1000

Это только пример.
Если не сложно, дайте полный файл с адресами, ну или хотя бы кусок по-больше, в пару тысяч строк.

Rassol2, для проверки моего, замените последнюю строчку на

print "%s --- %d" % (key.strip(), dictionary[key])

так будет выводиться количество повторений. Уменьшите кол-во искомых повторений, например до 3х и подсуньте ему небольшой файл, где вы сможете проверить кол-во совпадений...
Ну и для более точного сравнения скриптов, измените в

if dictionary[key] >= 1000:

>= на >.

Чуть пожже проведем опыты.

"Rassol2" написал:

Интересует вопрос какая утилита может вывести строки которые повторяются в файле более 1000 раз

яхз. Могу скрипт набросать:

#!/bin/bash
declare -A dic
declare -a strs
WORD_COUNT=0
while read s; do
    COUNT=${dic["$s"]}
    (( COUNT++ ))
    #echo $s $COUNT
    dic["$s"]=$COUNT
    if [ $COUNT == 1 ]; then
         # первое вхождение
         strs[$WORD_COUNT]=$s
         (( WORD_COUNT++ ))
     fi
done < ~/tmp/test.txt
echo "-----"
TMP1=`mktemp`
for (( i = 0; i < $WORD_COUNT; i++ )); do
    s=${strs[$i]}
    echo ${dic["$s"]} "'$s'" >> $TMP1
done
sort -rn $TMP1 | head -n15
rm --force $TMP1

Идея в том, что используются ассоциативный массив bash'а, в котором сохраняется число повторений. Далее этот массив сортируется, и выводятся первые 15 строчек.
Вот так:

$ ./uniq1000.bash 
-----
3 '207.10.162.52.3992'
3 '207.10.162.52.3991'
3 '207.10.162.52.3989'
3 '207.10.162.52.3988'
3 '207.10.162.52.3965'
3 '207.10.162.52.3961'
2 '207.10.162.52.3995'
2 '207.10.162.52.3962'
1 'bementil-90.illinois.sparkplugbb.net.4747'
1 'bementil-90.illinois.sparkplugbb.net.4740'
1 'adsl-99-136-111-230.dsl.lsan03.sbcglobal.net.49845'
1 'adsl-99-136-111-230.dsl.lsan03.sbcglobal.net.49844'
1 '207.10.162.52.4021'
1 '207.10.162.52.4020'
1 '207.10.162.52.3793'

"-=Serj=-" написал:

#!/usr/bin/env python

есть 2 недостатка у этого скрипта:
1. Я сомневаюсь, что ТС знает пайтон, и что ему это нужно сейчас. Очевидно он просил решение на bash, ибо непонятно, есть-ли у него вообще пайтон, и если есть, то какой версии?
2. Заранее сложно узнать, сколько в файле повторяющихся строк. Не проще-ли вывести самые частые?

"drBatty" написал:

выводятся первые 15 строчек.

Так, вроде, нужно все, которые повторяются более 1000 раз. А твой, как я понял, выдаст 15 самых повторяющихся...

"Lupo Alberto" написал:

#!/bin/bash LIST_IP="${1}" NUM=100 for i in $(sort -u "${LIST_IP}"); do [[ $(grep -c "${i}" "${LIST_IP}") > ${NUM} ]] && echo "${i}" done

"drBatty" написал:

если честно, не распарсил.

«Не верю!» ©Станиславский
;)

"drBatty" написал:

1. Я сомневаюсь, что ТС знает пайтон, и что ему это нужно сейчас.

Не, ну на чём умею, на том и нацарапал

"drBatty" написал:

если есть, то какой версии?

Пока-что вторая версия у всех по-умолчанию... Вроде...

"-=Serj=-" написал:

Так, вроде, нужно все, которые повторяются более 1000 раз. А твой, как я понял, выдаст 15 самых повторяющихся...

а ТС сам не знает, чего ему надо ;)

"Rassol2" написал:

А если по длиннее то получается я имею файл в котором записаны сотни ип, и мне нужно отобрать только параноидально активных, которые записаны более 1к

Согласитесь, что 1К тут взято чисто от балды.
В предъявленном тестовом файле очевидно таких записей нет, потому тестирование возможно только у ТСа, и ни у кого другого...

"Lupo Alberto" написал:

«Не верю!»

а зря, ибо действительно не распарсил. Лениво просто. Лично я ТАКОГО не пишу, ибо потом сам замучаюсь разбираться...

"-=Serj=-" написал:

Пока-что вторая версия у всех по-умолчанию... Вроде...

ORLY?

The current production versions are Python 2.7.3 and Python 3.2.3.
Start with one of these versions for learning Python or if you want the most stability; they're both considered stable production releases.
If you don't know which version to use, start with Python 2.7; more existing third party software is compatible with Python 2 than Python 3 right now.

http://www.python.org/download/
в гробу я видел ЯП, у которых ДВЕ текущие несовместимые версии...

drBatty
о какие люди в галивуде.

Ну 15 самых активных не подойдет. К примеру если сыпется дос с 100 ипов и дамп за 10сек составляет 300000 строк. То я не получу большого ефекта если начну отсекать 15 ип всего.
Ведь нужно найти тех кто умудрился за 10 сикунд прислать около 1000 или 2000 тысяч запросов.

"Rassol2" написал:

Ну 15 самых активных не подойдет.

вот проблема-то!

while read COUT STRING; do
    if (( COUNT < 1000 )); then
        break
    fi
done

этот цикл напечатает все строчки в порядке убывания до 1000 повторов включительно.

"Rassol2" написал:

Ведь нужно найти тех кто умудрился за 10 сикунд прислать около 1000 или 2000 тысяч запросов.

это тоже можно реализовать, хотя и сложнее. Для этого уже есть смысл подключить СУБД, ибо это уже достаточно сложная, и ресурсоёмкая операция. Кстати, сам лог можно сохранять не только в текстовом файле, а отправлять напрямую в СУБД, это получается намного быстрее, если нужны такие сложные действия.

Кстати, сам лог можно сохранять не только в текстовом файле, а отправлять напрямую в СУБД, это получается намного быстрее, если нужны такие сложные действия.

Всему свое время. Пока что я осваиваю это. Причем дается довольно сложно. Тупой я короче :)

"Rassol2" написал:

Всему свое время. Пока что я осваиваю это. Причем дается довольно сложно. Тупой я короче

мне это тоже непросто даётся на самом деле...