Удаление дубликатов строк из файла

Здравствуйте.
Существует небольшой текстовый файл в котором попадаются строки c одинаковым текстом но разным количеством пробелов в этих строках. То есть строго говоря они не одинаковые, но несут для пользователя одну и ту же информацию.
Можно ли удалить повторения оставив по одной (любой) строке ?
Сейчас для этого приходится удалять все пробелы и файл становится плохо читаемым.

"vovanvster⇓" написал:

Сейчас для этого приходится удалять все пробелы и файл становится плохо читаемым.

Замените подряд идущие пробелы одним.

sed 's/[\ ][\ ]*/\ /g;s/[\ ]$//g' test.txt

Как-то так...

#!/usr/bin/env python
#_*_ coding: utf-8 _*_
with open('file.txt', 'r') as f:
    lines = f.readlines()
l = []
with open('file.txt', 'w') as f:
    for line in lines:
        x = line.split()
        if x not in l:
            f.write(line)
            l.append(x)

ЗЫ. Не проверял, перед использованием сделать резервную копию.

Lupo Alberto написал:

Замените подряд идущие пробелы одним.

text

sed 's/[\ ][\ ]*/\ /g;s/[\ ]$//g' test.txt

Спасибо, изящное решение. Почему я сам не догадался ?

"vovanvster⇓" написал:

Спасибо, изящное решение.

Увы, это не изящно...

-=Serj=-, Спасибо но чё-та я не готов сюда python вмешивать. Тут большой скрипт на баше и не стоит в середине скрипта python вызывать. Тогда уж изначально на питоне писать надо.

Lupo Alberto написал:

[quote="vovanvster⇓"]Спасибо, изящное решение.

Увы, это не изящно...[/quote]
Имел ввиду не sed а саму идею привести строки к подобному виду для облегчения обработки.

"vovanvster⇓" написал:

Имел ввиду не sed а саму идею привести строки к подобному виду для облегчения обработки.

Кстати, изящнее, чем sed с этой задачей врядли какая программа справится ;)

Lupo Alberto написал:

Кстати, изящнее, чем sed с этой задачей врядли какая программа справится ;)

awk ?

"vovanvster⇓" написал:

awk ?

Не думаю, что получится «изящнее» — awk всё же предназначен для другого.

tr с опцией "-s" это делает:

tr -s " " " " <input_file

Пётр.

Поясните мысль. Не делает.

vovanvster написал:

Поясните мысль. Не делает.

Виноват, поспешил, эта команда только заменяет несколько пробелов одним.
Тогда строки с одинаковым текстом будут иметь также и одинаковое
количество пробелов, т.е. будут совпадать и их проще будет выявить.

Пётр.