Логи linux

Подскажите пожалуйста, как научиться читать логи, точнее говоря как можно из всего огромного кол-ва сообщений в логах (var/log/messages, dmesg, auth.log, syslog) найти сообщения, которые свидетельствуют о проблемах?

Можно прогонять логи через grep по словам error и warning без учёта регистра, например. Это самое простое.
Есть ещё специализированные утилиты, например ausearch.
Так ausearch -m avc покажет все проблемы с selinux.

safronowmax написал:

которые свидетельствуют о проблемах?

по наличию записей как error, failed, warning, unknown и тд.

Установить и настроить [url=www.logwatch.org]logwatch[/url].
P.S. Кратко, но по-русски о logwatch.

Lupo Alberto написал:

Установить и настроить logwatch.

он есть в репозиториях,

Спасибо всем откликнувшимся, но уже пробовал фильтровать записи, используя grep error, warning и т.д., но все пусто, а проблема в следующем: на сервере по индикации умирает один из жестких дисков, хочу посмотреть связанные с этим ошибки, просматривал все журналы, используя grep error, warning, crit и т.д., ошибок нет. Вот и вопрос, как найти подтверждение умирания диска в логах?

Диск в рейде?
Смотри вывод dmesg

P.S. С этого и надо было начинать, а не с абстрактных вопросов!

safronowmax написал:

Вот и вопрос, как найти подтверждение умирания диска в логах?

А что [url=smartmontools.sourceforge.net]smartmontools[/url] говорит по этому поводу?

smartmontools не стоит, завтра поставлю, но и без него все равно должны быть в логах какие-то ошибки, свидетельствующие о проблемах с жестким диском?

в dmesg такие записи валятся, рейд аппартный или програмный? через mdadm так же можно глянуть, что с ним.

рейд аппаратный, смотрел dmesg, единственное что еще может насторожить: device-mapper: ioctl: error adding target to table, больше ничего нет

По поводу сортировки логов курить в сторону настройки syslog-ng

safronowmax написал:

Спасибо всем откликнувшимся, но уже пробовал фильтровать записи, используя grep error, warning и т.д., но все пусто, а проблема в следующем: на сервере по индикации умирает один из жестких дисков, хочу посмотреть связанные с этим ошибки, просматривал все журналы, используя grep error, warning, crit и т.д., ошибок нет. Вот и вопрос, как найти подтверждение умирания диска в логах?

Пока диск не завалится - ошибок не будет. Современные диски умеют перераспределять сбойные сектора и подставлять вместо битого сектора исправный, из своего резервного пула. Это хорошо видно по выводу команды smartctl -a /dev/sdX. Там английским по понятному написано про reallocated sectors, про их количество. Елси их количество не выше допустимого и оно не растет со временем, то нечего и парится на эту тему. В системных же логах это никак не отразится. Эту инфу можно достать только через SMART.

Реальный случай - в эту субботу утром (у меня по крону утром статистики снимаются) да одном из дисков в зеркале было 0 перераспределенных секторов. А к обеду уже... Словом массив встал колом. За те пару минут, что он еще бывал работоспособен после рестарта системы успел увидеть, что битых секторов аж за 2 с половиной тыщи...

То есть крах может подбираться как медленно, так произойти и внезапно.

Всем спасибо за советы

Cruiser78 написал:

В системных же логах это никак не отразится. Эту инфу можно достать только через SMART.

Не согласен. если есть smartd то (на примере моей суси) в /var/log/warn валятся логи смарта
[console]Feb 2 16:26:36 kronus smartd[4395]: Device: /dev/sdc [SAT], 3 Currently unreadable (pending) sectors
Feb 2 16:26:36 kronus smartd[4395]: Device: /dev/sdc [SAT], 3 Offline uncorrectable sectors
Feb 2 16:26:36 kronus smartd[4395]: Device: /dev/sdd [SAT], 1 Currently unreadable (pending) sectors
Feb 2 16:26:36 kronus smartd[4395]: Device: /dev/sdd [SAT], 1 Offline uncorrectable sectors[/console]

Cruiser78 написал:

Пока диск не завалится - ошибок не будет.

будет

Cruiser78 написал:

Эту инфу можно достать только через SMART.

кто сказал, что smartctl нельзя вызвать при загрузке?

drBatty написал:

кто сказал, что smartctl нельзя вызвать при загрузке?

И этим обратится к SMAT'у? Я сделал иначе - ежедневно (по крону) вызываю smartctl на все диски что есть, и результат отправляю себе по почте.
И пока количество relocated sectors не превышает критического - ось этого не почует.

Cruiser78 написал:

Я сделал иначе - ежедневно (по крону) вызываю smartctl на все диски что есть, и результат отправляю себе по почте.

Как-то... неправильно.
smartd сам умеет сообщения об ошибках и критических параметрах отправлять на почту.

Lupo Alberto написал:

smartd сам умеет сообщения об ошибках и критических параметрах отправлять на почту.

Ну, на вкус и цвет... Просто если smartd отливает сообщения об критических параметрах, что безусловно хорошо, то контроль по крону позволяет выявить развитие тенденции к возможному отказу. Не дожидаясь оного.