LinuxForum.Fans
Тема

Сервер CentOS долго отвечает. Диск занят. В чем причина?

Автор: Aleksandr_Egorov 7 сообщений 2940 просмотров
#333727

Сервер иногда начинает долго отвечать на запросы (примерно раз в 2-3 часа на минуту-две). При этом atop выдает что ни один процесс не пишет на диск и не читает с него. При это iotime возрастает до 20-25%. Такое ощущение что что-то блокирует диск на время.
Медленных запросов в данное время не обнаружено.
На сервере: CentOS 5.9 + nginx + apache + php 5.4 + MySQL 5.5.11(MariaDB)
Графики времени ответа сервера, IOWAIT и Disk Utilization
http://slamer.ru/chart2.png
http://slamer.ru/chart3.png
http://slamer.ru/chart4.png

Пожалуйста, помогите найти в чем проблема или как ее отследить.

Конфигурация сервера:

text
6 ядер по 2ГГц
32Гб RAM
             total       used       free     shared    buffers     cached
Mem:         32186      31976        210          0        260       9006
Swap:        49055          0      49055

Настройки sysctl.conf:

text
vm.dirty_ratio=20
vm.dirty_background_ratio=1
vm.swappiness=0
vm.vfs_cache_pressure=1000
vm.dirty_writeback_centisecs=1000
vm.dirty_expire_centisecs=2000

Настройки mysql:

text
innodb_file_per_table
max_connections = 400
innodb_use_sys_malloc = 0
symbolic-links=0
thread_cache_size = 300
query_cache_size = 3G
key_buffer_size = 1G
max_heap_table_size = 2G
tmp_table_size = 4G
max_tmp_tables = 4000
read_buffer_size = 2M
sort_buffer_size = 8M
innodb_buffer_pool_size = 16G
innodb_thread_concurrency = 12
table_open_cache = 1024
join_buffer_size = 256k

Настройки httpd:

text
<IfModule prefork.c>
MinSpareServers    3
MaxSpareServers   10
ServerLimit       150
MaxClients        15
MaxRequestsPerChild  500
#333732

Может в iotop что увидишь.

#333742
Vascom написал:
Может в iotop что увидишь.

В iotop в это время показывается что никто ничего не пишет. WRITE DISK 0.
Все в ожидании разблокировки диска.

#333745

Странно, а вот Disk Utilization показывает, что весомая нагрузка на запись имеет место быть. Что может привести к таймаутам ответов сервера.

#333760
Macumazan написал:
Странно, а вот Disk Utilization показывает, что весомая нагрузка на запись имеет место быть. Что может привести к таймаутам ответов сервера.

Большая нагрузка как раз перед тем как сервер начинает тупить, а во время этого наоборот вся нагрузка падает почти до нуля включая трафик, iowait, disk utilization.
П.С. При чем связи с нагрузкой вообще нет. Например в 1:30 или в 2:45 нагрузки почти нет. Меньше тысячи иопсов, а время ответа огромное

#333762

Тогда искать в выводе sar -A 10 1 то, что может привлечь внимание + dmesg.

#334181

А через atop не видно в чем затык происходит и с кем?

Войдите или зарегистрируйтесь, чтобы ответить.