child ... exited on signal 11 (SIGSEGV) after ...

Сервер на Debian 6, nginx, php-fpm

В логах php-fpm периодически лезет ошибка (жирным выделил):
root@debian:/var/www# tail -50 /var/log/php5-fpm.log

Приходится рестартовать php5-fpm, но это же не дело.
Было выяснено, что проблема начала возникать после установки на сервере php-скрипта, который довольно медленно работает, но это же все равно не должно ложить сервер.

php -v
PHP 5.3.10-1~dotdeb.1 with Suhosin-Patch (cli) (built: Feb 2 2012 23:28:08)
Copyright (c) 1997-2012 The PHP Group
Zend Engine v2.3.0, Copyright (c) 1998-2012 Zend Technologies
with Suhosin v0.9.33, Copyright (c) 2007-2012, by SektionEins GmbH

П.С. Читал аналогичную тему на форуме, но там как я понимаю вопрос так и не был решен.

Логи большие под спойлер или в тег code убирай.
Конфиги где?
В настройках php-fpm можно попробовать:

emergency_restart_threshold 10
emergency_restart_interval 1m
process_control_timeout 10s

"newzenon" написал:

Логи большие под спойлер или в тег code убирай.

"newzenon" написал:

Конфиги где?

php.ini выложил тут, в пост не влазит.

Для конфигов есть pastebin, тыц
Дальше php-fpm можно раздельно настроить для каждого хоста
3 Defining An Individual Pool For Each Website
Вот еще про настройку php-fpm

ы. что-то я не понял include /var/www/site.ru/.htaccess;
htaccess от апача? или измененный? вообще-то рерайты лучше в конфиге nginx писать и выкиуть эту строку.

"newzenon" написал:

Для конфигов есть pastebin, тыц

"newzenon" написал:

htaccess от апача? или измененный?

"newzenon" написал:

вообще-то рерайты лучше в конфиге nginx писать и выкиуть эту строку.

valet написал:

не вижу чесно говоря разницы, то это изменит, кроме громоздкости кода.

Ну и да и нет, htacces достался от апача, в конфиге nginx видеть его мягко говоря странно.
Показать его тоже не помешает, раз уж он тут нарисовался.
По поводу количества кода, сильно сомневаюсь...и одной вложенности include из nginx.conf вроде достаточно.
Едем дальше, - переведи php на сокет, и безопасней и быстрее.

"newzenon" написал:

htacces достался от апача, в конфиге nginx видеть его мягко говоря странно.

if (!-f $request_filename){
set $rule_0 1$rule_0;
}
if (!-d $request_filename){
set $rule_0 2$rule_0;
}
if ($rule_0 = "21"){
rewrite ^/(.*)$ /index.php last;
}

"newzenon" написал:

и одной вложенности include из nginx.conf вроде достаточно.

"newzenon" написал:

Едем дальше, - переведи php на сокет, и безопасней и быстрее.

        #fastcgi_pass   127.0.0.1:9000;
        fastcgi_pass   unix:/tmp/php-fpm.sock;

valet написал:

дело в том, что для разных хостов на сервере разные конфиги htaccess, а некоторым он вообще не нужен. Так что в общем конфиге указать его точно нельзя.

тут как то недопоняли друг друга:
есть основной конфиг /etc/nginx/nginx.conf
есть конфигурации xостов которые перечисленны в нем же через include и лежат в других файлах.
чтобы на сокет перейти надо два файла править - конфиг php и конфиг nginx. Готовые решения в Debian GNU/Linux
ы. вообще мы отвлеклись, ошбка тут в php.

"newzenon" написал:

есть основной конфиг /etc/nginx/nginx.conf
есть конфигурации xостов которые перечисленны в нем же через include и лежат в других файлах.

"newzenon" написал:

чтобы на сокет перейти надо два файла править - конфиг php и конфиг nginx. Готовые решения в Debian GNU/Linux

Что-то у меня с unix сокетами не сложилось. Побыл сервер несколько часов на сокетах и все это время зашкаливала нагрузка по load average вплоть до 4!
В результате перевел назад на tcp.

valet вспомнил мы же где-то тут с тобой siege тестировали...
Так тогда и не разобрались почему он у тебя нагрузку не держал, но пришли к выводу что не в nginx проблема была.
У меня сервачок сейчас на gentoo работает, проблем не замечаю.
Для простых/тестовых вариантов конфиг сложившийся для хоста такой:

server {
        server_name site.org;
        root /var/www/site.org;
        index index.php;
        location = /favicon.ico {
                log_not_found off;
                access_log off;
        }
        location = /robots.txt {
                allow all;
                log_not_found off;
                access_log off;
        }
        location / {
                # This is cool because no php is touched for static content
                try_files $uri $uri/ /index.php;
        }
        location ~ \.php$ {
                # NOTE: You should have "cgi.fix_pathinfo = 0;" in php.ini
                include fastcgi.conf;
                fastcgi_intercept_errors on;
                fastcgi_pass   unix:/tmp/php-fpm.sock;
       }
       location ~ \.php {
                fastcgi_split_path_info ^(.+\.php)(/.+)$;
                if ($uri ~ "uploads")      { return 403; }
                if (!-f $request_filename) { return 404; }
                include        fastcgi_params;
                fastcgi_pass   unix:/tmp/php-fpm.sock;
                fastcgi_index  index.php;
                expires        30d;
       }
       location ~* \.(js|css|png|jpg|jpeg|gif|ico)$ {
                expires max;
                log_not_found off;
       }
}

Php использую 5.3 на 5.4 пока не перехожу, drupal с ним плохо дружит, ошибки конечно можно заглушить, но все таки.
Конфигурация оного:

$ cat /etc/php/fpm-php5.3/php-fpm.conf| grep -v ';' | grep -v '^$'
[global]
error_log = /var/log/php-fpm.log
log_level = error
[www]
listen = /tmp/php-fpm.sock
 
user = nginx
group = nginx
pm = dynamic
pm.max_children = 50
pm.start_servers = 20
pm.min_spare_servers = 5
pm.max_spare_servers = 35

$ cat /etc/php/fpm-php5.3/php.ini | grep -v ';' | grep -v '^$'
[PHP]
engine = On
short_open_tag = Off
asp_tags = Off
precision = 14
y2k_compliance = On
output_buffering = 4096
zlib.output_compression = Off
implicit_flush = Off
unserialize_callback_func =
serialize_precision = 17
allow_call_time_pass_reference = Off
safe_mode = Off
safe_mode_gid = Off
safe_mode_include_dir =
safe_mode_exec_dir =
safe_mode_allowed_env_vars = PHP_
safe_mode_protected_env_vars = LD_LIBRARY_PATH
disable_functions =
disable_classes =
zend.enable_gc = On
expose_php = Off
max_execution_time = 60
max_input_time = 60
memory_limit = 128M
error_reporting = E_ALL & ~E_DEPRECATED
display_errors = Off
display_startup_errors = Off
log_errors = On
log_errors_max_len = 1024
ignore_repeated_errors = Off
ignore_repeated_source = Off
report_memleaks = On
track_errors = Off
html_errors = Off
variables_order = "GPCS"
request_order = "GP"
register_globals = Off
register_long_arrays = Off
register_argc_argv = Off
auto_globals_jit = On
post_max_size = 10M
magic_quotes_gpc = Off
magic_quotes_runtime = Off
magic_quotes_sybase = Off
auto_prepend_file =
auto_append_file =
default_mimetype = "text/html"
include_path = ".:/usr/share/php5:/usr/share/php"
doc_root =
user_dir =
enable_dl = Off
cgi.fix_pathinfo=0
file_uploads = On
upload_max_filesize = 12M
max_file_uploads = 20
allow_url_fopen = On
allow_url_include = Off
default_socket_timeout = 60
[Date]
date.timezone = Europe/Moscow
[filter]
[iconv]
[intl]
[sqlite]
[sqlite3]
[Pcre]
[Pdo]
[Pdo_mysql]
pdo_mysql.cache_size = 2000
pdo_mysql.default_socket=
[Phar]
[Syslog]
define_syslog_variables  = Off
[mail function]
SMTP = localhost
smtp_port = 25
mail.add_x_header = On
[SQL]
sql.safe_mode = Off
[ODBC]
odbc.allow_persistent = On
odbc.check_persistent = On
odbc.max_persistent = -1
odbc.max_links = -1
odbc.defaultlrl = 4096
odbc.defaultbinmode = 1
[Interbase]
ibase.allow_persistent = 1
ibase.max_persistent = -1
ibase.max_links = -1
ibase.timestampformat = "%Y-%m-%d %H:%M:%S"
ibase.dateformat = "%Y-%m-%d"
ibase.timeformat = "%H:%M:%S"
[MySQL]
mysql.allow_local_infile = On
mysql.allow_persistent = On
mysql.cache_size = 2000
mysql.max_persistent = -1
mysql.max_links = -1
mysql.default_port =
mysql.default_socket =
mysql.default_host =
mysql.default_user =
mysql.default_password =
mysql.connect_timeout = 60
mysql.trace_mode = Off
[MySQLi]
mysqli.max_persistent = -1
mysqli.allow_persistent = On
mysqli.max_links = -1
mysqli.cache_size = 2000
mysqli.default_port = 3306
mysqli.default_socket =
mysqli.default_host =
mysqli.default_user =
mysqli.default_pw =
mysqli.reconnect = Off
[mysqlnd]
mysqlnd.collect_statistics = On
mysqlnd.collect_memory_statistics = On
[OCI8]
[PostgreSQL]
pgsql.allow_persistent = On
pgsql.auto_reset_persistent = Off
pgsql.max_persistent = -1
pgsql.max_links = -1
pgsql.ignore_notice = 0
pgsql.log_notice = 0
[Sybase-CT]
sybct.allow_persistent = On
sybct.max_persistent = -1
sybct.max_links = -1
sybct.min_server_severity = 10
sybct.min_client_severity = 10
[bcmath]
bcmath.scale = 0
[browscap]
[Session]
session.save_handler = files
session.save_path = "/tmp"
session.use_cookies = 1
session.use_only_cookies = 1
session.name = PHPSESSID
session.auto_start = 0
session.cookie_lifetime = 0
session.cookie_path = /
session.cookie_domain =
session.cookie_httponly =
session.serialize_handler = php
session.gc_probability = 1
session.gc_divisor = 1000
session.gc_maxlifetime = 1440
session.bug_compat_42 = Off
session.bug_compat_warn = Off
session.referer_check =
session.entropy_length = 0
session.cache_limiter = nocache
session.cache_expire = 180
session.use_trans_sid = 0
session.hash_function = 0
session.hash_bits_per_character = 5
url_rewriter.tags = "a=href,area=href,frame=src,input=src,form=fakeentry"
[MSSQL]
mssql.allow_persistent = On
mssql.max_persistent = -1
mssql.max_links = -1
mssql.min_error_severity = 10
mssql.min_message_severity = 10
mssql.compatability_mode = Off
mssql.secure_connection = Off
[Assertion]
[COM]
[mbstring]
[gd]
[exif]
[Tidy]
tidy.clean_output = Off
[soap]
soap.wsdl_cache_enabled=1
soap.wsdl_cache_dir="/tmp"
soap.wsdl_cache_ttl=86400
soap.wsdl_cache_limit = 5
[sysvshm]
[ldap]
ldap.max_links = -1
[mcrypt]
[dba]
[xsl]

"newzenon" написал:

valet вспомнил мы же где-то тут с тобой siege тестировали...
Так тогда и не разобрались почему он у тебя нагрузку не держал, но пришли к выводу что не в nginx проблема была.

"newzenon" написал:

pm.max_children = 50

Даже не знаю что делать, вопрос актуален. Ну да, признаюсь, есть медленные скрипты, но это же не повод падать php. Как это решить пока не нашел способа.

"valet" написал:

Не многовато ли? Какое железо? Я так попробовал поставить, так нагрузка по load average вообще к 4ке подскочила.

Не помню, какая-то cms кажется просила, но не настойчиво...
Железка фен 945 8 ram.
Вот так вот в лоб:

# time siege linuxru.org -d1 -r100 -c100 
Transactions:               10000 hits
Availability:              100.00 %
Elapsed time:               65.64 secs
Data transferred:          140.24 MB
Response time:                0.65 secs
Transaction rate:          152.35 trans/sec
Throughput:                2.14 MB/sec
Concurrency:               99.04
Successful transactions:       10000
Failed transactions:               0
Longest transaction:            0.96
Shortest transaction:            0.03
 
siege linuxru.org -d1 -r100 -c100  0,93s user 1,38s system 3% cpu 1:05,66 total

Уже почти что решил проблему, но все равно чего-то не хватает, не могу разобраться чего.

И так еще раз: на сервере появились скрипты, которые выполняются слишком долго, так как при выполнении подтягивают данные извне из интернета. Это вешает php-fpm.
Как это примерно вижу я: вызывается один скрипт, он занимает часть ресурсов (чилдрен или что там - не важно) и так как он выполняется долго - он долго не освобождает занятый им ресурс, параллельно стартует другой подобный скрипт, также занимает ресурс и не освобождает и т.д. Это продолжается до тех пор пока все выделенные ресурсы для php оказываются занятыми и любые другие скрипты уже не могут выполнятся вообще - так как ресурсы заняты кривыми скриптами и еще не освободились!

Варианты решения:
1. Переписать криво написанный скрипт, чтобы он умел грамотно пользоваться ресурсами. Кстати при определенных обстоятельствах скрипт может вообще не подтянуть данные, за которыми он обращается, и как я понимаю это исключение в нем не обрабатывается. Зависит не от меня, так как писал не я и как поправить не знаю.
2. Обрезать выполнение таких медленных скриптов по таймауту и освобождать ресурсы

По понятным причинам второй вариант является правильным.

Что я нашел.

В php.ini:
max_execution_time поставил 10 сек. По умолчанию там 30.

В конфигурациях nginx хостов, на которых медленные скрипты подправил параметр fastcgi_read_timeout

#fastcgi_read_timeout 180;
fastcgi_read_timeout 10;

Но как не странно не совсем помогло. С одной стороны если вручную проверять проблемные сайты с медленным скриптами, то на страницах если долго не отдается контент выдается 504, что правильно - срабатывает таймаут nginx на получения данных от php-fpm, но с другой стороны по load average и дальше творится ужас вплоть до 8ки php все равно вешается. То есть очевидно со стороны вебсервер ответ от php не ожидается, но скрипт продолжает выполнятся php-сервером, что вешает его.

Что я еще не учел? Ну вот уже проблема разжевана буквально по косточкам. Осталось только четко выяснить, как принудительно на уровне настроек php обрывать нежелательные медленные процессы, освобождая ресурсы.

"valet" написал:

2. Обрезать выполнение таких медленных скриптов по таймауту и освобождать ресурсы

Во 2-ом сообщении еще предложил.
http://php.net/manual/ru/install.fpm.configuration.php
Вот еще в догонку полистать.

"newzenon" написал:

emergency_restart_threshold 10
emergency_restart_interval 1m
process_control_timeout 10s

Дело в том что я их сначала вообще не нашел, так как смотрел php.ini и www.conf, сейчас нашел, они в php-fpm.conf

Но возникли сомнения по 3-му параметру:

process_control_timeout

Время, в течение которого дочерние процессы ждут ответа на сигналы мастер-процессу. Доступные единицы измерения: s(секунды), m(минуты), h(часы) или d(дни). Единица измерения по умолчанию: секунды. Значение по умолчанию: 0.

Может все таки оставить значение по умолчанию, зачем чтобы были просто в 10с, мне кажется это только усугубит ситуацию.

Кстати в общем логе nginx'а заметил запросы типа:

82.114.69.254 - - [12/Aug/2012:17:17:44 -0500] "ET /?u=9h50v599u99ib4ci800j562hgtybgqux HTTP/1.1" 403 169 "-" "Mozilla/100"
41.155.14.81 - - [12/Aug/2012:17:17:59 -0500] "ET /?u=6z97c09eq54b66nrv7am5lx5q217uncq HTTP/1.1" 403 169 "-" "Mozilla/100"
120.61.32.223 - - [12/Aug/2012:17:17:59 -0500] "ET /?u=x4y59yb01aaab4283zolt50bs2cobw1y HTTP/1.1" 403 169 "-" "Mozilla/100"
120.61.32.223 - - [12/Aug/2012:17:17:59 -0500] "\x00" 400 173 "-" "-"
41.155.14.81 - - [12/Aug/2012:17:18:01 -0500] "\x00" 400 173 "-" "-"
217.23.7.159 - - [12/Aug/2012:17:18:10 -0500] "ET /?u=3vf3y53891789g53pqu72078k0b5zqs8 HTTP/1.1" 403 169 "-" "Mozilla/100"
217.23.7.159 - - [12/Aug/2012:17:18:10 -0500] "\x00" 400 173 "-" "-"
85.102.126.46 - - [12/Aug/2012:17:18:27 -0500] "ET /?u=78yaif3n0057zf33z03540r8k77s5b0r HTTP/1.1" 403 169 "-" "Mozilla/100"
2.176.12.83 - - [12/Aug/2012:17:18:27 -0500] "ET /?u=h2vzl4334lhq1t0d70br4b1j980jgen1 HTTP/1.1" 403 169 "-" "Mozilla/100"
85.102.126.46 - - [12/Aug/2012:17:18:27 -0500] "\x00" 400 173 "-" "-"
2.176.12.83 - - [12/Aug/2012:17:18:27 -0500] "\x00" 400 173 "-" "-"

Я так понимаю к всему прочему еще и ддос какой-то пошел. Собственно поэтому еще и не справляется, и так скрипты тяжелые, да еще и ддос какой-то...