"Fat-Zer" написал:
у тебя терминал тормозит... направь вывод в /dev/null
Не силен в каких-то технических деталях, на знаю что там конкретно оно тормозит, но процессор оно заметно нагружает. Хотя я еще попробую в реальных условиях и сообщу результаты.
"Fat-Zer" написал:
узкое место всё равно в wget'е...
узкое в чем? Во времени выполнения - это да и понятно почему, но процессор это не нагружает. А вот цикл нагружает по понятным причинам, а мне желательно не нагружать.
"Fat-Zer" написал:
к тому же этот файл ещё надо создать...
да, но только 1 раз :) А важно чтобы при онлайн работе не тормозило.
"Fat-Zer" написал:
а вот за такие выкрутасы надо бить по щам...
ну я привел чисто для примера чтобы посомтреть какая от этого будет нагрузка. Хотя не знаю почему, но у меня подобной каши при выводе не наблюдалось (если я правильно понял к чему вы клоните).
"neol" написал:
Если она не для нагрузочного тестирования, то у меня есть подозрение, что решаете вы ее не верно.
ну решаю как умею :)
"neol" написал:
Зачем привлекать bash, wget и веб сервер
постараюсь объяснить на примере одного из моих скриптов. Например я написал простенький web-паук на php+curl, который собирает нужную мне статистику. Его функционал в двух словах примерно такой: взять с sqlite-базы ссылку, загрузить страницу, собрать с нее по нужному критерию исходящие ссылки с нее и положить в ту же sqlite-базу. То есть каждый запуск такого скрипта будет проделывать это постоянно увеличивая базу. Тут по понятным причинам не получится применить организовать какой-то цикл внутри скрипта - да и не надо этого.
По поводу почему это bash - ну хотя бы потому чтобы обеспечить постоянную работу этого скрипта - например я могу запустить его многопоточное выполнение прямо с сервера, который постоянно в онлайне - то есть запустил, а он себе собирает базу...
Ну и еще по поводу цикла внутри скрипта - ну никак даже если бы это было логично - для веб-скриптов существует понятие "время выполнения скрипта", он не может выполнятся вечно или очень долго - его как минимум отклонит вебсервер по таймауту.
Ну и по многопоточности все понятно - чем больше ха единицу времени дерну скрипт - тем больше результатов он найдет и запишет в базу.
Вот и получается что скрипт, лежащий на
http://site.ru/script.php нужно дергать большое количество раз и желательно многопоточно.
