Например, архиваторы bzip2 и gzip сжимают-расжимают на 10-20% быстрее.
узкое место этих древних архиваторов обычно - ввод/вывод. Т.е. что-бы ускорить bzip2/gzip нужно покупать более быстрый носитель информации. Это в реальной жизни. В тестах вы можете подгонять свои тесты под любую милую вам теорию wink
[quote=fragment]Например, архиваторы bzip2 и gzip сжимают-расжимают на 10-20% быстрее.
узкое место этих древних архиваторов обычно - ввод/вывод. Т.е. что-бы ускорить bzip2/gzip нужно покупать более быстрый носитель информации. Это в реальной жизни. В тестах вы можете подгонять свои тесты под любую милую вам теорию wink[/quote]
Ой-ли... Для pbzip2 существует тот же ваш милый любимый теоретический узкий ввод/вывод, что совсем не мешает ему обрабатывать данные в N раз быстрее (в рамках одного и того же железа) , иными словами он работает быстрее. wink
Ой-ли... Для pbzip2 существует тот же ваш милый любимый теоретический узкий ввод/вывод, что совсем не мешает ему обрабатывать данные в N раз быстрее (в рамках одного и того же железа) , иными словами он работает быстрее.
Пожай тоже соглашусь с drBatty, а вот Macumazan, если уш говорите то предоставьте хоть какое то подтверждение ваших слов, а иначе это просто сотрясение воздуха.
узкое место этих древних архиваторов обычно - ввод/вывод. Т.е. что-бы ускорить bzip2/gzip нужно покупать более быстрый носитель информации. Это в реальной жизни.
Это в твоих надуманных теориях. Поставь, например, lbzip2/pigz и удивись.
И да, мне интересно взглянуть на десктопный процессор, который осилит в реальном времени сжимать или расжимать поток данных в более чем 100 Мб/сек (скорость чтения/записи современного винта), при каком угодно алгоритме сжатия.
Возьмём мощнейшие на данный момент десктопные процессоры и посмотрим на их результаты в архиваторных бенчмарках на распаковку.
Однопоточный WinZip:
Многопоточный WinRAR:
Многопоточный 7zip:
Итого: даже самый мощный и дорогой, притом разогнанный, десктопный проц показал в 7zip 650/28 = 23,2 Мб/сек, и это в 12 потоков. Да лет 5-7 назад винты быстрее работали. А в других тестах показатели ещё плачевнее.
И да, мне интересно взглянуть на десктопный процессор, который осилит в реальном времени сжимать или расжимать поток данных в более чем 100 Мб/сек
а мне вот интересно посмотреть на файловую систему, которая обеспечит поток файлов со скоростью 100мегабайт в секунду. Причём с записью. Причём хоть с примитивным, но с каким-никаким сжатием. Задачка чутка посложнее, чем примитивный алгоритм LZ77/78.
Итого: даже самый мощный и дорогой, притом разогнанный, десктопный проц показал в 7zip 650/28 = 23,2 Мб/сек
и что? молотки какие-то вместо картинок, программы маздайные... WinRAR как был тормозным УГ на PPMD, так им и остался, и алгоритм этот не распараллеливается. Впрочем, как и большинство других. Потому-то СПО вроде xz так до сих пор и работает одним потоком, ибо смысла нет. Кстати, я что-то не наблюдаю не только тестов, но и gzip, bzip2, lzma, xz... Ваша маздаевская чашуя мне безразлична.
а мне вот интересно посмотреть на файловую систему, которая обеспечит поток файлов со скоростью 100мегабайт в секунду.
Провёл пару тестов:
text
joker@localhost ~ $ time cp -r /media/video/Movies/Трон /media/home/joker/
real 3m49.215s
user 0m0.147s
sys 0m21.894s
joker@localhost ~ $ du -h /media/video/Movies/Трон
21G /media/video/Movies/Трон
это около 92 Мб/сек, раздел /media/home - Ext4, раздел /media/video - XFS, находятся на разных хардах
Теперь то же самое для одного харда:
text
joker@localhost ~ $ time cp -r /media/home/joker/Трон /media/home/joker/Видео/
real 9m35.935s
user 0m0.184s
sys 0m20.246s
это около 36,5 Мб/сек
Короче говоря, даже при самом неблагоприятном раскладе скорость работы винта ощутимо выше скорости работы самого мощного разогнанного проца с шестью ядрами и НТ
Нормальный тест. ФС не с нуля для теста создана, а используется уже чёрт знает сколько времени, представь степень её фрагментации. Слышно было, как головки прыгали по блинам.
Пожай тоже соглашусь с drBatty, а вот Macumazan, если уш говорите то предоставьте хоть какое то подтверждение ваших слов, а иначе это просто сотрясение воздуха.
Естесственно, ибо на такой вброс
узкое место этих древних архиваторов обычно - ввод/вывод. Т.е. что-бы ускорить bzip2/gzip нужно покупать более быстрый носитель информации. Это в реальной жизни.
Короче говоря, даже при самом неблагоприятном раскладе скорость работы винта ощутимо выше скорости работы самого мощного разогнанного проца с шестью ядрами и НТ
...который вы заставили просчитывать морально устаревший и жутко тормозной PPMD в WinRAR'е smile
fragment написал:
это около 92 Мб/сек
теперь узнайте с какой скоростью файлы достаются из памяти, и вешайтесь. Потому-что выборка из памяти это как раз и есть узкое место для gzip и xz(lzma). А уж про тормозной (по сравнению с RAM) диск я вообще промолчу.
fragment написал:
WinRAR 4 превосходно параллелится.
ваши тесты доказывают, что толку от этого никакого.
fragment написал:
Я думаю, тут другая причина: криворукие кодеры, так как многопоточные версии у тех же gzip и bzip2 есть и работают в разы быстрее однопоточных.
да? а почему я не вижу тестов?
fragment написал:
Мог бы сразу сказать что фанатик, я бы и время не тратил.
причём тут "фанатик"? я просто не использую WinRAR, и его скоростные характеристики меня абсолютно не волнуют. И не использую вовсе не из-за фанатизма, а просто потому, что на тех серверах, что мне надо админить WinRAR не ставится. На тестовой машинке, с которой я сейчас пишу, ставится, но костыльно, и совершенно не интегрируется с остальными программами. Я вот не могу каждый день в 4:18 бежать к компьютеру, и жать бекап ручками. А вот xz работает автоматически, без всяких напрягов. Ну и кроме того, не я один "фанатег" - gzip встроен чуть более чем везде, даже в Internet Explorer. А вот rar встроен только в WinRAR.
Macumazan написал:
Естесственно, ибо на такой вброс
ну это для вас "вброс", а я прекрасно знаю, насколько там простые алгоритмы, и как мало времени они занимают. Причём это случилось не вчера, а где-то так с первого пня. Конечно диски стали с тех пор намного быстрее, но CPU сейчас считают ЕЩЁ быстрее. Т.ч. ситуация только усугубляется.
...который вы заставили просчитывать морально устаревший и жутко тормозной PPMD в WinRAR'е smile
В моём посте чётко указано что лучший показатель - у 7zip
drBatty написал:
теперь узнайте с какой скоростью файлы достаются из памяти, и вешайтесь. Потому-что выборка из памяти это как раз и есть узкое место для gzip и xz(lzma).
А вот теперь на сцену должны выйти пруфы от тебя. Потому что pigz (многопоточный gzip) обрабатывает архивы в разы быстрее gzip.
drBatty написал:
ваши тесты доказывают, что толку от этого никакого.
Наверное, это какая-то избирательная слепота, потому что WinRAR показал результат близкий к 7zip
drBatty написал:
да? а почему я не вижу тестов?
Поставь да посмотри. Ты же всё равно на любой мой тест будешь изворачиваться лишь бы не признать свою ошибку.
drBatty написал:
причём тут "фанатик"?
При том, что вера в то что т.н. свободные архиваторы при том же количестве потоков покажут кардинально лучшие результаты - это именно фанатизм.
