LinuxForum.Fans
Тема

Общий вопрос по архивации

Автор: 1000Mhz 9 сообщений 894 просмотров
12.02.2015 15:00 · отредактировано #414101

Возникла тут задача регулярно бекапить каталоги со смешанным содержимым. Долго ломал голову, как это лучше делать- большинство архиваторов ведь тупые как пробки, и будут сжимать все подряд, в том числе и файлы изначально сжатых форматов (всякая мультимедиа например). Провел несколько тестов- даже при не очень больших объемах и средней степени сжатия это занимает дочерта времени и естественно прилично нагружает процессор, а результат - неудовлетворителен. Короче говоря, в моем случае занятие кажется бесперспективное, проще и быстрее вообще не жать, а вкладываться в объемы дисков.
Поэтому вопрос: есть ли какие-то преимущества у архивации на уровне файловой системы, что по слухам умеет btrfs (с которой я никогда не имел дела) или допустим fsarchiver? Есть вообще какие-нибудь тесты, сравнения?

12.02.2015 15:10 · отредактировано #414102

Я бы попробовал архивировать в два прохода: в 1-й раз без сжатых файлов, а во 2-й только их
без сжатия, т.е. получится два архива.

Пётр.

12.02.2015 15:12 #414103

А нафига делать архивы, когда можно использовать rsnapshot , он основан на хардлинках, и место экономишь, а в архивы отпавлять только недельные или данные за месяц.

12.02.2015 15:14 · отредактировано #414104

Peter, если использовать dar, то ему можно указать, что жать, а что- не надо, и все за один проход. Дело не в этом. Если у вас 1000 каких-нибудь условно сжимаемых документов и 50 видео небольшой продолжительности, то как рассчитать, есть ли смысл заморачиваться со сжатием?

i2ks, это который rsync? Что-то там как-то помешало его использовать.. я уже не помню, надо заново думать)) Но я не про то, как именно бэкапить, а про то- как сжимать.

12.02.2015 15:39 #414108
1000Mhz написал:
Peter, если использовать dar, то ему можно указать, что жать, а что- не надо, и все за один проход. Дело не в этом. Если у вас 1000 каких-нибудь условно сжимаемых документов и 50 видео небольшой продолжительности, то как рассчитать, есть ли смысл заморачиваться со сжатием?

Я и не знал, что есть dar. Если так, то не надо ничего рассчитывать, а всегда не сжимать то, что не сжимается и всегда сжимать то,
что ужимается заметно, например, в два раза.

Пётр.

12.02.2015 16:35 #414110
"Peter" написал:
всегда не сжимать то, что не сжимается и всегда сжимать то,что ужимается заметно, например, в два раза

А смысл? Ну ужмете вы тысячу текстовых файлов, которые итак-то занимают килобайты :) Думаю проще будет полностью отказаться от сжатия при архивировании.

12.02.2015 18:46 #414112
"1000Mhz" написал:
большинство архиваторов ведь тупые как пробки

Зато шелл -- умный и умеет globbing.
В частности, tar умеет такое:

, --exclude-from=FILE
exclude patterns listed in FILE
12.02.2015 19:07 · отредактировано #414114
"yars" написал:
Зато шелл -- умный и умеет globbing.

Да понятно это все. Я не зря упомянул DAR, который много чего может, в отличии от древнего tar. Вопрос не в этом. Меня интересовала оценка степени компрессии для группы файлов разного типа, что выгоднее использовать, нужно ли тут придумывать всякие велосипеды и пр. в том же духе.

12.02.2015 22:38 #414157

Ну, все изначально сжатые файлы смысла жать нет, что архиватором, что ФС со сжатием.

Войдите или зарегистрируйтесь, чтобы ответить.