Возникла тут задача регулярно бекапить каталоги со смешанным содержимым. Долго ломал голову, как это лучше делать- большинство архиваторов ведь тупые как пробки, и будут сжимать все подряд, в том числе и файлы изначально сжатых форматов (всякая мультимедиа например). Провел несколько тестов- даже при не очень больших объемах и средней степени сжатия это занимает дочерта времени и естественно прилично нагружает процессор, а результат - неудовлетворителен. Короче говоря, в моем случае занятие кажется бесперспективное, проще и быстрее вообще не жать, а вкладываться в объемы дисков.
Поэтому вопрос: есть ли какие-то преимущества у архивации на уровне файловой системы, что по слухам умеет btrfs (с которой я никогда не имел дела) или допустим fsarchiver? Есть вообще какие-нибудь тесты, сравнения?
Общий вопрос по архивации
Я бы попробовал архивировать в два прохода: в 1-й раз без сжатых файлов, а во 2-й только их
без сжатия, т.е. получится два архива.
Пётр.
А нафига делать архивы, когда можно использовать rsnapshot , он основан на хардлинках, и место экономишь, а в архивы отпавлять только недельные или данные за месяц.
Peter, если использовать dar, то ему можно указать, что жать, а что- не надо, и все за один проход. Дело не в этом. Если у вас 1000 каких-нибудь условно сжимаемых документов и 50 видео небольшой продолжительности, то как рассчитать, есть ли смысл заморачиваться со сжатием?
i2ks, это который rsync? Что-то там как-то помешало его использовать.. я уже не помню, надо заново думать)) Но я не про то, как именно бэкапить, а про то- как сжимать.
Peter, если использовать dar, то ему можно указать, что жать, а что- не надо, и все за один проход. Дело не в этом. Если у вас 1000 каких-нибудь условно сжимаемых документов и 50 видео небольшой продолжительности, то как рассчитать, есть ли смысл заморачиваться со сжатием?
Я и не знал, что есть dar. Если так, то не надо ничего рассчитывать, а всегда не сжимать то, что не сжимается и всегда сжимать то,
что ужимается заметно, например, в два раза.
Пётр.
всегда не сжимать то, что не сжимается и всегда сжимать то,что ужимается заметно, например, в два раза
А смысл? Ну ужмете вы тысячу текстовых файлов, которые итак-то занимают килобайты :) Думаю проще будет полностью отказаться от сжатия при архивировании.
большинство архиваторов ведь тупые как пробки
Зато шелл -- умный и умеет globbing.
В частности, tar умеет такое:
, --exclude-from=FILE
exclude patterns listed in FILE
Зато шелл -- умный и умеет globbing.
Да понятно это все. Я не зря упомянул DAR, который много чего может, в отличии от древнего tar. Вопрос не в этом. Меня интересовала оценка степени компрессии для группы файлов разного типа, что выгоднее использовать, нужно ли тут придумывать всякие велосипеды и пр. в том же духе.
Ну, все изначально сжатые файлы смысла жать нет, что архиватором, что ФС со сжатием.