LinuxForum.Fans
Тема

Падает система при копировании больших объемов файлов

Автор: AntiduPb 19 сообщений 4769 просмотров
26.08.2014 01:19 #390627

Падает система при копировании больших объемов файлов

Приветствую всех :)
Выявилась вот такая веселая проблема:
Когда пытаюсь скопировать директорию размером больше 20G сначала с бешенной скоростью переполняется кэш а потом система просто падает с ошибкой и ни на что не реагирует.
Собсна хронология событий:
заполняется(кэш)

заполнился

на всяк случай

опа

:(

:(

При этом если с помощью memmap дать например 8G оперативной памяти то всё работает нормально но какой тогда толк ставить 32? И еше при копировании таких же объемов инфы (более 20 гигабайт) по сети проблема решалась скрипом

text

#!/bin/bash
while [ 1 = 1 ]
do
echo 'Cleaning...'
sync && echo 3 > /proc/sys/vm/drop_caches
echo 'ok'
echo 'Waiting...'
sleep 150
done

тоесть каждые 150 секунд кэш сбрасывался принудительно, но при копировании с диска на диск скрипт виснет и толку нет(судя по всему скорости не те и при копировании по сети у диска есть еше ресурсы сбросить кэш а при диск1->диск2 нет)
кто нибудь знает как забороть проблему? Может есть способ отключить кэширование(подозреваю в ядре) или ограничить максимальный объем кешируемой инфы?
Заранее спасибо! :))
P.S. Кнопкой PrtScn пользоваться умею просто торопился :)

26.08.2014 01:41 #390629

А как (чем) копируете?
Я не пробовал копировать такие объемы, но если как-то использовать например split перед?

26.08.2014 02:07 · отредактировано #390632

А как (чем) копируете?

Копирую cp например:

text
cp -r /mnt/hdd1 /mnt/hdd2

MC как обычно F5.
Без разницы чем копировать я пробовал cp и MC результат одинаков. Прочиал про split спс не знал про такую(небыло нужды) но не оно можно копировать 100000 файлов по 1мегабайту или копировать 1н файл 100 гигов - результат одинаков. Подозреваю что это регулируется ядром.
Система Debian Wheezy, на других пока не пробовал но думаю результат будет тотже.

26.08.2014 05:13 #390640

AntiduPb, по памяти memtest'ом уже прошёлся?

26.08.2014 05:38 #390642
"AntiduPb" написал:
на других пока не пробовал но думаю результат будет тотже

Зачем тогда спрашивать?

26.08.2014 06:54 #390648

На других системах результат не тот же, не надо так плохо думать о линуксах.
Я в Федоре иногда копирую и 8 и 20 и 60 ГБ, никаких падений или проблем вообще нет.

26.08.2014 06:59 #390650

Vascom, *SCRATCH* а дистрибутив-то при чём?

26.08.2014 07:05 #390652

Вот при чём:

Система Debian Wheezy, на других пока не пробовал но думаю результат будет тотже.
26.08.2014 07:05 #390653

Vascom, :) а я думаю, что проблема в "железе".

26.08.2014 07:13 #390658

Я тоже так думаю. Значит надо перенести тему в раздел форума о железе.

26.08.2014 07:44 #390663

"AntiduPb" написал:
Без разницы чем копировать
вообще-то разница есть.
попробуйте лучше dd

как не странно, может и rsync помочь

Хотя скорее всего беда с железом(память проверьте для начала).

Ну и да, может это ядро кривое.
26.08.2014 09:22 #390669
drBatty написал:
Ну и да, может это ядро кривое.

А может быть баг в коде FS?

26.08.2014 09:39 · отредактировано #390671

Выхлоп читал?


kernel BUG at /build/linux-dJLVDt/linux-3.2.57/mm/slab.c:3111!
invalid opcode: 0000 [#1] SMP

Попробуй поставить свежее ядро, возможно поможет.
p.s. Вчерась копировал каталог 250 гектар, никаких проблем, Fedora 20 kernel - 3.15.10

26.08.2014 10:21 #390674

Сейчас только что проверил. Копировал 6 эпизодов Звездных войн в Blu-Ray качестве (каждый файл весит чуть больше 40GB) на внешний диск. Без нареканий. Fedora 20, ядро: 3.15.10.

28.08.2014 11:36 #391079

Оперативную память проверял еще до того как обнаружил этот глюк, битый 178 мегабайт методом memmap=31800M$200M заставил не пользовать битую память и проблемы (segfault'ы при компиляции, тогда еще, генты пропали) но вся остальная память ok. Проблема судя по всему не в качестве памяти а в её количестве. Выше я написал

При этом если с помощью memmap дать например 8G оперативной памяти то всё работает нормально

Вот при чём:
[quote]Система Debian Wheezy, на других пока не пробовал но думаю результат будет тотже.

[/quote]
Согласен. Исправлюсь. На выходных поставлю Gentoo, проверю и отпишусь.

28.08.2014 11:43 #391081

Где-то выше 8ГБ значит ещё битая память.

28.08.2014 13:07 #391093

"SkaarjZR" написал:
А может быть баг в коде FS?
ну я это и имел ввиду. Вангую, что у ТСа ФС вкомпиллена в ядро.
"AntiduPb" написал:
битый 178 мегабайт методом memmap=31800M$200M заставил не пользовать битую память
не. Если память начала сыпаться, то это кирдык.
29.08.2014 11:36 #391187

не. Если память начала сыпаться, то это кирдык.

Вот жеж блин, корсаровская 8 гиговая планка :( обидно.

06.09.2014 19:33 #392071

Прогнал memtest'ом все планки по отдельности. Убрал одну битую. На 24гигах пашет нормально. Осталось купить новую 8гб планку и проверить.

Войдите или зарегистрируйтесь, чтобы ответить.