LinuxForum.Fans
Тема

scp передает битый архив

Автор: 4fun 25 сообщений 4519 просмотров
28.11.2013 12:23 #351829

Здравствуйте. Возникла необходимость перенести бэкап с одного сервера на другой. На первом сервере пакую архив, проверяю - все файлы на месте и запакованы. Перекидываю через scp на второй сервер, начинаю распаковывать и получаю "tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода". Просматриваю архив на втором сервере - большей части файлов в архиве нет, хотя архив весит столько же, сколько и исходный на первом сервере. Пробовал паковать архив и на десктопе, но эффект тот же. Оси на серверах одинаковые (centos 6), паковал и передавал под рутом, если что. Подскажите, пож, в чем проблема может быть.

28.11.2013 12:30 #351831

Попробуйте запускать scp с опцией -v — возможно будут видны ошибки при передаче.

28.11.2013 13:07 #351836

Попробовал с -v, выводилась только отладочная инфа, ошибок не было. Но при попытке проверить контрольную сумму архива на втором сервере, получаю:
# md5sum global.tar
md5sum: global.tar: Ошибка ввода/вывода

28.11.2013 13:16 #351837

Покажите полностью команду, которой вы создаёте tar-архив.
Если несколько раз создать tar-архив из достаточно большого количества файлов, контрольная сумма всегда одна и та же? Я к тому веду — память и жёсткий диск в порядке?

28.11.2013 13:28 · отредактировано #351839

Находясь в директории, содержимое которой надо забэкапить.
tar cvf /home/global.tar ./
На сервере, где пакую, с винтом беда, потому и переношу бэкапы. Но проблема явно не в первом сервере, ибо только что перекинул с него на второй сервер тот же архив, который паковал ночью, и на втором сервере уже почти все распаковалось, но в конце опять пошли ошибки чтения. Да и на десктопе же паковал и заливал, но проблема та же.
Смарт второго сервера (на который пытаюсь залить архив)

Показать
text
# smartctl -a /dev/sda
smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-358.el6.x86_64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar Blue Serial ATA
Device Model:     WDC WD5000AAKX-001CA0
Serial Number:    WD-WMAYU9740895
LU WWN Device Id: 5 0014ee 05859d4f1
Firmware Version: 15.01H15
User Capacity:    500.107.862.016 bytes [500 GB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Thu Nov 28 11:38:00 2013 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled


=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED


General SMART Values:
Offline data collection status:  (0x82)    Offline data collection activity
                    was completed without error.
                    Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)    The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.
Total time to complete Offline 
data collection:         ( 8580) seconds.
Offline data collection
capabilities:              (0x7b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003)    Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01)    Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:      (   2) minutes.
Extended self-test routine
recommended polling time:      (  87) minutes.
Conveyance self-test routine
recommended polling time:      (   5) minutes.
SCT capabilities:            (0x3037)    SCT Status supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.


SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       483
  3 Spin_Up_Time            0x0027   141   139   021    Pre-fail  Always       -       3925
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       43
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   079   079   000    Old_age   Always       -       15668
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       41
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       39
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       3
194 Temperature_Celsius     0x0022   106   085   000    Old_age   Always       -       37
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       10
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0


SMART Error Log Version: 1
No Errors Logged


SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

28.11.2013 13:33 #351840
"4fun" написал:
Находясь в директории, содержимое которой надо забэкапить.
text
tar cvf /home/global.tar ./

Попробуйте создавать архив не в той директории, бэкап которой делаете.

"4fun" написал:
Смарт второго сервера (на который пытаюсь залить архив)

Тест бы запустили на всякий случай.

28.11.2013 13:35 #351841

А просто без архива не пробовали переносить или с помощью rsync?

28.11.2013 13:36 #351842
"4fun" написал:
и на втором сервере уже почти все распаковалось, но в конце опять пошли ошибки чтения

Что за ошибки? Места хватает?

28.11.2013 13:37 #351843
Lupo Alberto написал:

Попробуйте создавать архив не в той директории, бэкап которой делаете.

Так ведь так и делаю. Архив помещаю в /home, а пакую содержимое /home/serj

Lupo Alberto написал:

Тест бы запустили на всякий случай.

Каким образом сие можно осуществить?

28.11.2013 13:38 #351844
Lupo Alberto написал:
[quote="4fun"]и на втором сервере уже почти все распаковалось, но в конце опять пошли ошибки чтения

Что за ошибки? Места хватает?[/quote]
Места хватает (больше 400ГБ, сам архив - 17 ГБ).

text
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: global.tar: Функция read завершилась с ошибкой: Ошибка ввода/вывода
tar: Слишком много ошибок, завершение работы
tar: Error is not recoverable: exiting now
28.11.2013 13:40 #351845

Долгий тест (примерно 87 минут)

text
smartctl -t long /dev/sda

Короткий тест (примерно 2 минуты)

text
smartctl -t short /dev/sda
28.11.2013 13:48 #351847
"4fun" написал:
Так ведь так и делаю. Архив помещаю в /home, а пакую содержимое /home/serj
"4fun" написал:
Находясь в директории, содержимое которой надо забэкапить.

Не совсем очевидно было.
Всё же попробуйте указать абсолютный путь к каталогу, который архивируете, или создать архив вне этого каталога.

28.11.2013 13:54 #351849
Lupo Alberto написал:
Долгий тест (примерно 87 минут)
text
smartctl -t long /dev/sda

Короткий тест (примерно 2 минуты)

text
smartctl -t short /dev/sda

А результаты теста где хранятся?

text
# smartctl -t short /dev/sda
smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-358.el6.x86_64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF OFFLINE IMMEDIATE AND SELF-TEST SECTION ===
Sending command: "Execute SMART Short self-test routine immediately in off-line mode".
Drive command "Execute SMART Short self-test routine immediately in off-line mode" successful.
Testing has begun.
Please wait 2 minutes for test to complete.
Test will complete after Thu Nov 28 12:07:05 2013


Use smartctl -X to abort test
28.11.2013 13:58 #351851
"4fun" написал:
А результаты теста где хранятся?

Просмотреть можно будет в выводе команды

text
smartctl -a /dev/sda

Там же можно найти и время, оставшееся до конца теста.

28.11.2013 14:00 #351852

Несколько отвлекаясь...

"4fun" написал:
Test will complete after Thu Nov 28 12:07:05 2013

Что-то со временем на сервере не то.

28.11.2013 14:03 · отредактировано #351854
Lupo Alberto написал:
Несколько отвлекаясь...
[quote="4fun"]Test will complete after Thu Nov 28 12:07:05 2013

Что-то со временем на сервере не то.[/quote]
Да знаю, спасибо :) Сервер недавно выдан был и настройкой времени еще не занимался.

Провел короткий тест

Показать
# smartctl -a /dev/sda
smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-358.el6.x86_64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family: Western Digital Caviar Blue Serial ATA
Device Model: WDC WD5000AAKX-001CA0
Serial Number: WD-WMAYU9740895
LU WWN Device Id: 5 0014ee 05859d4f1
Firmware Version: 15.01H15
User Capacity: 500.107.862.016 bytes [500 GB]
Sector Size: 512 bytes logical/physical
Device is: In smartctl database [for details use: -P show]
ATA Version is: 8
ATA Standard is: Exact ATA specification draft version not indicated
Local Time is: Thu Nov 28 12:27:02 2013 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status: ( 121) The previous self-test completed having
the read element of the test failed.
Total time to complete Offline
data collection: ( 8580) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 2) minutes.
Extended self-test routine
recommended polling time: ( 87) minutes.
Conveyance self-test routine
recommended polling time: ( 5) minutes.
SCT capabilities: (0x3037) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 483
3 Spin_Up_Time 0x0027 141 139 021 Pre-fail Always - 3925
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 43
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x002e 200 200 000 Old_age Always - 0
9 Power_On_Hours 0x0032 079 079 000 Old_age Always - 15669
10 Spin_Retry_Count 0x0032 100 253 000 Old_age Always - 0
11 Calibration_Retry_Count 0x0032 100 253 000 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 41
192 Power-Off_Retract_Count 0x0032 200 200 000 Old_age Always - 39
193 Load_Cycle_Count 0x0032 200 200 000 Old_age Always - 3
194 Temperature_Celsius 0x0022 107 085 000 Old_age Always - 36
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 10
198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 200 200 000 Old_age Offline - 0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed: read failure 90% 15669 687373882

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay
28.11.2013 14:04 #351855
"Lupo Alberto" написал:
А просто без архива не пробовали переносить или с помощью rsync?
28.11.2013 14:07 #351856
"4fun" написал:
Сервер недавно выдан был и настройкой времени еще не занимался.

Кстати, неправильная установка времени не так безобидна, как кажется, особенно при взаимодействии с другими машинами.

28.11.2013 14:07 · отредактировано #351857
"4fun" написал:
# 1 Short offline Completed: read failure 90% 15669 687373882

!!!

28.11.2013 14:08 #351858
Lupo Alberto написал:
А просто без архива не пробовали переносить или с помощью rsync?

rsync пробовал, но почему-то не принимало конструкцию
[console]rsync -urlogtv -e='ssh -p порт_ссш' --rsync-path=/usr/bin/rsync root@мой_ип:/home/serj /home/serj[/console]
Писало о неизвестном аргументе -e ssh -p мой_порт

Войдите или зарегистрируйтесь, чтобы ответить.