I have two servers (centOS 7) with different sites on them that backup to each other.
Last night, both failed to backup due to "No space left on device". Both servers have many GB's of free space. Both have been backing up dependably for months.
Is this odd or what?
Suggestions?
Output log of one of them below, sitename/ip addresses hidden.
Chris
Creating backup for virtual server mysite.com ..
Dumping MySQL database mysite ..
.. done
Creating incremental TAR file of home directory ..
.. done
Uploading archive to SSH server xxx.xxx.xxx.xxx ..
.. upload failed! root@xxx.xxx.xxx.xxx's password: mysite.com.tar.gz 0% 0 0.0KB/s --:-- ETA mysite.com.tar.gz 0% 2576KB 2.5MB/s 17:56 ETA mysite.com.tar.gz 0% 5360KB 2.5MB/s 17:46 ETA mysite.com.tar.gz 0% 15MB 3.3MB/s 13:47 ETA mysite.com.tar.gz 1% 35MB 4.9MB/s 09:05 ETA mysite.com.tar.gz 1% 52MB 6.1MB/s 07:15 ETA mysite.com.tar.gz 2% 68MB 7.2MB/s 06:09 ETA mysite.com.tar.gz 3% 90MB 8.6MB/s 05:05 ETA mysite.com.tar.gz 4% 111MB 9.9MB/s 04:23 ETA mysite.com.tar.gz 4% 133MB 11.0MB/s 03:53 ETA mysite.com.tar.gz 5% 153MB 12.0MB/s 03:32 ETA mysite.com.tar.gz 6% 175MB 12.9MB/s 03:16 ETA mysite.com.tar.gz 7% 196MB 13.8MB/s 03:02 ETA mysite.com.tar.gz 8% 217MB 14.5MB/s 02:51 ETA mysite.com.tar.gz 8% 237MB 15.1MB/s 02:43 ETA mysite.com.tar.gz 9% 258MB 15.6MB/s 02:37 ETA mysite.com.tar.gz 10% 277MB 16.0MB/s 02:32 ETA mysite.com.tar.gz 10% 298MB 16.5MB/s 02:26 ETA mysite.com.tar.gz 11% 319MB 16.9MB/s 02:21 ETA mysite.com.tar.gz 12% 340MB 17.3MB/s 02:16 ETA mysite.com.tar.gz 13% 361MB 17.7MB/s 02:12 ETA mysite.com.tar.gz 14% 382MB 18.0MB/s 02:09 ETA mysite.com.tar.gz 14% 403MB 18.4MB/s 02:05 ETA mysite.com.tar.gz 15% 424MB 18.6MB/s 02:02 ETA mysite.com.tar.gz 16% 444MB 18.7MB/s 02:01 ETA mysite.com.tar.gz 17% 462MB 18.7MB/s 02:00 ETA mysite.com.tar.gz 17% 484MB 19.0MB/s 01:57 ETA mysite.com.tar.gz 18% 504MB 19.1MB/s 01:55 ETA mysite.com.tar.gz 19% 525MB 19.3MB/s 01:53 ETA mysite.com.tar.gz 20% 546MB 19.5MB/s 01:51 ETA mysite.com.tar.gz 20% 568MB 19.7MB/s 01:48 ETA mysite.com.tar.gz 21% 588MB 19.8MB/s 01:47 ETA mysite.com.tar.gz 22% 610MB 20.0MB/s 01:45 ETA mysite.com.tar.gz 23% 630MB 20.0MB/s 01:43 ETA mysite.com.tar.gz 24% 651MB 20.1MB/s 01:42 ETA mysite.com.tar.gz 24% 672MB 20.2MB/s 01:41 ETA mysite.com.tar.gz 25% 693MB 20.2MB/s 01:39 ETA mysite.com.tar.gz 26% 713MB 20.2MB/s 01:38 ETA mysite.com.tar.gz 27% 734MB 20.3MB/s 01:37 ETA mysite.com.tar.gz 27% 755MB 20.4MB/s 01:36 ETA mysite.com.tar.gz 28% 776MB 20.5MB/s 01:34 ETA mysite.com.tar.gz 29% 797MB 20.5MB/s 01:33 ETA mysite.com.tar.gz 30% 818MB 20.6MB/s 01:31 ETA mysite.com.tar.gz 30% 840MB 20.7MB/s 01:30 ETA mysite.com.tar.gz 31% 861MB 20.8MB/s 01:29 ETA mysite.com.tar.gz 32% 883MB 20.8MB/s 01:27 ETA mysite.com.tar.gz 33% 904MB 20.9MB/s 01:26 ETA mysite.com.tar.gz 34% 925MB 20.8MB/s 01:25 ETA mysite.com.tar.gz 34% 945MB 20.8MB/s 01:24 ETA mysite.com.tar.gz 35% 966MB 20.9MB/s 01:23 ETA mysite.com.tar.gz 36% 988MB 20.9MB/s 01:22 ETA mysite.com.tar.gz 37% 1009MB 21.0MB/s 01:21 ETA mysite.com.tar.gz 38% 1031MB 21.0MB/s 01:19 ETA mysite.com.tar.gz 38% 1052MB 21.0MB/s 01:18 ETA mysite.com.tar.gz 39% 1073MB 21.0MB/s 01:17 ETA mysite.com.tar.gz 40% 1093MB 20.9MB/s 01:17 ETA mysite.com.tar.gz 41% 1112MB 20.8MB/s 01:16 ETA mysite.com.tar.gz 41% 1133MB 20.8MB/s 01:15 ETA mysite.com.tar.gz 42% 1153MB 20.7MB/s 01:15 ETA mysite.com.tar.gz 43% 1175MB 20.8MB/s 01:13 ETA mysite.com.tar.gz 44% 1195MB 20.8MB/s 01:12 ETA mysite.com.tar.gz 44% 1215MB 20.7MB/s 01:12 ETA mysite.com.tar.gz 45% 1237MB 20.8MB/s 01:10 ETA mysite.com.tar.gz 46% 1258MB 20.8MB/s 01:09 ETA mysite.com.tar.gz 47% 1279MB 20.9MB/s 01:08 ETA mysite.com.tar.gz 48% 1301MB 20.9MB/s 01:07 ETA mysite.com.tar.gz 48% 1319MB 20.6MB/s 01:07 ETA mysite.com.tar.gz 49% 1339MB 20.6MB/s 01:06 ETA mysite.com.tar.gz 50% 1360MB 20.6MB/s 01:05 ETA mysite.com.tar.gz 50% 1381MB 20.7MB/s 01:04 ETA mysite.com.tar.gz 51% 1400MB 20.5MB/s 01:03 ETA mysite.com.tar.gz 52% 1421MB 20.6MB/s 01:02 ETA mysite.com.tar.gz 53% 1442MB 20.6MB/s 01:01 ETA mysite.com.tar.gz 53% 1462MB 20.5MB/s 01:00 ETA mysite.com.tar.gz 54% 1482MB 20.5MB/s 00:59 ETA mysite.com.tar.gz 55% 1504MB 20.6MB/s 00:58 ETA mysite.com.tar.gz 56% 1523MB 20.4MB/s 00:58 ETA mysite.com.tar.gz 56% 1544MB 20.5MB/s 00:56 ETA mysite.com.tar.gz 57% 1563MB 20.3MB/s 00:56 ETA mysite.com.tar.gz 58% 1583MB 20.3MB/s 00:55 ETA mysite.com.tar.gz 59% 1604MB 20.5MB/s 00:54 ETA mysite.com.tar.gz 59% 1625MB 20.4MB/s 00:53 ETA mysite.com.tar.gz 60% 1646MB 20.5MB/s 00:51 ETA mysite.com.tar.gz 61% 1667MB 20.6MB/s 00:50 ETA mysite.com.tar.gz 62% 1687MB 20.5MB/s 00:49 ETA mysite.com.tar.gz 62% 1703MB 20.0MB/s 00:50 ETA mysite.com.tar.gz 63% 1721MB 19.8MB/s 00:49 ETA mysite.com.tar.gz 64% 1740MB 19.7MB/s 00:49 ETA mysite.com.tar.gz 64% 1757MB 19.5MB/s 00:48 ETA mysite.com.tar.gz 65% 1777MB 19.6MB/s 00:47 ETA mysite.com.tar.gz 66% 1796MB 19.5MB/s 00:46 ETA mysite.com.tar.gz 67% 1816MB 19.6MB/s 00:45 ETA mysite.com.tar.gz 67% 1834MB 19.4MB/s 00:45 ETA mysite.com.tar.gz 68% 1854MB 19.4MB/s 00:44 ETA mysite.com.tar.gz 68% 1869MB 19.0MB/s 00:44 ETA mysite.com.tar.gz 69% 1890MB 19.2MB/s 00:42 ETA mysite.com.tar.gz 70% 1911MB 19.4MB/s 00:41 ETA mysite.com.tar.gz 71% 1929MB 19.3MB/s 00:40 ETA mysite.com.tar.gz 71% 1950MB 19.5MB/s 00:39 ETA mysite.com.tar.gz 72% 1971MB 19.6MB/s 00:37 ETA mysite.com.tar.gz 73% 1993MB 19.8MB/s 00:36 ETA mysite.com.tar.gz 74% 2013MB 19.9MB/s 00:35 ETA mysite.com.tar.gz 75% 2034MB 19.9MB/s 00:33 ETA mysite.com.tar.gz 75% 2054MB 20.0MB/s 00:32 ETA mysite.com.tar.gz 76% 2075MB 20.1MB/s 00:31 ETA mysite.com.tar.gz 77% 2097MB 20.2MB/s 00:30 ETA mysite.com.tar.gz 78% 2118MB 20.4MB/s 00:29 ETA mysite.com.tar.gz 78% 2140MB 20.5MB/s 00:27 ETA mysite.com.tar.gz 79% 2161MB 20.5MB/s 00:26 ETA mysite.com.tar.gz 80% 2182MB 20.6MB/s 00:25 ETA mysite.com.tar.gz 81% 2204MB 20.7MB/s 00:24 ETA mysite.com.tar.gz 82% 2225MB 20.8MB/s 00:23 ETA mysite.com.tar.gz 82% 2246MB 20.8MB/s 00:22 ETA mysite.com.tar.gz 83% 2268MB 20.9MB/s 00:21 ETA mysite.com.tar.gz 84% 2290MB 21.0MB/s 00:20 ETA mysite.com.tar.gz 85% 2310MB 20.9MB/s 00:19 ETA mysite.com.tar.gz 85% 2328MB 20.7MB/s 00:18 ETA mysite.com.tar.gz 86% 2348MB 20.6MB/s 00:17 ETA mysite.com.tar.gz 87% 2369MB 20.7MB/s 00:16 ETA mysite.com.tar.gz 88% 2391MB 20.7MB/s 00:15 ETA mysite.com.tar.gz 89% 2412MB 20.8MB/s 00:14 ETA mysite.com.tar.gz 89% 2433MB 20.8MB/s 00:13 ETA mysite.com.tar.gz 90% 2454MB 20.9MB/s 00:12 ETA mysite.com.tar.gz 91% 2475MB 20.8MB/s 00:11 ETA mysite.com.tar.gz 92% 2496MB 20.9MB/s 00:10 ETA mysite.com.tar.gz 92% 2517MB 20.9MB/s 00:09 ETA mysite.com.tar.gz 93% 2538MB 20.9MB/s 00:08 ETA mysite.com.tar.gz 94% 2557MB 20.7MB/s 00:07 ETA mysite.com.tar.gz 95% 2579MB 20.8MB/s 00:06 ETA mysite.com.tar.gz 95% 2600MB 20.9MB/s 00:05 ETA mysite.com.tar.gz 96% 2621MB 20.8MB/s 00:04 ETA mysite.com.tar.gz 97% 2642MB 20.8MB/s 00:03 ETA mysite.com.tar.gz 98% 2663MB 20.9MB/s 00:02 ETA mysite.com.tar.gz 99% 2684MB 20.9MB/s 00:01 ETA mysite.com.tar.gz 99% 2705MB 20.9MB/s 00:00 ETA mysite.com.tar.gz 100% 2710MB 20.2MB/s 02:14 scp: /jazz_bu/jazz_2015-08-05/mysite.com.tar.gz: No space left on device
.. completed in 9 minutes, 8 seconds
Backup failed! See the progress output above for the reason why.
Howdy,
Hmm, the error you're getting looks like it's being returned from the copy process. It's likely you did run out of space for some reason, the tricky part would be determining why :-)
On the destination server in the above example, can you run this command:
df -hThank you for helping.
The response I get is:
Filesystem Size Used Avail Use% Mounted on/dev/vda1 79G 20G 55G 27% /
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 409M 3.6G 11% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
Howdy,
Hmm, and how did the backup work last night? Did that work any better, or did you see a similar problem?
-Eric
Eric, I'm sorry for the slow reply here....
Kept getting errors until I realized the servers I thought were backing up to each other were actually backing up to my third, smaller server. I set the backup schedules up so long ago that I had forgotten what they were doing (but I thought I knew). Ugh, sorry about that. When I realized what was going on and checked that third server, that one was full.
Thank you for your help here. You are always providing such great help on the forum here. I help on a news publishers forum and people don't realize how much time and energy it takes out of you. I very much appreciate the help.
Looking at backup alternatives now... backup to Google Cloud storage rolled out in the pro version in Nov 2014. Any thoughts on when it might be available in the GPL?
Thanks again,
Chris
Howdy,
Hmm, it's hard to say when the other backup destinations will make it into Virtualmin GPL... there's also a Dropbox destination that has been added recently.
I'll offer that I doubt it'll make it into Virtualmin GPL this year.
However, you could always write a script to upload your backups to a destination for you.
For awhile, I was just using rsync on my personal servers to copy data to my backup server.
-Eric