Copia de seguridad y restauración en Linux con Duplicity

Duplicity realiza copias de seguridad de directorios produciendo volúmenes cifrados en formato tar y subiéndolos a un servidor de ficheros remoto o local. Como duplicity usa librsync, los archivos incrementales son eficientes en espacio y solo registran las partes de los ficheros que han cambiado desde la última copia de seguridad. Como duplicity usa GnuPG para cifrar y/o firmar estos archivos, estarán a salvo de espionaje y/o modificación por parte del servidor.

Instalación

Duplicity puede instalarse en Debian/Ubuntu simplemente con:

$ sudo apt-get install duplicity ncftp python-boto python-paramiko

Nota

Para evitar el aviso Import of duplicity.backends.giobackend Failed: No module named gio, necesita instalar el paquete python-gobject-2:

$ apt-get install python-gobject-2

Pero no está en los repositorios por defecto de CentOS/Red Hat, así que necesita instalarlo desde otra fuente. Este script le ayudará en el proceso de instalación:

#!/bin/bash

wget http://dl.fedoraproject.org/pub/epel/6/x86_64/duplicity-0.6.18-1.el6.x86_64.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/ncftp-3.2.4-1.el6.x86_64.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/librsync-0.9.7-15.el6.x86_64.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/python-GnuPGInterface-0.3.2-6.el6.noarch.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/python-boto-2.5.2-1.el6.noarch.rpm

rpm -Uvh duplicity-0.6.18-1.el6.x86_64.rpm ncftp-3.2.4-1.el6.x86_64.rpm librsync-0.9.7-15.el6.x86_64.rpm python-GnuPGInterface-0.3.2-6.el6.noarch.rpm python-boto-2.5.2-1.el6.noarch.rpm

Comandos básicos de línea de comandos

Para hacer una copia de seguridad, puede ejecutar:

$ duplicity --no-encryption /home/openkm file:///path/to/backup

Para verificarla:

$ duplicity --no-encryption verify file:///path/to/backup /home/openkm

Para listar los ficheros respaldados:

$ duplicity --no-encryption list-current-files file:///path/to/backup

Para restaurar un único fichero:

$ duplicity --no-encryption --file-to-restore tomcat-9.0.76/openkm.properties file:///path/to/backup RestoredBackup

Nota

La ruta del fichero a restaurar es relativa al directorio sobre el que se basa el conjunto de copia de seguridad. Así, en el comando anterior, tomcat-9.0.76/openkm.properties más el directorio sobre el que basamos nuestra copia (/home/openkm) equivale a /home/openkm/tomcat-9.0.76/openkm.properties

Preliminares

Estos scripts asumen los siguientes valores por defecto:

• El valor de $TOMCAT_HOME es “/home/openkm/tomcat-9.0.76”
• La base de datos de OpenKM se llama “okmdb”.
• La contraseña de la base de datos de OpenKM es “*secret*”.
• La ubicación del script de servicio de inicio y parada de OpenKM es “/etc/init.d/tomcat”

Script de ejemplo

Precaución

Como buena práctica, la copia de seguridad debería realizarla el usuario root.

Nota

El siguiente script realiza una copia de seguridad a USB, y la base de datos de la aplicación es MySQL.

El punto de montaje del disco USB puede definirse en /etc/fstab como:

/dev/sdb1    /mnt/backup    ext4    defaults    0    0

Estas son las secciones globales del script:

• Configuración de variables globales en la sección ## BEGIN CONFIG ##.
• Comprobación del usuario root en la sección # Check root.
• Eliminación de copias de seguridad antiguas de la base de datos en la sección # Delete older local database backup.
• Montar disco (sección opcional) en la sección # Mount disk.
• Detener la aplicación (sección opcional) en la sección # Stop tomcat.
• Limpiar logs (sección opcional) en la sección # Clean logs.
• Copia de seguridad de la base de datos al sistema de ficheros en la sección # Backup database.
• Copia de seguridad del repositorio y el volcado de la base de datos al destino en la sección # Backup and purge old backups.
• Iniciar la aplicación (sección opcional) en la sección # Start tomcat.
• Mostrar estadísticas (sección opcional) en la sección # Status.
• Desmontar disco (sección opcional) en la sección # Umount disk.

Explicación de los parámetros de configuración:

Parameter	Description
HOST	El nombre de host del servidor.
DATABASE_PASS	La contraseña de la base de datos. El usuario de base de datos usado para realizar la copia de seguridad siempre es el usuario root.
OPENKM_DB	El nombre de la base de datos de la aplicación. Normalmente se llama “okmdb”.
OPENKM_HOME	La carpeta home de OpenKM.
TOMCAT_HOME	La carpeta home de Tomcat. Normalmente dentro de la carpeta OPENKM_HOME.
DATABASE_EXP	La carpeta del volcado de la base de datos. Normalmente en el mismo servidor.
BACKUP_DIR	Destino de la copia de seguridad.

Cree un script de copia de seguridad /root/backup.sh

$ sudo su
$ vim /root/backup.sh

#!/bin/bash
#
## BEGIN CONFIG ##
HOST=$(uname -n)
DATABASE_PASS="*secret*"
OPENKM_DB="okmdb"
OPENKM_HOME="/home/openkm"
TOMCAT_HOME="$OPENKM_HOME/tomcat-9.0.76"
DATABASE_EXP="$OPENKM_HOME/db"
BACKUP_DIR="file:///mnt/backup"
## END CONFIG ##

# Check root user
if [ $(id -u) != 0 ]; then echo "You should run this script as root"; exit; fi

# Delete older local database backup
echo -e "### BEGIN: $(date +"%x %X") ###\n"
rm -rf $DATABASE_EXP
mkdir -p $DATABASE_EXP

# Mount disk
if mount | grep "$BACKUP_DIR type" > /dev/null; then
  echo "$BACKUP_DIR already mounted";
else
  mount "$BACKUP_DIR";
  if mount | grep "$BACKUP_DIR type" > /dev/null; then
    echo "$BACKUP_DIR mounted";
  else
    echo "$BACKUP_DIR error mounting";
    exit -1;
  fi
fi

# Stop Tomcat
/etc/init.d/tomcat stop

# Clean logs
#echo "Clean Tomcat temporal files."
#rm -rf $TOMCAT_HOME/logs/*
#rm -rf $TOMCAT_HOME/temp/*
#rm -rf $TOMCAT_HOME/work/Catalina/localhost

# Backup database
if [ -n "$DATABASE_PASS" ]; then
  echo "* Backuping MySQL data from $OPENKM_DB..."
  mysqldump -h localhost -u root -p$DATABASE_PASS $OPENKM_DB > $DATABASE_EXP/mysql_$OPENKM_DB.sql
  echo "-------------------------------------";
fi

# Backup and purge old backups
duplicity remove-older-than 1M --force $BACKUP_DIR/$HOST

if [ $(date +%u) -eq 7 ]; then
  echo "*** Full Backup ***"
  duplicity full --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
else
  echo "*** Incremental Backup ***"
  duplicity --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
fi

[ $RETVAL -eq 0 ] && echo "*** SUCCESS ***"
[ $RETVAL -ne 0 ] && echo "*** FAILURE ***"

# Start Tomcat
/etc/init.d/tomcat start
echo -e "\n### END: $(date +"%x %X") ###"

# Status
echo "=================================";
duplicity collection-status $BACKUP_DIR/$HOST
echo "*********************************";
df -h | grep "$BACKUP_DIR"
echo "=================================";

# Umount disk
sync
umount "$BACKUP_DIR"

Aumentar el periodo de retención de la copia de seguridad

Modifique la sección # Backup and purge old backups, aumentando el valor del parámetro:

Nota

El valor “1M” indica que se eliminarán las copias de seguridad de más de un mes de antigüedad. Cambiarlo a “3M” o “1Y” indica copias de más de 3 meses o 1 año, etc.

--remove-older-than 3M

Realizar la copia de seguridad remota

Modifique la sección ## Config section.

BACKUP_DIR="ftp://user@ftp.domain.es/backup"
export FTP_PASSWORD="WhateverPasswordYouSetUp"

Modifique la sección # Backup and purge old backups.

# Backup and purge old backups
duplicity remove-older-than 1M --force $BACKUP_DIR/$HOST

if [ $(date +%u) -eq 7 ]; then
  echo "*** Full Backup ***"
  duplicity full --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
else
  echo "*** Incremental Backup ***"
  duplicity --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
fi

[ $RETVAL -eq 0 ] && echo "*** SUCCESS ***"
[ $RETVAL -ne 0 ] && echo "*** FAILURE ***"

Modifique la sección # Status.

duplicity collection-status $BACKUP_DIR/$HOST
unset FTP_PASSWORD

Realizar la copia de seguridad remota a SMB o CIFS

Modifique la sección # Mount disk.

# Mount disk
if mount | grep "$BACKUP_DIR type" > /dev/null; then
  echo "$BACKUP_DIR already mounted";
else
  echo "Mounting $BACKUP_DIR ...";
  mount -t cifs //REMOTE_SERVER/REMOTE_DIR $BACKUP_DIR -o username=REMOTE_USER,password=REMOTE_PASSWORD,iocharset=utf8,file_mode=0777,dir_mode=0777
  if mount | grep "$BACKUP_DIR type" > /dev/null; then
    echo "$BACKUP_DIR mounted";
  else
    echo "Error mounting $BACKUP_DIR.";
    exit -1;
  fi
fi

Realizar la copia de seguridad de PostgreSQL

Modifique la sección # Backup database

# Backup de PostgreSQL
echo "* Backuping PostgreSQL data from $OPENKM_DB..."
su postgres -c "pg_dump $OPENKM_DB" > $DATABASE_EXP/pg_$OPENKM_DB.sql

# Databases optimizations
su postgres -c "vacuumdb -a -z" > /dev/null
su postgres -c "reindexdb -a -q" 2> /dev/null

Realizar la copia de seguridad remota a Amazon S3

Modifique la sección ## Config section.

BACKUP_DIR="s3+http://somebucket/somedirectory"
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_ACCESS_KEY=""
export PASSPHRASE=""

Modifique la sección # Backup and purge old backups.

# Backup and purge old backups
if [ $(date +%u) -eq 7 ]; then
  echo "*** Full Backup ***"
  duplicity full --no-encryption --s3-use-new-style $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
else
  echo "*** Incremental Backup ***"
  duplicity --no-encryption --s3-use-new-style $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
fi

[ $RETVAL -eq 0 ] && echo "*** SUCCESS ***"

Modifique la sección # Status.

# Status
duplicity collection-status --s3-use-new-style $BACKUP_DIR/$HOST
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY
unset PASSPHRASE

Configurar crontab

Para instalar la tarea cron, ejecute:

$ sudo mkdir /root/logs
$ sudo crontab -e

Añada estas líneas según su configuración personal:

MAILTO=nomail@openkm.com
@daily /root/backup.sh | tee /root/logs/backup.$(date +\%Y.\%m.\%d_\%H.\%M.\%S).log

Nota

Más información en Crontab quick reference

Si quiere recibir notificación por correo, debería instalar el servicio postfix en su servidor.

Resolución de problemas al eliminar copias de seguridad antiguas

Ha configurado Duplicity para hacer una copia de seguridad completa cada 7 días y eliminar las copias de más de 14 días de antigüedad para ahorrar espacio. ¿Qué ocurre si ve un mensaje como este?

Tue May  1 00:00:00 2012
Wed May  2 00:00:00 2012
Which can't be deleted because newer sets depend on them

Duplicity usa rsync, que registra los cambios incrementales. Esos ficheros no se eliminarán porque, aunque una copia de seguridad pueda tener más de 7 días, existen copias incrementales más recientes que 7 días.

Así, tras pasar dos semanas, esos ficheros se eliminarán, ya que la copia completa y las copias incrementales ya tienen 14 días, y existe una copia completa más reciente que esas copias.

Restaurar una copia de seguridad

Puede listar las copias de seguridad disponibles:

$ duplicity collection-status /path/to/backup
Sun Sep 11 05:00:19 2012         4.25 GB           4.25 GB   (current mirror)
Sun Sep  4 00:00:18 2012         13.3 MB           4.26 GB
Sun Aug 28 00:00:13 2012          674 MB           4.92 GB
Sun Aug 21 00:00:14 2012         5.50 MB           4.93 GB
Sun Aug 14 00:00:16 2012         1.75 MB           4.93 GB
Sun Aug  7 00:00:12 2012          288 KB           4.93 GB
Sun Jul 31 00:00:13 2012         43.0 KB           4.93 GB
Fri Jul 29 10:36:39 2012         5.56 KB           4.93 GB

Después decida restaurar una de las copias de seguridad, por ejemplo la realizada el Sun Aug 28 00:00:13 2012:

$ duplicity restore --restore-time 2012-08-28 /path/to/backup /path/to/destination

Nota

El parámetro --restore-time acepta varios formatos. Vea la documentación de duplicity y Duplicity Backup Howto para más información.

Nota

Dentro de /path/to/destination, debería ver un directorio /home/openkm, y dentro de él un par de directorios:

• db: La copia de seguridad de la base de datos.
• tomcat-9.0.76: La copia de seguridad de la instalación de Tomcat y el repositorio de OpenKM.

Información adicional

• Using Duplicity to Backup Your Data
• Ubuntu/Debian - Encrypted Incremental Backups With Duplicity on Amazon S3
• Duplicity Backup Howto
• Duplicity URL Format
• Installation and configuration of duplicity for encrypted SFTP remote backup
• Playing with Duplicity backup and restore tool and Amazon S3
• Bash wrapper script for automated backups with duplicity