Copia de seguridad y restauración en Linux con Duplicity

Duplicity realiza copias de seguridad de directorios generando volúmenes cifrados en formato tar y subiéndolos a un servidor de ficheros remoto o local. Dado que duplicity utiliza librsync, los archivos incrementales son eficientes en el uso del espacio y solo registran las partes de los ficheros que han cambiado desde la última copia de seguridad. Dado que duplicity utiliza GnuPG para cifrar y/o firmar estos archivos, estarán protegidos frente al espionaje y/o la modificación por parte del servidor.

Instalación

Duplicity se puede instalar en Debian / Ubuntu de forma tan sencilla como:

$ sudo apt-get install duplicity ncftp python-boto python-paramiko

Nota

Para evitar la advertencia Import of duplicity.backends.giobackend Failed: No module named gio, es necesario instalar el paquete python-gobject-2:

$ apt-get install python-gobject-2

Sin embargo, no se encuentra en los repositorios predeterminados de CentOS / RedHat, por lo que es necesario instalarlo desde otra fuente. Este script le ayudará en el proceso de instalación:

#!/bin/bash

wget http://dl.fedoraproject.org/pub/epel/6/x86_64/duplicity-0.6.18-1.el6.x86_64.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/ncftp-3.2.4-1.el6.x86_64.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/librsync-0.9.7-15.el6.x86_64.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/python-GnuPGInterface-0.3.2-6.el6.noarch.rpm
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/python-boto-2.5.2-1.el6.noarch.rpm

rpm -Uvh duplicity-0.6.18-1.el6.x86_64.rpm ncftp-3.2.4-1.el6.x86_64.rpm librsync-0.9.7-15.el6.x86_64.rpm python-GnuPGInterface-0.3.2-6.el6.noarch.rpm python-boto-2.5.2-1.el6.noarch.rpm

Comandos básicos de línea de comandos

Para realizar una copia de seguridad, puede ejecutar:

$ duplicity --no-encryption /home/openkm file:///path/to/backup

Para verificarla:

$ duplicity --no-encryption verify file:///path/to/backup /home/openkm

Para listar los ficheros incluidos en la copia de seguridad:

$ duplicity --no-encryption list-current-files file:///path/to/backup

Para restaurar un único fichero:

$ duplicity --no-encryption --file-to-restore tomcat-8.5.69/openkm.properties file:///path/to/backup RestoredBackup

Nota

La ruta del fichero que se desea restaurar es relativa al directorio en el que se basa el conjunto de copia de seguridad. Así, en el comando anterior, tomcat-8.5.69/openkm.properties más el directorio en el que basamos nuestra copia de seguridad (/home/openkm) es igual a /home/openkm/tomcat-8.5.69/openkm.properties

Preliminares

En estos scripts se asumen los siguientes valores predeterminados:

• El valor de $TOMCAT_HOME es “/home/openkm/tomcat-8.5.69”
• La base de datos de OpenKM se llama “okmdb”.
• El valor de la contraseña de la base de datos de OpenKM es “*secret*”.
• La ubicación del script de servicio de arranque y parada de OpenKM es “/etc/init.d/tomcat”

Script de ejemplo

Precaución

Como buena práctica, la copia de seguridad debe realizarla el usuario root.

Nota

El script siguiente realiza la copia de seguridad en una unidad USB y la base de datos de la aplicación es MySQL.

El punto de montaje del disco USB se puede definir en /etc/fstab de la siguiente forma:

/dev/sdb1    /mnt/backup    ext4    defaults    0    0

Estas son las secciones globales del script:

• Configuración de variables globales en la sección ## BEGIN CONFIG ##.
• Comprobación del usuario root en la sección # Check root.
• Eliminación de la copia de seguridad anterior de la base de datos en la sección # Delete older local database backup.
• Montaje del disco (sección opcional) en la sección # Mount disk.
• Parada de la aplicación (sección opcional) en la sección # Stop tomcat.
• Limpieza de registros (sección opcional) en la sección # Clean logs.
• Copia de seguridad de la base de datos en el sistema de ficheros en la sección #Backup database.
• Copia de seguridad del repositorio y del volcado de la base de datos en el destino de la copia de seguridad en la sección #Backup and purge old backups.
• Arranque de la aplicación (sección opcional) en la sección # Start tomcat.
• Visualización de estadísticas (sección opcional) en la sección # Status.
• Desmontaje del disco (sección opcional) en la sección # Umount disk.

Explicación de los parámetros de configuración:

Parámetro	Descripción
HOST	El nombre de host del servidor.
DATABASE_PASS	La contraseña de la base de datos. El usuario de la base de datos que realiza la copia de seguridad es siempre el usuario root.
OPENKM_DB	El nombre de la base de datos de la aplicación. Normalmente se llama “okmdb”.
OPENKM_HOME	La carpeta de inicio de OpenKM.
TOMCAT_HOME	La carpeta de inicio de Tomcat. Normalmente se encuentra dentro de la carpeta OPENKM_HOME.
DATABASE_EXP	La carpeta del volcado de la base de datos. Normalmente en el mismo servidor.
BACKUP_DIR	Destino de la copia de seguridad.

Cree un script de copia de seguridad /root/backup.sh

$ sudo su
$ vim /root/backup.sh

#!/bin/bash
#
## BEGIN CONFIG ##
HOST=$(uname -n)
DATABASE_PASS="*secret*"
OPENKM_DB="okmdb"
OPENKM_HOME="/home/openkm"
TOMCAT_HOME="$OPENKM_HOME/tomcat-8.5.69"
DATABASE_EXP="$OPENKM_HOME/db"
BACKUP_DIR="file:///mnt/backup"
## END CONFIG ##

# Check root user
if [ $(id -u) != 0 ]; then echo "You should run this script as root"; exit; fi

# Delete older local database backup
echo -e "### BEGIN: $(date +"%x %X") ###\n"
rm -rf $DATABASE_EXP
mkdir -p $DATABASE_EXP

# Mount disk
if mount | grep "$BACKUP_DIR type" > /dev/null; then
  echo "$BACKUP_DIR already mounted";
else
  mount "$BACKUP_DIR";
  if mount | grep "$BACKUP_DIR type" > /dev/null; then
    echo "$BACKUP_DIR mounted";
  else
    echo "$BACKUP_DIR error mounting";
    exit -1;
  fi
fi

# Stop Tomcat
/etc/init.d/tomcat stop

# Clean logs
#echo "Clean Tomcat temporal files."
#rm -rf $TOMCAT_HOME/logs/*
#rm -rf $TOMCAT_HOME/temp/*
#rm -rf $TOMCAT_HOME/work/Catalina/localhost

# Backup database
if [ -n "$DATABASE_PASS" ]; then
  echo "* Backuping MySQL data from $OPENKM_DB..."
  mysqldump -h localhost -u root -p$DATABASE_PASS $OPENKM_DB > $DATABASE_EXP/mysql_$OPENKM_DB.sql
  echo "-------------------------------------";
fi

# Backup and purge old backups
duplicity remove-older-than 1M --force $BACKUP_DIR/$HOST

if [ $(date +%u) -eq 7 ]; then
  echo "*** Full Backup ***"
  duplicity full --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
else
  echo "*** Incremental Backup ***"
  duplicity --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
fi

[ $RETVAL -eq 0 ] && echo "*** SUCCESS ***"
[ $RETVAL -ne 0 ] && echo "*** FAILURE ***"

# Start Tomcat
/etc/init.d/tomcat start
echo -e "\n### END: $(date +"%x %X") ###"

# Status
echo "=================================";
duplicity collection-status $BACKUP_DIR/$HOST
echo "*********************************";
df -h | grep "$BACKUP_DIR"
echo "=================================";

# Umount disk
sync
umount "$BACKUP_DIR"

Aumentar el periodo de retención de la copia de seguridad

Modifique la sección # Backup and purge old backups aumentando el valor del parámetro:

Nota

El valor “1M” indica que se eliminarán las copias de seguridad con más de un mes de antigüedad. Cambiarlo a “3M” o “1Y” indica copias de seguridad con más de 3 meses o 1 año de antigüedad, etc.

--remove-older-than 3M

Realizar la copia de seguridad remota

Modifique la ## Config section.

BACKUP_DIR="ftp://user@ftp.domain.es/backup"
export FTP_PASSWORD="WhateverPasswordYouSetUp"

Modifique la sección # Backup and purge old backups.

# Backup and purge old backups
duplicity remove-older-than 1M --force $BACKUP_DIR/$HOST

if [ $(date +%u) -eq 7 ]; then
  echo "*** Full Backup ***"
  duplicity full --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
else
  echo "*** Incremental Backup ***"
  duplicity --no-encryption $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
fi

[ $RETVAL -eq 0 ] && echo "*** SUCCESS ***"
[ $RETVAL -ne 0 ] && echo "*** FAILURE ***"

Modifique la sección # Status.

duplicity collection-status $BACKUP_DIR/$HOST
unset FTP_PASSWORD

Realizar la copia de seguridad remota a SMB o CIFS

Modifique la sección # Mount disk.

# Mount disk
if mount | grep "$BACKUP_DIR type" > /dev/null; then
  echo "$BACKUP_DIR already mounted";
else
  echo "Mounting $BACKUP_DIR ...";
  mount -t cifs //REMOTE_SERVER/REMOTE_DIR $BACKUP_DIR -o username=REMOTE_USER,password=REMOTE_PASSWORD,iocharset=utf8,file_mode=0777,dir_mode=0777
  if mount | grep "$BACKUP_DIR type" > /dev/null; then
    echo "$BACKUP_DIR mounted";
  else
    echo "Error mounting $BACKUP_DIR.";
    exit -1;
  fi
fi

Realizar la copia de seguridad de PostgreSQL

Modifique la sección # Backup database.

# Backup de PostgreSQL
echo "* Backuping PostgreSQL data from $OPENKM_DB..."
su postgres -c "pg_dump $OPENKM_DB" > $DATABASE_EXP/pg_$OPENKM_DB.sql

# Databases optimizations
su postgres -c "vacuumdb -a -z" > /dev/null
su postgres -c "reindexdb -a -q" 2> /dev/null

Realizar la copia de seguridad remota a Amazon S3

Modifique la ## Config section.

BACKUP_DIR="s3+http://somebucket/somedirectory"
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_ACCESS_KEY=""
export PASSPHRASE=""

Modifique la sección # Backup and purge old backups.

# Backup and purge old backups
if [ $(date +%u) -eq 7 ]; then
  echo "*** Full Backup ***"
  duplicity full --no-encryption --s3-use-new-style $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
else
  echo "*** Incremental Backup ***"
  duplicity --no-encryption --s3-use-new-style $OPENKM_HOME $BACKUP_DIR/$HOST
  RETVAL=$?
fi

[ $RETVAL -eq 0 ] && echo "*** SUCCESS ***"

Modifique la sección # Status.

# Status
duplicity collection-status --s3-use-new-style $BACKUP_DIR/$HOST
unset AWS_ACCESS_KEY_ID
unset AWS_SECRET_ACCESS_KEY
unset PASSPHRASE

Configurar crontab

Para instalar la tarea de cron, ejecute:

$ sudo mkdir /root/logs
$ sudo crontab -e

Añada estas líneas de acuerdo con su configuración personal:

MAILTO=nomail@openkm.com
@daily /root/backup.sh | tee /root/logs/backup.$(date +\%Y.\%m.\%d_\%H.\%M.\%S).log

Nota

Más información en Crontab quick reference

Si desea recibir notificaciones por correo electrónico, debe instalar el servicio “postfix” en su servidor.

Resolución de problemas al eliminar copias de seguridad antiguas

Ha configurado Duplicity para realizar una copia de seguridad completa cada 7 días y eliminar las copias de seguridad con más de 14 días para ahorrar espacio. ¿Qué ocurre si ve un mensaje como este?

Tue May  1 00:00:00 2012
Wed May  2 00:00:00 2012
Which can't be deleted because newer sets depend on them

Duplicity utiliza rsync, que almacena los cambios incrementales. Esos ficheros no se eliminarán porque, aunque la copia de seguridad tenga más de 7 días, existen copias de seguridad incrementales con menos de 7 días.

Por tanto, una vez transcurridas dos semanas, esos ficheros se eliminarán, ya que la copia de seguridad completa y las incrementales tendrán 14 días, y existirá una copia de seguridad completa más reciente que la completa y las incrementales.

Restaurar una copia de seguridad

Puede listar las copias de seguridad disponibles:

$ duplicity collection-status /path/to/backup
Sun Sep 11 05:00:19 2012         4.25 GB           4.25 GB   (current mirror)
Sun Sep  4 00:00:18 2012         13.3 MB           4.26 GB
Sun Aug 28 00:00:13 2012          674 MB           4.92 GB
Sun Aug 21 00:00:14 2012         5.50 MB           4.93 GB
Sun Aug 14 00:00:16 2012         1.75 MB           4.93 GB
Sun Aug  7 00:00:12 2012          288 KB           4.93 GB
Sun Jul 31 00:00:13 2012         43.0 KB           4.93 GB
Fri Jul 29 10:36:39 2012         5.56 KB           4.93 GB

A continuación, decida restaurar una de las copias de seguridad, por ejemplo la realizada el Sun Aug 28 00:00:13 2012:

$ duplicity restore --restore-time 2012-08-28 /path/to/backup /path/to/destination

Nota

El parámetro --restore-time admite varios formatos. Consulte la documentación de duplicity y Duplicity Backup Howto para obtener más información.

Nota

Dentro de /path/to/destination debería ver un directorio /home/openkm y, dentro de este, un par de directorios:

• db: La copia de seguridad de la base de datos.
• tomcat-8.5.69: La copia de seguridad de la instalación de Tomcat y del repositorio de OpenKM.

Información adicional

• Using Duplicity to Backup Your Data
• Ubuntu/Debian - Encrypted Incremental Backups With Duplicity on Amazon S3
• Duplicity Backup Howto
• Duplicity URL Format
• Installation and configuration of duplicity for encrypted SFTP remote backup
• Playing with Duplicity backup and restore tool and Amazon S3
• Bash wrapper script for automated backups with duplicity