Как использовать Duplicity с GPG для резервного копирования данных в пространства DigitalOcean

Duplicity - это утилита командной строки, написанная на Python, которая создает зашифрованные тома tar для хранения в локальном или удаленном репозитории. Он используетGNU Privacy Guard (GPG) для шифрования и подписи своих архивов и алгоритм rsync для создания инкрементных резервных копий с эффективным использованием пространства. Резервные копии могут передаваться в различные хранилища, включая локальное хранилище файлов, серверы SFTP или FTP и хранилища объектов, совместимые с S3.

В этом руководстве мы установим Duplicity и расскажем, как выполнить резервное копирование данных проекта в DigitalOcean Spaces, S3-совместимую службу хранения объектов. Для этого мы создадим репозиторий Spaces и расскажем, как вручную создавать резервные копии данных. Наконец, мы автоматизируем этот процесс, создав сценарий, который будет настраивать пошаговое и еженедельное расписание полного резервного копирования.

Для этого урока вам понадобятся:

После того, как вы настроили Space и получили эту информацию, вы можете перейти к установке Duplicity.

Чтобы получить последнюю версию Duplicity, мы можем установить ее изDuplicity releases Personal Package Archive (PPA):

Мы также установим пакетpython-boto, чтобы получить доступ кBoto, пакету Python, который предоставляет интерфейсы для Amazon Web Services. Это поможет нам воспользоваться преимуществами взаимодействия Spaces с AWS S3 API. Мы установимpython-boto из официальных репозиториев Ubuntu, поскольку эта версия совместима с версией Python, которая поставляется с нашим образом сервера Ubuntu. Если вы предпочитаете использоватьBoto3, вы можете установить его из исходного кода, хотя совместимость функций с Python 3.3+ все еще находится в стадии разработки.

В дополнение кpython-boto мы также установимHaveged, инструмент, который поможет нам сгенерироватьentropy, необходимые для создания наших ключей GPG. Чтобы создать эти ключи, GPG опирается на уровень энтропии или непредсказуемости в нашей системе. Установкаhaveged поможет нам ускорить процесс создания ключа.

Перед установкой этих пакетов обновите индекс локального репозитория:

Затем установитеduplicity,python-boto иhaveged, набрав:

Когда будет предложено подтвердить установку, нажмитеy. Теперь в нашей системе установлен Duplicity, и мы готовы создавать папки проекта и файлы конфигурации.

Чтобы продемонстрировать, как работает процесс резервного копирования, мы создадим каталог для наших резервных копий в домашнем каталоге нашего пользователя без полномочий root вместе с некоторыми примерами данных. Назовем наш каталогsammy_backups:

Затем создайте образец файла проекта с именемhistorical_sharks.txt:

С нашим каталогом резервных копий и тестовыми данными мы готовы сгенерировать ключ GPG для нашего пользователя без полномочий root.

Далее мы сгенерируем пару ключей GPG для нашего пользователя. Для обеспечения безопасной передачи информации, GPG использует шифрование с открытым ключом. В нашем контексте это означает, что данные будут зашифрованы в наш открытый ключ и отправлены в наш репозиторий. Дополнительные сведения о ключах GPG и шифровании см. В нашем руководстве поHow To Use GPG to Sign and Encrypt Messages.

Наши связки ключей будут храниться в нашей учетной записи пользователя в каталоге под названием~/.gnupg, который будет создан, когда мы сгенерируем ключи. Когда мы используем командуduplicity, мы указываем идентификатор открытого ключа, который указывает на нашу пару ключей. Использование этого идентификатора обеспечивает шифрование данных и подпись, которая подтверждает наше право собственности на закрытый ключ. Зашифрованные данные будут переданы в наш репозиторий, где будет сложно определить намного больше, чем размер файла и время загрузки из самих файлов. Это защищает ваши данные, которые наш пользователь может восстановить полностью в любое время с помощью закрытого ключа.

GPG должен быть установлен на нашем сервере по умолчанию. Чтобы проверить это, введите:

Убедившись, что GPG установлен, вы можете сгенерировать пару ключей следующим образом:

Вам будет задан ряд вопросов для настройки ключей:

После того, как вы создали эти настройки,gpg сгенерирует ключи в зависимости от уровня энтропии в системе. Поскольку мы установилиhaveged, наши ключи должны быть сгенерированы очень быстро или сразу. Вы увидите вывод, который включает в себя следующее:

Обратите внимание наyour-GPG-public-key-id, поскольку мы будем использовать его в следующем разделе для настройки наших локальных переменных среды.

Теперь мы установим переменные среды, поэтому нам не нужно вводить конфиденциальную информацию в командной строке при выполнении командыduplicity. Эти переменные будут доступны нашему пользователю во время нашего текущего сеанса, и мы будем хранить их в скрытом каталоге, чтобы они были доступны для дальнейшего использования. Переменные, которые потребуютсяduplicity, которые мы определим как переменные среды, включают наши ключ доступа к пространствам и секрет, а также идентификатор открытого ключа GPG и кодовую фразу.

Для начала давайте создадим скрытый каталог в домашнем каталоге нашего пользователя, в котором будет храниться файл конфигурации:

Затем давайте создадим файл с именем.env_variables.conf для определения наших переменных, что мы будем делать с помощью операторовexport. Эти операторы сделают переменные доступными для программ для последующего использования. Откройте файл, набрав:

В файле задайте свой ключ доступа к Spaces и секретный ключ, а также идентификатор открытого ключа GPG и фразу-пароль:

~/.duplicity/.env_variables.conf

Сохраните и закройте файл, когда вы закончите.

Теперь мы можем установить разрешения для файла, чтобы гарантировать, что только наш текущий пользователь без полномочий root имеет права на чтение и запись:

Сделайте эти переменные доступными для использования в текущей сессии Bash, набрав:

Затем мы запустимduplicity, чтобы вручную создать полную резервную копию нашего каталога~/sammy_backups. Запускduplicity без действияfull создаст начальную полную резервную копию, за которой последуют инкрементные резервные копии. Мы создадим полную резервную копию при первом использовании команды, но если вы захотите создать еще одну полную резервную копию этого каталога вручную, вам нужно будет указать действиеfull.

Другие параметры, которые мы определим в нашей команде:

Наконец, мы укажем каталог, для которого выполняем резервное копирование, и нашу конечную точку хранилища. Мы создадим резервную копию каталога~/sammy_backups в домашнем каталоге нашего пользователя. Нашим репозиторием будет наше пространство, которое мы определим, используя следующую информацию:s3://spaces_endpoint/bucket_name/. Вы можете определить свою конечную точку и имя сегмента следующим образом: если URL-адрес вашего пространстваhttps://sammys-bucket.nyc3.digitaloceanspaces.com, тоsammys-bucket - это имя вашего сегмента, аnyc3.digitaloceanspaces.com - ваша конечная точка.

Наша командаduplicity в конечном итоге будет выглядеть так:

После выполнения этой команды мы увидим вывод, подобный следующему:

Чтобы проверить, правильно ли загружены файлы в ваше пространство, вы можете перейти к своемуSpaces page in the DigitalOcean control panel, чтобы убедиться, что они там есть.

Чтобы проверить, что мы можем восстановить наши данные, мы теперь удалим наш пример файла и восстановим его из нашего хранилища. Чтобы восстановить файлы с Duplicity, мы можем использовать опцию--file-to-restore. Также необходимо изменить порядок элементов в нашей командеduplicity: теперь URL-адрес нашего репозитория будет выступать в качестве источника, а каталог резервных копий будет местом назначения для нашего восстановленного файла.

Удалите файл, набрав:

Убедитесь, что файл был удален:

Вы должны увидеть следующий вывод:

Далее, давайте восстановим этот файл из нашего пространства. Параметр--file-to-restore позволяет нам указать путь к файлу, который мы хотим восстановить. Этот путь должен быть относительно каталога, для которого мы создали резервную копию; в нашем случае наш относительный путь будетhistorical_sharks.txt. Мы также изменим порядок нашего космического URL-адреса и резервного каталога, чтобы указать, что мы восстанавливаем файл из нашего репозитория:

Вы увидите вывод, подобный следующему:

Повторный запускcat выведет содержимое восстановленного файлаhistorical_sharks.txt:

Теперь, когда мы создали резервную копию каталога~/sammy_backups и восстановили данные из нашего репозитория, мы готовы перейти к автоматизации процесса резервного копирования.

Автоматизация процесса резервного копирования может помочь гарантировать, что данные в нашем каталоге~/sammy_backups останутся доступными для восстановления и актуальными. Мы можем использовать планировщик заданийcron для создания расписания резервного копирования, которое будет включать полное резервное копирование каждую неделю и инкрементное резервное копирование в противном случае. Чтобы узнать больше об использованииcron для планирования задач, ознакомьтесь с нашим руководством поHow To Schedule Routine Tasks With Cron and Anacron on a VPS.

Во-первых, давайте создадим сценарий резервного копирования в нашем каталоге~/.duplicity:

В этом файле мы сначала укажем, что этот скрипт будет запускаться оболочкой Bash:

~/.duplicity/.backup.sh

Затем мы создадим переменнуюHOME для использования с нашими командамиsource иduplicity. Обязательно замените выделенное имя пользователя, каталог резервного копирования и имя корзины на вашу информацию:

~/.duplicity/.backup.sh

Командыsource иduplicity здесь выполняют ту же работу, что и при создании резервной копии вручную:source загружает переменные среды в текущий контекст, аduplicity создает зашифрованные тома tar для отправки в наш репозиторий. Все наши варианты остаются прежними, за исключением добавления опции--full-if-older-than. Установленный на7D, этот параметр указывает, что полное резервное копирование будет происходить каждую неделю, если последняя полная резервная копия старше семи дней.

Последними элементами в нашем скрипте будут командыunset, которые удалят переменные среды в качестве меры безопасности:

~/.duplicity/.backup.sh

Полный скрипт будет выглядеть так:

~/.duplicity/.backup.sh

Когда вы удовлетворены сценарием, вы можете сохранить и закрыть файл. Мы также установим разрешения, чтобы гарантировать, что только наш текущий пользователь, не являющийся пользователем sudo, сможет читать, записывать и выполнять файл:

Наконец, мы можем автоматизировать расписание резервного копирования, отредактировав файлcrontab нашего пользователя. Откройте этот файл для редактирования, набрав:

Поскольку мы впервые редактируем этот файл, нас попросят выбрать редактор:

кронтаб

Вы можете выбрать2 для nano или ввести номер, соответствующий редактору по вашему выбору.

В нижней части файла мы добавим строку, чтобы указать, как часто должен запускаться наш скрипт. Чтобы проверить его функциональность, мы можем установить наш временной интервал в две минуты следующим образом:

кронтаб

Сохраните и закройте файл. Через две минуты вы можете перейти к своемуSpaces page in the DigitalOcean control panel, где вы должны увидеть файлы инкрементных резервных копий. Теперь вы можете изменить файлcrontab, указав интервал времени, который вы хотите использовать для инкрементных резервных копий.

В этом уроке мы рассмотрели, как выполнить резервное копирование содержимого определенного каталога в репозиторий Spaces. Используя файл конфигурации для хранения информации о нашем хранилище, мы создали ручное резервное копирование наших данных, которое мы проверили, восстановив образец файла, и автоматическое расписание резервного копирования.

Для получения дополнительной информации о Duplicity вы можете проверитьproject website, а такжеduplicity man page. Эта документация охватывает многие функции Duplicity и предлагает руководство по созданию полных резервных копий системы.