Как сделать резервную копию больших каталогов с помощью Unison в Ubuntu 16.04

Unison - это инструмент для синхронизации файлов с открытым исходным кодом. Он очень эффективен при резервном копировании больших массивов данных, в которых было добавлено или обновлено всего несколько файлов. Такая ситуация возникает, например, на корпоративном файловом сервереSamba или на почтовом сервере.

Большинство файлов на этих серверах останутся прежними, в то время как небольшое количество будет добавляться или изменяться каждый день. Unison может обнаруживать и создавать резервные копии этих новых файлов очень быстро, даже когда существуют миллионы файлов и терабайт данных. В таких ситуациях традиционным инструментам, таким какrsync, может потребоваться больше времени для выполнения той же операции резервного копирования.

В этом руководстве вы будете устанавливать и настраивать Unison на паре серверов и использовать его для резервного копирования каталога. Вы также сконфигурируете Unison для использования SSH в качестве безопасного протокола связи и создадитеcron job для периодического запуска Unison.

Прежде чем начать это руководство, вам потребуется следующее:

В этом руководстве будут использоваться два сервера:

[[step-1 -—- Creating-additional-non-root-users]] == Шаг 1. Создание дополнительных пользователей без полномочий root

УчебникInitial Server Setup with Ubuntu 16.04 провел вас через создание пользователя sudo без полномочий root с именемsammy на сервереprimary иbackup. На этом шаге вы создадите двух новых пользователей: одного на сервереprimary и одного на сервереbackup. Это предотвращает путаницу при работе с руководством, и на сервереbackup требуется альтернативный пользователь sudo без полномочий root, если конфигурация безопасности SSH включена в конце руководства.

Вам нужно будет войти как на серверprimary, так и на серверbackup как пользовательsammy через SSH в двух окнах терминала. Следующие две команды SSH зарегистрируют вас на этих серверах:

Сначала на сервереprimary создайте нового пользователя с именемprimary_user с помощью этой команды:

Затем дайте им права доступаsudo:

Наконец, перейдите на учетную записьprimary_user:

Затем выполните те же действия на сервереbackup, но создайте нового пользователя с именемbackup_user. Убедитесь, что вы вошли на серверыprimary иbackup как эти пользователи до конца руководства.

Теперь, когда вы создали необходимых пользователей на обоих серверах, вы можете перейти к установке программного обеспечения Unison.

[[step-2 -—- install-unison-on-both-servers]] == Шаг 2 - Установка Unison на оба сервера

На этом этапе вы установите пакет Unison на обоих серверах.

Вы будете использовать менеджер пакетов Ubuntuapt для установки Unison на обоих серверах. При использованииapt впервые за некоторое время вам следует обновить локальный индекс пакета с помощью следующей команды:

Это гарантирует, что вы установите последнюю версию Unison. Это также поможет избежать ошибок при установке.

Далее установите Unison:

Вы завершили установку Unison. На следующем шаге вы настроите SSH, чтобы Unison мог обмениваться данными между двумя серверами.

[[step-3 -—- created-ssh-keys-and-configuring-ssh]] == Шаг 3. Создание ключей SSH и настройка SSH

Первое, что вам нужно сделать, это создать пару ключей SSH на сервереprimary, поскольку вы будете использовать аутентификацию на основе ключей для SSH-соединения. Преимущество аутентификации на основе ключей заключается в том, что безопасное соединение возможно без ввода пароля. Это важно, потому что вы создадите автоматизированную процедуру резервного копирования, которая должна выполняться без ввода пароля каждый раз, когда это происходит.

Когда у вас есть эта пара ключей на сервереprimary, вы скопируете открытый ключ на серверbackup, а затем протестируете, может ли Unison обмениваться данными между серверами с помощью SSH.

Когда вы создаете пару ключей SSH, вы обычно используете надежный пароль. Однако Unison будет работать автоматически, поэтому пароль нельзя вводить вручную при каждом запуске. Нажмите клавишуENTER, не вводя пароль. Это создаст пару паролей SSH без пароля.

Выполните следующую команду из домашнего каталогаprimary_user на сервереprimary, чтобы сгенерировать пару ключей SSH:

Используемые здесь параметры означают следующее:

Показанная выше команда создает открытые и закрытые ключи SSH в следующих двух файлах:

Первый - это закрытый ключ SSH, а второй - открытый ключ. Вам необходимо скопировать содержимое файла открытого ключа на серверbackup. Самый простой способ отобразить содержимое файла открытого ключа для копирования - использовать командуcat для вывода содержимого на терминал:

На сервереbackup в домашнем каталогеbackup_user откройте файл.ssh/authorized_keys в текстовом редакторе. Здесь вы будете использоватьnano:

Вставьте открытый ключ в редактор, затем сохраните и выйдите.

Теперь вы можете проверить, что конфигурация SSH работает, войдя вbackup с сервераprimary через SSH. Это важно, потому что вам нужно будет принять и сохранить отпечаток ключа SSH-сервера для сервераbackup, иначе Unison не будет работать. В вашем терминале на сервереprimary выполните следующую команду из домашнего каталогаprimary_user:

Параметр-i .ssh/unison-primary указывает SSH использовать определенный ключ или файл идентификации. Здесь вы будете использовать созданный вами новый ключunison-primary.

Примите отпечаток пальца, нажавY, а затемENTER, и войдите в систему и выйдите из нее. Вам просто нужно было подтвердить, что SSH работает между серверами, и сохранить отпечаток SSH сервераbackup. Отпечаток пальца может быть сохранен только вручную, поэтому это необходимо сделать до того, как процесс будет автоматизирован позже в руководстве.

Затем убедитесь, что Unison подключится, выполнив следующую команду из домашнего каталогаprimary_user на сервереprimary:

В этой команде вы использовали ту же команду SSH, которую использовали для проверки соединения, добавив в конце команду Unison. Когда команда помещается в конце соединения SSH, SSH войдет в систему, выполнит команду и затем выйдет. Командаunison -version указывает Unison напечатать номер своей версии.

Если все работает, вы увидите ответ, показывающий версию Unison на сервереbackup:

Теперь, когда вы подтвердили, что Unison может связываться между серверами с помощью ключей SSH, вы готовы перейти к настройке Unison.

[[step-4 -—- configuring-unison]] == Шаг 4 - Настройка Unison

На этом шаге вы настроите Unison для выполнения простого одностороннего резервного копирования каталога с сервераprimary на серверbackup.

Чтобы настроить Unison, вам сначала нужно создать каталог конфигурации в домашнем каталогеprimary_user на сервереprimary:

Затем вам нужно открыть новый файл с именемdefault.prf в текстовом редакторе в каталоге.unison. Этот файл содержит конфигурацию Unison. Откройте файл с помощью следующей команды:

Затем введите следующее:

default.prf

Эти две строки означают следующее:

Если каталог, содержащий данные, которые вы хотите скопировать, не находится в домашнем каталогеprimary_user, то вы должны убедиться, что он доступен для чтения и записиprimary_user. Если вы не знакомы с правами собственности и разрешениями Linux, ознакомьтесь с руководствомIntroduction to Linux Permissions, чтобы узнать больше.

Unison теперь настроен, поэтому вы можете перейти к его тестированию, создав резервную копию каталога.

[[step-5 -—- backing-up-a-directory-with-unison]] == Шаг 5 - Резервное копирование каталога с помощью Unison

Теперь вы готовы сделать резервную копию каталога, когда настроен Unison. Вы создадите резервную копию каталога/home/primary_user/data на сервереprimary в каталоге/home/backup_user/data/ на сервереbackup. Каталог, содержащий данные для резервного копированияmust, будет тем же каталогом, который вы поместили в.unison/default.prf рядом с параметромforce.

Вам понадобятся некоторые данные для резервного копирования, чтобы проверить работоспособность Unison. Создайте несколько пустых файлов на сервереprimary, а затем проверьте, передал ли их Unison на серверbackup.

Сначала создайте каталог, в котором будут храниться данные для резервного копирования, выполнив следующую команду из домашнего каталогаprimary_user:

Затем используйте командуtouch, чтобы создать пять пустых файлов:

Последняя часть команды,file{1..5}, использует расширение скобок Bash для создания пяти файлов. Когда bash задан{1..5}, он автоматически подставляет недостающие числа:2,3 и4. Этот метод полезен для быстрого перечисления нескольких файлов.

Теперь, когда у вас есть каталогdata и несколько тестовых файлов для резервного копирования, вы можете запустить Unison для резервного копирования файлов на серверbackup. Следующая команда сделает это:

Эти параметры означают следующее:

Поскольку вы используете Unison в режиме простой односторонней синхронизации, вам не придется разрешать конфликты. Это означает, что вы можете безопасно установить эти параметры.

Конфликт может возникнуть только во время другого режима работы Unison, когда он синхронизируется в обоих направлениях. Такой вариант использования будет синхронизировать каталог на чей-то ноутбук и рабочий стол. Когда они обновляют файл на рабочем столе, они хотят, чтобы это изменение было перенесено на ноутбук и наоборот. Конфликт возникает, если один и тот же файл изменяется с обеих сторон до того, как происходит синхронизация Unison, и Unison не может автоматически решить, какой файл сохранить, а какой перезаписать.

В одностороннем режиме push данные вprimary всегда сохраняются, а данные в резервной копии перезаписываются.

Эта команда напечатает длинное сообщение при первом запуске. Сообщение гласит следующее:

Эта информация предупреждает, что это первая синхронизация. В нем также содержатся советы о том, как решить проблему, если вы видите это сообщение при каждом запуске синхронизации. В последнем разделе рассказывается, какие данные Unison синхронизируются во время этого прогона.

При каждом последующем запуске он будет печатать гораздо меньше информации. Вот вывод, когда файлы не были обновлены:

Это результат изменения/data/file1 на сервереprimary:

После каждого запуска синхронизации серверbackup будет иметь точную копию каталогаdata на сервереprimary.

[.warning] #Warning: Любые новые файлы или изменения в каталогеdata на сервереbackup будут потеряны при запуске Unison.
#

Теперь вы можете запустить Unison для резервного копирования каталога. На следующем шаге вы автоматизируете процесс резервного копирования, запустив Unison сcron.

[[step-6 -—- created-a-unison-cron-job]] == Шаг 6 - Создание задания Unison Cron

В этом разделе вы создадите заданиеcron, которое будет запускать Unison и выполнять резервное копирование каталогаdata на серверbackup с указанной частотой.

Crontab - это файл, который читается процессом cron. Содержащиеся в нем команды загружаются в процесс cron и выполняются с заданными интервалами.

Вы можете просмотреть содержимое crontab для вашего текущего пользователя, выполнив следующую команду:

Параметр-l отображает содержимое crontab текущего пользователя. Если вы не редактировали crontab ранее, вы увидите следующую информацию:

Затем запустите командуcrontab на сервереprimary с флагом-e, чтобы открыть его в режиме редактирования:

Если вы не имеете редактор командной строки по умолчанию настроены, вам будет предложено выбрать редактор первый раз, когда вы запустите команду. Выберите редактор по вашему выбору, чтобы открыть crontab.

Открыв crontab, добавьте следующую команду в первую пустую строку под существующим текстом:

Команда, которую вы будете использовать, почти такая же, как та, которую вы использовали выше при ручном резервном копировании, но с некоторыми дополнительными опциями. Эти дополнительные параметры следующие:

В этом примере Unison запускается каждые 3 часа. Вы можете изменить это на любую частоту, которая лучше соответствует вашим требованиям.

Всякий раз, когда вы редактируете crontab, вы всегда должны помещать пустую строку внизу перед сохранением и выходом, иначе cron может некорректно загрузить файл crontab. Это может привести к тому, что команды не будут выполнены.

После внесения этих изменений сохраните и закройте файл.

Затем создайте файл журнала, в который Unison будет записывать на сервереprimary. Следующая команда создаст этот файл:

Затем сделайтеprimary_user владельцем файла.

Вы можете проверить состояние резервных копий Unison, прочитав файл журнала в/var/log/unison.log. Unison будет регистрировать что-либо только в том случае, если он создал резервную копию нового или обновленного файла или обнаружит ошибку.

Unison теперь периодически выполняет резервное копирование из crontab. Последний и необязательный шаг - сделать конфигурацию SSH более безопасной.

[[step-7-optional -—- securing-ssh]] == Шаг 7 (необязательно) - Защита SSH

В этом руководстве вы создали и использовали ключ SSH без пароля. Это проблема безопасности, которую вы можете решить, ограничив возможностиbackup_user, когда они входят через SSH на серверbackup.

Вы сделаете это, настроив SSH, чтобы позволитьbackup_user выполнять одну команду только при входе в систему через SSH. Это означает, что созданный вами ключ SSH может использоваться только для выполнения резервных копий Unison и ничего больше. Это приводит к тому, что вы не сможете подключиться к серверуbackup по SSH какbackup_user. Это связано с тем, что для входа в систему требуется больше, чем одна разрешенная команда.

Если вам нужно получить доступ к серверуbackup какbackup_user, вы должны сначала войти в систему как пользовательsammy, а затем перейти наbackup_user с помощьюsu - backup_user.

Отредактируйте файл конфигурации SSH на сервереbackup в/etc/ssh/sshd_config:

Затем добавьте следующие строки в конец файла:

/etc/ssh/sshd_config

Эти параметры конфигурации будут делать следующее:

Сохраните и выйдите из текстового редактора. Затем перезагрузите службу SSH, чтобы включить новую конфигурацию:

Вы можете проверить это, попытавшись войти на серверbackup какbackup_user через SSH с сервераprimary.

Если настройки/etc/ssh/sshd_config работают, вы увидите следующее:

Сеанс SSH будет зависать до тех пор, пока сеанс не будет завершен с помощьюCTRL иC, потому что Unison ожидает команды.

Это показывает, что сервер Unison был вызван автоматически при входе в систему, и никакой другой доступ невозможен вне связи с сервером Unison.

Теперь у вас есть работающая и безопасная система резервного копирования Unison, которая будет резервировать ваши данные так часто, как вы этого хотите.

В этом руководстве вы установили и настроили программное обеспечение для синхронизации файлов Unison для резервного копирования каталога по SSH. Вы также сконфигурировали cron для автоматического запуска резервного копирования по указанному расписанию и защитили SSH, чтобы не использовать ключ без пароля.

При определении, следует ли вам использовать Unison, есть несколько вещей, которые вы должны учитывать: