Автоматическая синхронизация папок linux

Установка и настройка сервиса Lsyncd на CentOS

Lsyncd позволяет отслеживать состояние каталога с помощью подсистемы ядра inotify, и при помощи утилиты синхронизации rsync, менять содержимое другого каталога, таким образом, приводя оба каталога к единому виду. Это может использоваться для зеркалирования кластерной системы или создания оперативного бэкапа (не путать с полноценной резервной копией).

В данной инструкции мы рассмотрим процесс установки и настройки Lsyncd на компьютер с Linux CentOS версий 8 и 7. Также мы настроим синхронизацию папок как на локальном компьютере, так и удаленных по сети.

Установка и тестовый запуск

Выполним установку lsyncd на CentOS, а также настроим сервис для синхронизации двух каталогов на локальном компьютере.

Установка

yum install epel-release

yum install lsyncd

Разрешаем автозапуск сервиса:

systemctl enable lsyncd

Настройка и запуск

Открываем конфигурационный файл:

Приводим его к виду:

settings <
logfile = «/var/log/lsyncd.log»,
statusFile = «/var/log/lsyncd.stat»,
statusInterval = 5,
insist = true,
nodaemon = false,
>

sync <
default.rsync,
source=»/tmp/source»,
target=»/tmp/target»,
>

• settings — общие настройки.
  • logfile — путь до файла логов.
  • statusFile — файл, в который заносятся изменения, найденные с помощью inotify.
  • statusInterval — интервал в секундах для обновления statusFile.
  • insist — позволяет продолжить работу сервиса, даже если одна или несколько целевых директорий недоступны.
  • nodaemon — отключаться или нет от вызывающей стороны. Проще говоря, если разрешить, то будет больше информации по его работе. Для боевого режима можно отключить.
• sync — настройка для синхронизации конкретного ресурса. Для каждого создается своя секция sync.
  • default.rsync — должен использоваться протокол для синхронизации rsync.
  • source — источник, откуда синхронизируем данные.
  • target — куда синхронизируем.

* в данном примере мы синхронизируем два каталога на локальном компьютере. Таким же образом, можно синхронизировать данные и в подмонтированных каталогах, например, по nfs или cifs (smb).

Источник

Rsync: копирование и синхронизация файлов с удаленным сервером

Утилиту Rsync можно использовать для копирования и синхронизации файлов и папок с локального сервера Linux на удаленный и наоборот. Rsync позволяет копировать ваши данные между серверами внутри защищенного SSH соединения. Так же, rsync, поддерживает сжатие данных на лету, что повышает производительность системы.

Чтобы исключить потерю информации при отправке файлов, rsync сначала копирует всю передаваемую информацию во временный файл. Другая важная особенность rsync – файлы передаются в один поток, не создается отдельный поток для каждого файла (что вызывает проблему при передаче большого количества маленьких файлов в других утилитах).

В данной статье мы рассмотрим варианты использования rsync для синхронизации и копирования каталогов и файлов, и приведем примеры его расширенных настроек.

Установка и основные параметр rsync

Установка rsync не отличается от установки, любого другого пакета. В CentOS пакет rsync присутствует в базовом репозитории и устанавливается через yum (или dnf в CentOS 8):

# yum install rsync -y

Синтаксис команды выглядит следующим образом:

# rsync опции источник приемник

В качестве источника и приемника можно указать локальную или удаленную директорию на другом сервере.

• -v – вывести подробную информацию о процессе
• -c – проверка контрольных сумм файлов
• -q – минимальная информация

Rsync: локальное копирование/синхронизация каталогов

Rsync можно использовать для копирования файлов между локальными директориями сервера. Если вам нужно скопировать файлы из одной директории в другую, выполните команду:

# rsync /var/www/html/package.zip /var/www/tmp/

В этом случае файл package.zip был просто скопирован в директорию /var/www/tmp/.

Можно добавить несколько опций для выполнения копирования. Например, чтобы перед выполнением копирования предварительно сжать файл, вывести подробную информацию и прогресс копирования файла, выполните:

# rsync -vz —progress /var/www/html/package.zip /var/www/tmp/

Вы можете использовать rsync для синхронизации содержимого локальных каталогов. Например, rsync удобно использовать, когда вам требуется скопировать файлы из рабочей директории, на хранилище, которое примонтировано к какому-то разделу. Несколько примеров команд:

# rsync -zvr /var/www/site /backup/

Мы скопировали директорию /var/www/site в директорию для резервных копий, опция -r позволила рекурсивно скопировать все вложенные директории и файлы.

Чтобы сохранить все атрибуты файлов при копировании, например, дату изменения и дату создания файлов, добавьте ключ -a:

# rsync -zvra /var/www/site /backup/

Если вы хотите скопировать только измененные файлы, добавьте опцию -c:

# rsync -zvrac /var/www/site /backup/

Я изменил только один файл и запустил команду. В результате в целевую директорию, был скопирован только измененный файл.

Очень удобно использовать такую опцию, если файлы меняются не часто. Таким образом вы экономите время на копирование/синхронизацию директории.

Чтобы не захламлять директорию для бэкапов, можно добавить опцию —delete, это позволит сравнить файлы с источником и в случае присутствия файла в целевой директории и отсутствие его в исходной директории, удалить его автоматически. Но призываю использовать данную опцию с осторожностью, так как если вы настроите копирование директории по крону, в случае сбоя или вмешательства из вне в рабочую директорию, с последующим удалением рабочих файлов, у вас затрется информация и в бэкапах, что не позволит вам восстановить ваши данные. Пример:

# rsync -zvrac —delete /var/www/site /backup/

Rsync: настройка синхронизации с удаленным сервером

Чаще всего копирование/синхронизация rsync с удаленным сервером используется для резервного копирования или синхронизации конфигурации нод кластера. Можно выполнять автоматическую синхронизацию данных с рабочего сервера на резервный, и в случае проблем на продуктивном севере быстро все перевести на резервный. Это довольно удобный и простой в настройке вариант.

В современных версиях rsync протокол SSH используется для передачи файлов по-умолчанию. Однако вы можете использовать и демон rsyncd. Для этого клиент rsync должен быть установлен на удаленном компьютере, и его демон добавлен в автозагрузку:

# systemctl enable rsyncd

Конфигурационный файл rsync — /etc/rsyncd.conf. В этом файле можно настроить параметры rsync и настройки для синхронизации для разных ресурсов.

Для синхронизации через демона rsync адрес удаленного сервера указывается так rsync://. Например:

# rsync -av /var/www/site/package.zip rsync://192.168.1.32/backup

Чтобы скопировать файл на удаленный сервер, используйте команду:

# rsync -az /var/www/site/package.zip root@IP:/backup/

Где IP, это адрес удаленного сервера. После запуска команды, удаленный сервер запросит пароль пользователя (если включена авторизация по паролю). Для автоматической авотризации нужно настроить SSH ключи.

Скопируем директорию с локального сервера на удаленный:

# rsync -zvra /var/www/site root@IP:/backup/

То есть, все тоже самое, что и с локальными директориями, только мы указываем адрес удаленного сервера.

Так же вы можете синхронизировать файлы и с удаленного сервера на локальный, команда для этого немного изменится:

# rsync -zvra root@IP:/backup/ /backup

Для принудительного использования SSH протокола для копирования файлов, укажите это в вашей команде (для выбора транспортного протокола копирования файлов используется опция –e):

# rsync -zvrae ssh root@IP:/backup/ /backup

Если удаленный SSH сервер имеет отличный от стандартного порт, его так же можно указать:

# rsync -zvrae «ssh -p 2222» root@IP:/backup/ /backup

Другие примеры использования rsync

Если в рамках сессии синхронизации вы передаете много информации и важно ограничить скорость передачи, задайте это дополнительной опцией –bwlimit (указывается скорость в КБ/с):

# rsync -zvra —bwlimit=100 /var/www/site root@IP:/backup/

При передаче файлов на удаленный сервер, вы можете ограничить максимальный размер файлов, которые нужно скопировать. Например, вы хотите скопировать все файлы, кроме файлов размером более 1 Мб:

# rsync -zvra —max-size=’1m’ /var/www/site root@IP:/backup/

Если у вас на сервере нужна односторонняя синхронизация и после переноса файлов на удаленный сервер нужно удалить файлы с исходного сервера, воспользуйтесь опцией —-remove-source-files:

# rsync -zvra —remove-source-files —progress /var/www/site/package.zip root@IP:/backup/

После выполнения команды, файл был скопирован на удаленный сервер и удален на источнике:

Так же очень удобный опции —include и —exclude, с помощью этих опций, можно делать исключения по копированию директорий или файлов:

# rsync -zvra —exclude=administrator/ /var/www/site root@IP:/backup/

В данном случае мы исключили директорию “administrator” при копировании на удаленный сервер.

# rsync -zvra —include=’*.php’ —exclude=’*’ /var/www/site/administrator/ root@IP:/backup/

Добавлением опции —include мы смогли задать фильтр по файлам, скопировали только файлы с расширением php.

Резервное копирование в Linux с помощью rsync

В своей рабое я часть использую rsync для автоматических задач резервного копирования в Linux. Можно написать простые bash скрипты или просто добавить команду rsync в cron и выполнять по расписанию.

Например, можно добавить в cron команду:

01 30 * * * rsync -zvra root@IP:/backup/ /backup

В резульатате каждый день в 1-30 ночи, будет выполняться синхронизация каталогов локального и удаленного серверов.

Стоит учесть, что для выполнения команды rsync на удаленном сервер через cron, желательно настроить авторизацию серверов по SSH ключу. Примеры скриптов для бэкапа, мы приводили в статье «Скрипты для бэкапа файлов из Linux в облако», там как раз используется rsync для копирования файлов в подключенные облачные хранилища.

Источник

Rsync — синхронизация директорий в Linux

Сегодня рассмотрим примеры синхронизации директорий в операционных системах Linux с помощью распространенной утилиты Rsync.

Rsync — утилита для копирования и синхронизации файлов и директорий в Linux системах. Используется для синхронизации директорий как на локальном сервере, так и для синхронизации директорий с локального на удаленный и наоборот. Rsync позволяет копировать ваши данные между серверами внутри защищенного SSH соединения. Так же, rsync, поддерживает сжатие данных на лету, что повышает производительность системы. Чтобы исключить потерю информации при отправке файлов, rsync сначала копирует всю передаваемую информацию во временный файл.

Опции Rsync

Давайте кратко рассмотрим опции rsync. В данной статье перечислены не все опции. Для более подробной информации смотрите мануал данной утилиты при помощи команды man rsync :

• -v — Выводить информацию о копировании файла;
• -q — Минимум информации;
• -c — Копировать только измененные файлы;
• -a — Сохранять все атрибуты оригинальных файлов;
• -R — Относительные имена пути;
• -b — Создание резервной копии;
• -u — Не перезаписывать файлы, которые являются более новыми на приемном конце;
• -l — Копировать символьные ссылки;
• -L — Копировать содержимое ссылок;
• -H — Копировать жесткие ссылки;
• -p — Сохранять права для файлов;
• —partial — сохранять частично переданные файлы;
• -g — Сохранять группу;
• —no-group — Не сохранять группу;
• -o — Сохранить владельца;
• —no-owner — Не сохранять владельца;
• -t — Сохранять время модификации;
• -x — Работать только в этой файловой системе;
• -e — Использовать другой транспорт, например, ssh;
• -z — Сжимать файлы перед передачей;
• —delete — Удалять файлы которых нет в источнике;
• —exclude — Исключить файлы по шаблону;
• -r — Перебирать директории рекурсивно;
• —no-recursive — Отключить рекурсию;
• —no-links — Отключить копирование символических ссылок;
• -P — Выводить прогресс копирования файла;
• —stat — Показать статистику передачи;
• —version — Версия утилиты;
• —inplace — Обновление файлов назначения налету;
• —existing — Пропустить создание файлов (включая каталоги), которые еще не существуют в месте назначения;
• —ignore-existing — Пропустить обновление файлов, которые существуют в месте назначения.
• —temp-dir — Указываем директорию для временных файлов

Синхронизация директорий только на локальном сервере

Давайте синхронизируем две директории между собой, но только на локальном сервере. Директории конечно же должны существовать. Допустим у нас имеется директория /home/user/download и директория /home/user/install . Для их синхронизации давайте наберем следующую команду:

Тут мы синхронизируем директорию download с директорий install, также указываем куда размещать временные файлы и отказываемся от переноса владельца и группы у копируемых файлов.

Тоже самое, но без создания temp файла.

—inplace — в этом случае rsync не будет создавать при копировании новый файл и затем им замещать старый, а сразу начнет перезапись старого файла. Такой алгоритм не сможет сохранить целостность файла в случае сбоя соединения между компьютерами, за исключением использования совместно с параметром —backup .
Этот параметр полезен в случае копирования файлов на одном компьютере или при копировании больших файлов таких как видео.

Синхронизируем файлы c Облаком cloud.mail.ru

Вот пример синхронизации двух каталогов. Один каталог локальный /home/local/foto — в нем удобно работать по сети. Второй каталог /home/CloudDisk/ подключен по технологии WebDAV.

Вот тут и тут уже писал про настройку облака от mail.ru на Debian системах.

• -z — Сжимаем содержимое при копировании;
• -v — Информация о копировании;
• -r — рекурсивно перебираем все директории;
• -a — Cохранить все атрибуты файла;
• -P — показывает прогресс копирования;
• —delete — удаляет файлы из облака, которых нет в директории /home/local/doc ;
• —temp-dir=/tmp — директория для tmp файлов;

Данная команда пригодится если вам надо синхронизировать неизменяющиеся данные, например фотографии или видео.

Если же у вас данные в файлах меняются, например как в Word документах (имя файла остается прежним, а его размер меняется), то для их синхронизации необходимо набрать вот такую команду:

• -c — Копировать только изменившиеся файлы в директории /home/local/doc/ ;

Если после копирования хотите еще оптимизировать фотографии, то вам сюда.

Настройка синхронизации с удаленным сервером при помощи rsync

Чаще всего копирование/синхронизация директорий с удаленным сервером используется для резервного копирования или синхронизации конфигурации сервера. При таком методе можно выполнять автоматическую синхронизацию данных с рабочего сервера на резервный, и в случае проблем на рабочем севере быстро все перевести на резервный. Это довольно удобный и простой в настройке вариант.

Сегодня версия rsync использует протокол SSH для передачи файлов по-умолчанию. Однако вы можете использовать и демон rsyncd. Для этого клиент rsync должен быть установлен на удаленном компьютере, и его демон добавлен в автозагрузку:

Конфигурационный файл rsync — /etc/rsyncd.conf . В этом файле можно настроить параметры rsync и настройки для синхронизации для разных ресурсов.

Для синхронизации через демона rsync адрес удаленного сервера указывается так rsync:// :

Чтобы скопировать файл на удаленный сервер через протокол SSH, используйте команду:

После запуска команды, удаленный сервер запросит пароль пользователя (если включена авторизация по паролю). Для автоматической авторизации нужно настроить доступ по SSH ключу.

Копирование с локального хоста на удаленный хост

Скопируем директорию с локального сервера на удаленный:

То есть, все тоже самое, что и с локальными директориями, только мы указываем адрес удаленного сервера вместо адреса нашей директории.

Копирование с удаленного хоста на локальный хост

Так же вы можете синхронизировать файлы и с удаленного сервера на локальный, команда для этого немного изменится:

Для принудительного использования SSH протокола, а также если вы изменили порт для SSH или для авторизации требуется указать явно где расположен сертификат SSL, команды будут выглядеть следующим образом.

Принудительное использование протокола SSH

Подключение по стандартному порту:

Если удаленный SSH сервер имеет отличный от стандартного порт:

Если надо явно указать порт и ключ:

Синхронизация с использованием опций исключений

Также очень удобный опции —include и —exclude, с помощью этих опций, можно делать исключения по копированию директорий или файлов:

В данном случае мы исключили директорию “administrator” при копировании на удаленный сервер.

Добавлением опции —include мы смогли задать фильтр по файлам, скопировали только файлы с расширением «*.php«.

Вывод

Вот так незатейливо можно синхронизировать директории в Linux как на одном рабочем ПК, так и между различными удаленными серверами.

Если есть вопросы, то пишем в комментариях.

Также можете вступить в Телеграм канал, ВК или подписаться на Twitter. Ссылки в шапки страницы.
Заранее всем спасибо.

Источник