Rsync linux ���������� �����������

rsync

rsync is an open source utility that provides fast incremental file transfer.

Contents

Installation

rsync must be installed on both the source and the destination machine.

Front-ends

• Grsync — GTK front-end.

https://www.opbyte.it/grsync/ || grsync

• gutback — rsync wrapper written in Shell.

https://github.com/gutenye/gutbackup || gutbackupAUR

• JotaSync — Java Swing GUI for rsync with integrated scheduler.

https://trixon.se/projects/jotasync/ || jotasyncAUR

• luckyBackup — Qt front-end written in C++.

http://luckybackup.sourceforge.net/index.html || luckybackupAUR

Other tools using rsync are rdiff-backup and osync AUR .

As cp/mv alternative

rsync can be used as an advanced alternative for the cp or mv command, especially for copying larger files:

The -P option is the same as —partial —progress , which keeps partially transferred files and shows a progress bar during transfer.

You may want to use the -r / —recursive option to recurse into directories.

Files can be copied locally as with cp, but the motivating purpose of rsync is to copy files remotely, i.e. between two different hosts. Remote locations can be specified with a host-colon syntax:

Network file transfers use the SSH protocol by default and host can be a real hostname or a predefined profile/alias from .ssh/config .

Whether transferring files locally or remotely, rsync first creates a file-list containing information (by default, it is the file size and last modification timestamp) which will then be used to determine if a file needs to be constructed. For each file to be constructed, a weak and strong checksum is found for all blocks such that each block is of length S bytes, non-overlapping, and has an offset which is divisible by S. Using this information a large file can be constructed using rsync without having to transfer the entire file. For a more detailed practical explanation and detailed mathematical explanation refer to how rsync works and the rsync algorithm, respectively.

To use sane defaults quickly, you could use some aliases:

Trailing slash caveat

Arch by default uses GNU cp (part of GNU coreutils ). However, rsync follows the convention of BSD cp, which gives special treatment to source directories with a trailing slash «/». Although

creates a directory «destination/source» with the contents of «source», the command

copies all of the files in «source/» directly into «destination», with no intervening subdirectory — just as if you had invoked it as

This behavior is different from that of GNU cp, which treats «source» and «source/» identically (but not «source/.»). Also, some shells automatically append the trailing slash when tab-completing directory names. Because of these factors, there can be a tendency among new or occasional rsync users to forget about rsync’s different behavior, and inadvertently create a mess or even overwrite important files by leaving the trailing slash on the command line.

Thus it can be prudent to use a wrapper script to automatically remove trailing slashes before invoking rsync:

This script can be put somewhere in the path, and aliased to rsync in the shell init file.

As a backup utility

The rsync protocol can easily be used for backups, only transferring files that have changed since the last backup. This section describes a very simple scheduled backup script using rsync, typically used for copying to removable media.

Automated backup

For the sake of this example, the script is created in the /etc/cron.daily directory, and will be run on a daily basis if a cron daemon is installed and properly configured. Configuring and using cron is outside the scope of this article.

First, create a script containing the appropriate command options:

-a indicates that files should be archived, meaning that most of their characteristics are preserved (but not ACLs, hard links or extended attributes such as capabilities) —delete means files deleted on the source are to be deleted on the backup as well

Here, /path/to/backup should be changed to what needs to be backed-up (e.g. /home ) and /location/of/backup is where the backup should be saved (e.g. /media/disk ).

Finally, the script must be executable:

Automated backup with SSH

If backing-up to a remote host using SSH, use this script instead:

-e ssh tells rsync to use SSH remoteuser is the user on the host remotehost -a groups all these options -rlptgoD (recursive, links, perms, times, group, owner, devices)

Automated backup with NetworkManager

This script starts a backup when network connection is established.

First, create a script containing the appropriate command options:

-a group all this options -rlptgoD recursive, links, perms, times, group, owner, devices —files-from read the relative path of /path/to/backup from this file —bwlimit limit I/O bandwidth; KBytes per second

Automated backup with systemd and inotify

Instead of running time interval backups with time based schedules, such as those implemented in cron, it is possible to run a backup every time one of the files you are backing up changes. systemd.path units use inotify to monitor the filesystem, and can be used in conjunction with systemd.service files to start any process (in this case your rsync backup) based on a filesystem event.

First, create the systemd.path file that will monitor the files you are backing up:

Then create a systemd.service file that will be activated when it detects a change. By default a service file of the same name as the path unit (in this case backup.path ) will be activated, except with the .service extension instead of .path (in this case backup.service ).

Now all you have to do is start/enable backup.path like a normal systemd service and it will start monitoring file changes and automatically start backup.service .

Differential backup on a week

This is a useful option of rsync, resulting in a full backup (on each run) and keeping a differential backup copy of changed files only in a separate directory for each day of a week.

First, create a script containing the appropriate command options:

—inplace implies —partial update destination files in-place

Snapshot backup

The same idea can be used to maintain a tree of snapshots of your files. In other words, a directory with date-ordered copies of the files. The copies are made using hardlinks, which means that only files that did change will occupy space. Generally speaking, this is the idea behind Apple’s TimeMachine.

This basic script is easy to implement and creates quick incremental snapshots using the —link-dest option to hardlink unchanged files:

There must be a symlink to a full backup already in existence as a target for —link-dest . If the most recent snapshot is deleted, the symlink will need to be recreated to point to the most recent snapshot. If —link-dest does not find a working symlink, rsync will proceed to copy all source files instead of only the changes.

A more sophisticated version keeps an up-to-date full backup $SNAP/latest and in case a certain number of files has changed since the last full backup, it creates a snapshot $SNAP/$DATETAG of the current full-backup utilizing cp -al to hardlink unchanged files:

To make things really, really simple this script can be run from a systemd/Timers unit.

Full system backup

This section is about using rsync to transfer a copy of the entire / tree, excluding a few selected directories. This approach is considered to be better than disk cloning with dd since it allows for a different size, partition table and filesystem to be used, and better than copying with cp -a as well, because it allows greater control over file permissions, attributes, Access Control Lists and extended attributes.

rsync will work even while the system is running, but files changed during the transfer may or may not be transferred, which can cause undefined behavior of some programs using the transferred files.

This approach works well for migrating an existing installation to a new hard drive or SSD.

Run the following command as root to make sure that rsync can access all system files and preserve the ownership:

By using the -aAX set of options, the files are transferred in archive mode which ensures that symbolic links, devices, permissions, ownerships, modification times, ACLs, and extended attributes are preserved, assuming that the target file system supports the feature. The option -H preserves hard links, but uses more memory.

The —exclude option causes files that match the given patterns to be excluded. The directories /dev , /proc , /sys , /tmp , and /run are included in the above command, but the contents of those directories are excluded. This is because they are populated on boot, but the directories themselves are not created. /lost+found is filesystem-specific. The command above depends on brace expansion available in both the bash and zsh shells. When using a different shell, —exclude patterns should be repeated manually. Quoting the exclude patterns will avoid expansion by the shell, which is necessary, for example, when backing up over SSH. Ending the excluded paths with * ensures that the directories themselves are created if they do not already exist.

You may want to include additional rsync options, or remove some, such as the following. See rsync(1) for the full list.

• If you run on a system with very low memory, consider removing -H option; however, it should be no problem on most modern machines. There can be many hard links on the file system depending on the software used (e.g. if you are using Flatpak). Many hard links reside under the /usr/ directory.
• You may want to add rsync’s —delete option if you are running this multiple times to the same backup directory. In this case make sure that the source path does not end with /* , or this option will only have effect on the files inside the subdirectories of the source directory, but it will have no effect on the files residing directly inside the source directory.
• If you use any sparse files, such as virtual disks, Docker images and similar, you should add the -S option.
• The —numeric-ids option will disable mapping of user and group names; instead, numeric group and user IDs will be transfered. This is useful when backing up over SSH or when using a live system to backup different system disk.
• Choosing —info=progress2 option instead of -v will show the overall progress info and transfer speed instead of the list of files being transferred.
• To avoid crossing a filesystem boundary when recursing, add the option -x / —one-file-system . This will prevent backing up any mount point in the hierarchy.

Restore a backup

If you wish to restore a backup, use the same rsync command that was executed but with the source and destination reversed.

File system cloning

rsync provides a way to do a copy of all data in a file system while preserving as much information as possible, including the file system metadata. It is a procedure of data cloning on a file system level where source and destination file systems do not need to be of the same type. It can be used for backing up, file system migration or data recovery.

rsync’s archive mode comes close to being fit for the job, but it does not back up the special file system metadata such as access control lists, extended attributes or sparse file properties. For successful cloning at the file system level, some additional options need to be provided:

And their meaning is (from the manpage):

Additionally, use -x if you have other filesystems mounted under the tree that you want to exclude from the copy. Produced copy can be simply reread and checked (for example after a data recovery attempt) at the file system level with diff ‘s recursive option:

It is possible to do a successful file system migration by using rsync as described in this article and updating the fstab and bootloader as described in Migrate installation to new hardware. This essentially provides a way to convert any root file system to another one.

rsync daemon

rsync can be run as daemon on a server listening on port 873 .

Edit the template /etc/rsyncd.conf , configure a share and start the rsyncd.service .

Usage from client, e.g. list server content:

transfer file from client to server:

Consider iptables to open port 873 and user authentication.

Example configuration

Sharing from a list of files

Inside the file list, all the intermediary paths are necessary, except when the *** wildcard is used:

Источник

Rsync Linux, или Команда Удалённой Синхронизации

Команда rsync в Linux эффективно передаёт и синхронизирует файлы или каталоги между локальной и удалённой машиной, удалённой оболочкой и соответствующей ей парой, другим хостом. Любой, кто работает с системами на базе Linux, должен использовать эту мощную утилиту для лучшей производительности. С помощью этой статьи вы узнаете всё, что вам нужно знать, чтобы пользоваться этой командой.

Синхронизация папок или копирование файлов вручную может занять очень много времени. Утилита rsync сделает большую часть работы за вас, добавив функции, необходимые, чтобы сэкономить время. Даже если вы потеряете соединение во время передачи, после восстановления соединения этот инструмент запустится точно с того места, где он был прерван.

Попробуйте действительно надёжный облачный VPS-хостинг с отличной производительностью виртуального сервера. Наши виртуальные серверы созданы для скорости!

Основной Синтаксис

Основной синтаксис rsync работает следующим образом:

Существует несколько способов использования команды rsync Linux. В этом примере [необязательные модификаторы ] указывают действия, которые необходимо предпринять, [ SRC ] является исходным каталогом, а [ DEST ] — это целевой каталог или машина.

Основной Синтаксис для Удалённой Оболочки

Если вы используете удалённую оболочку, такую как SSH или RSH, синтаксис rsync будет немного другим.

Для доступа к удалённой оболочке ( PULL ) используйте команду rsync:

Для доступа к удалённой оболочке ( PUSH ) используйте команду rsync:

Как Проверить Версию Rsync

Прежде чем мы проверим версию rsync, нам нужно зайти на сервер VPS, который мы будем использовать. Это полезное руководство поможет вам сделать это на машине с Windows, используя Putty SSH. Если вы работаете на компьютере с MacOS или Linux, используйте вместо этого терминал.

Rsync предустановлен во многих дистрибутивах Linux. Чтобы проверить, установлен ли rsync на вашем компьютере, выполните следующую команду:

В нашем дистрибутиве Ubuntu, вот что мы увидим в выводе:

Это означает, что версия rsync 3.1.3 уже установлена на нашей машине.

Установка Rsync

Если на вашем компьютере предварительно не установлен rsync, вы можете сделать это вручную за минуту! В дистрибутивах на основе Debian , таких как Ubuntu , вы можете сделать это с помощью следующей команды:

Для дистрибутивов на основе rpm, таких как Fedora и CentOS, используйте следующую команду:

Для MacOS используйте следующую команду:

Вот и всё! Утилита rsync Linux готова к синхронизации данных, передачи и удалению файлов. Вы можете проверить успешность установки, используя ранее упомянутую команду:

Работа с Rsync: Примеры

Для этого руководства мы создали два каталога на нашем рабочем столе Linux и назвали их Original и Duplicate . Исходный каталог содержит три изображения, а дубликат пуст. Теперь давайте рассмотрим некоторые примеры rsync, увидим эту утилиту в действии.

Для создания двух тестовых каталогов используйте следующие команды:

Если вы хотите перепроверить, удалось ли вам создать каталоги, используйте команду ls, чтобы вывести список всех файлов внутри каталога:

Результат будет выглядеть примерно так:

Если вы используете команду ls с копией каталога, вывод должен быть пустым.

Теперь, когда наши каталоги готовы, давайте попробуем ещё несколько команд.

Следующая команда, введённая в командной строке, скопирует или синхронизирует все файлы из исходного каталога в его копию.

* поручает команде rsync синхронизировать всё в исходном каталоге с дубликатом.

Если мы поместим новое изображение или файл в исходную папку и повторно запустим ту же команду, только новое изображение будет скопировано в место назначения.

Очень удобно использовать эту функцию, когда вы копируете файлы по сети с ограниченной пропускной способностью.

Самые Распространённые Команды Rsync

Вот список наиболее часто используемых с rsync опций:

Эта опция включает режим “архив”.

Вызывает визуальный вывод, который показывает прогресс процесса копирования.

Выводит данные в человекочитаемом формате.

Эта опция сжимает данные файла во время передачи.

Копирует данные рекурсивно.

Как Использовать Команды Rsync с Подкаталогами

Помните, что эта команда будет копировать файлы только из основного каталога папки Original , но не из подкаталогов.

Если вы хотите скопировать и подкаталоги, используйте эту команду:

Опция -r ( —recursive ) указывает rsync копировать всё, включая подкаталоги и файлы из нашей исходной папки.

Модификатор / , используемый после original , указывает rsync скопировать содержимое оригинального каталога в дубликат папки.

Как Синхронизировать Файлы

Если вы хотите синхронизировать файлы , то есть скопировать файлы, которые находятся в целевой, но не в исходной папке, в исходную папку, используйте следующую команду:

С помощью этой команды мы можем убедиться, что как исходные папки, так и дубликаты будут содержать одинаковые файлы.

Как Комбинировать Опции Rsync

Ещё одна полезная опция — это -a ( —archive ), и её можно объединить со многими другими командами. Команда, в которой указан этот параметр будет не просто копировать файлы, но и разрешения, время изменений и любые другие данные.

Использование опции -a вместе с -v будет выглядеть примерно так:

Не волнуйтесь, ведь она только выглядит сложно! Давайте разберёмся.

Эта команда не делает каких-либо изменений, а просто показывает файлы, которые будут скопированы. С помощью этой команды вы можете получить список файлов, которые будут скопированы.

Если вы хотите скопировать все файлы из этого списка, повторите команду без —dry-run .

—dry-run , или -n заставляет rsync выполнить пробный запуск, который не вносит никаких изменений.

Другие Опции Команды Rysnc

При использовании опции -a с опцией -v, то есть -av в нашей команде, мы увеличиваем детализацию. Другими словами, с помощью -v мы получаем более визуальный вывод, который показывает прогресс процесса.

Если вы хотите синхронизировать две папки, но удалить элементы в папке-дубликате, которых нет в исходной папке, добавьте –delete , например:

Вы также можете пропустить определённые файлы или подкаталоги при синхронизации двух папок. Сделайте это, добавив -exclude=. Если вы хотите указать более одного файла, разделите их запятыми.

Или же наоборот: вы можете выбрать, какие файлы будут синхронизированы. Для этого вам нужно добавить опцию -include=. Она также может быть использована вместе с параметром -exclude=. В приведённом ниже примере будут скопированы только файлы, начинающиеся с буквы L, и исключены все остальные файлы:

Rsync также позволяет указать размер файла, который можно синхронизировать. Для этого используйте параметр –max-size:

Последняя опция команды, которую мы рассмотрим, это -z ( –compress ). Эта команда объединит файлы, которые передаются по сети. В качестве бонуса давайте посмотрим, как перенести файлы из исходного сервера на другой. Команда будет выглядеть так:

Как упоминалось ранее, -z сжимает файлы, -a или просто a, добавленная к -z, гарантирует, что все разрешения также будут скопированы.

/Desktop/Original — это исходник. Это локальный каталог, находящийся на компьютере, из которого вы вошли, и, наконец, olha@192.168.22.90:

/tmp/ означает место назначения. olha@192.168.22.90 — это адрес удалённого сервера назначения, а :

/tmp/ указывает на конкретную папку на этом компьютере.

Как Добавить Индикатор Выполнения

Ещё одна бонусная опция, которую можна добавить к вышеперечисленным командам — это -P. Она объединит параметры –progress и –partial, что добавит в вывод индикатор выполнения синхронизации файлов, а также позволит вам возобновить любую прерванную передачу файлов.

Результат будет выглядеть примерно так:

Затем, если мы снова запустим команду, вывод будет выглядеть намного короче. Это потому, что не было внесено никаких новых изменений. Вот пример вывода:

Если вы хотите скопировать только определённые файлы, укажите это с помощью следующей команды:

Вывод будет выглядеть аналогично, но только с файлами, указанными в фигурных скобках.

Как Создать Резервную Копию Rsync

Ещё одна важная команда — создание резервной копии rsync. Для этого объедините –backup с командой –dir, чтобы указать место для хранения резервных копий файлов.

Выводы

Это лишь малая часть того, что может rsync Linux! Это невероятно мощная утилита, о которой должен знать и уметь пользоваться каждый системный администратор или разработчик Linux. В этом руководстве мы разобрались с основами — установкой и основными командами. Если вас интересуют более продвинутые функции, продолжайте знакомиться с ними в официальной документации.

Приготовьтесь быть ещё более эффективным! Успехов с вашими проектами!

Ольга уже около пяти лет работает менеджером в сфере IT. Написание технических заданий и инструкций — одна из её главных обязанностей. Её хобби — узнавать что-то новое и создавать интересные и полезные статьи о современных технологиях, веб-разработке, языках программирования и многом другом.

Источник