Служба Duplicati 2 на Windows

Duplicati это бесплатный, гибкий, понятный и простой как в требованиях, так и в настройке, комплекс для резервного копирования, да еще и мультиплатформенный, да еще и под Windows работающий. Я его люблю за много что: бесплатный, шифрует копии, да за одну только возможность делать инкрементные копии по SFTP (т.е. через SSH) +100500 к карме, уведомления по XMPP и много за что еще.

Duplicati as a Service

Модное нынче понятие — Что-то-as-a-Service 🙂 Можно и про Duplicati словечко замолвить 😉

По умолчанию, Duplicati для Windows устанавливается не как служба, что не критично для домашнего использования, но на сервере это приведет к тому, что копии не будут делаться пока вы не зайдете в аккаунт пользователя.

Сами Duplicat-ы это объясняют тем, что есть же NSSM (the Non-Sucking Service Manager):

https://www.duplicati.com/articles/Way-To-Make-A-Backup/
. You can also use Duplicati.WindowService.exe install, which is made as a Windows Service that can automatically install itself, which is easier but does not offer the flexibility of NSSM.

[ примерный перевод ] Вы также можете установить службу, которая аналогична другим службам Windows, что упростит дело, но не даст гибсти NSSM
🙂

https://nssm.cc
nssm is a service helper which doesn’t suck. srvany and other service helper programs suck because they don’t handle failure of the application running as a service. If you use such a program you may see a service listed as started when in fact the application has died. nssm monitors the running service and will restart it if it dies. With nssm you know that if a service says it’s running, it really is. Alternatively, if your application is well-behaved you can configure nssm to absolve all responsibility for restarting it and let Windows take care of recovery actions.

[ примерный перевод ] службы Windows — отстой, NSSM — не отстой. Ну да я ни разу не сталкивался к серьезными проблемами с «отстоем» в виде служб Windows (отстой мог быть комплексным, решаемым, но чтобы я считал, что службы Windows отстой — увольте).

Чтобы установить службу, перейдите в каталог с установленным Duplicati (у меня это «C:\Program Files\Duplicati 2») и установите службу Duplicati:

• После установки службы убедитесь, что вы работаете не с локальным пользователем, а именно «из-под» службы. Веб-интерфейс http://127.0.0.1:8200
• Обновите ярлык запуска Duplicati:
  «C:\Program Files\Duplicati 2\Duplicati.GUI.TrayIcon.exe» —no-hosted-server

blocksize

Duplicati оперирует блоками. Если в блоке появились изменения — этот блок добавляется в копию. Если размер файла меньше размера блока — то и изменение вносится меньшей порцией. По-умолчанию, размер блока равен 100 кБ. Возможно, это оптимально. Я посмотрел, что размер большинства документов 100-300 кБ, т.е. больше размера одного блока, хоть и не на много. Поставил размер блока 500 кБ — при этом если файл размером меньше — то и записан будет весь файл целиком, а не какая-то его часть. Даже если это создаст какие-то накладные расходы — ну и пусть. Duplicati создает архивы, ну и пусть в архиве, пусть и хитро сделанном, в большинстстве случаев будет целый файл — ну кто знает, в какиех условиях придется делать восстановление из копии.

Почему по-умолчанию работа с VSS не включена — я не понимаю. Может быть, это недоработка. Для включения использования VSS (Volume Shadow Copy) надо в конфиг (дефолтный или для конкретной задачи) включить опцию:
snapshot-policy (выключена по-умолчанию).

This setting controls the usage of snapshots, which allows Duplicati to backup files that are locked by other programs. If this is set to «off», Duplicati will not attempt to create a disk snapshot. Setting this to «auto» makes Duplicati attempt to create a snapshot, and fail silently if that was not allowed or supported (note that the OS may still log system warnings). A setting of «on» will also make Duplicati attempt to create a snapshot, but will produce a warning message in the log if it fails. Setting it to «required» will make Duplicati abort the backup if the snapshot creation fails. On windows this uses the Volume Shadow Copy Services (VSS) and requires administrative privileges. On Linux this uses Logical Volume Management (LVM) and requires root privileges.

Default value: «off»

Включил в «on» (а не «require», что чревато несделанным бекапом из-за ошибки в одном файле).

Уведомления на мессенджер из коробки — это круто. Для этого есть целая группа опций send-xmpp-*. Работает. Удобно.

Duplicati — Инкрементное резервное копирование

Клиент инкрементного резервного копирования, который надежно хранит данные в зашифрованном виде, сжимает, сохраняет в облачных сервисах хранения данных и на удаленных файловых серверах. В программе есть простой мастер, который поможет Вам без труда создать и настроить задачу по резервную копированию или восстановлению из копии. Переведен на русский язык.

Duplicati поддерживает не только различные онлайн-сервисы резервного копирования, как OneDrive, Amazon S3, Rackspace Cloud Files, Тахо LAFS, Google Docs, но также любые серверы, поддерживающие SSH / SFTP, WebDAV, или FTP.

Duplicati использует стандартные компоненты, такие как rdiff, zip, AESCrypt и GnuPG. Он позволяет восстановить резервные копии файлов, даже если Duplicati не доступен. Выпущен под условиями GNU Lesser General Public License (LGPL), Duplicati это свободное программное обеспечение. Исходный код доступен на сайте разработчика.

Технология

Duplicati написано в основном на C# и полностью реализован в CLR, что позволяет ему быть кросс-платформенным. Он хорошо работает на 32-битных и 64-битных версиях на ОС Windows, Mac OS X и Linux с использованием либо Microsoft.NET или Mono.

Duplicati имеет как графический пользовательский интерфейс с мастером, так и версию для командной строки для использования в бездисплейных средах. Оба интерфейса используют одно и тоже ядро, и таким образом имеют одинаковый набор функций и возможностей. Версия командной строки подобна интерфейсу Duplicity.

Duplicati имеет ряд уникальных особенностей, которые, как правило, можно найти только в коммерческих системах, такие как удаленная проверка файлов резервных копий, дисковых снимков и резервное копирование открытых файлов. Дисковые снимки выполняются с VSS на Windows, и LVM на Linux.

История

Оригинальный проект Duplicati начался в июне 2008 года и его задача была в разработке графического интерфейса пользователя для программы Duplicity. Он включал порт Duplicity кода для использования на Windows, но был исключен в сентябре 2008 года, где началась работа на чистой повторной реализацией. Это повторное внедрение включает в себя все подпрограммы, найденные в Duplicity, такие как RDIFF, FTP, и т.д. Этот первоначальный вариант Duplicati вышел в июне 2009 года.

Реализация

Duplicati графический интерфейс пользователя и интерфейс командной строки вызывают общий компонент, называемый Главным (Main), который служит в качестве точки привязки для всех поддерживаемых операций. В настоящее время шифрование, сжатие и компонент хранения считаются подкомпонентами и загружаются во время выполнения, что позволяет разработчикам с третьей стороны добавлять подкомпоненты в Duplicati без доступа к коду, или какой-либо необходимости модифицировать саму Duplicati.

Ограничения

Duplicati интерфейс предназначен для использования на одном компьютере с присоединенным дисплеем. Из-за этого, его в настоящее время невозможно использовать как службу Windows, или демон Linux. Обойти это можно с помощью версии для командной строки, но усложняет мониторинг состояния резервного копирования. Данную проблему планируется решить.

Так как Duplicati производит инкрементные резервные копии, повреждение или недостающий объем могут сделать всю резервную цепочку бесполезной.

Duplicati хранит только дату модификации файла, не метаданные, такие как разрешения и атрибуты. Эта функция запланирована в версии 2.0.

Лицензия: GNU LGPL

Протестировано на ОС: Windows 7 x64, Windows 10 x64

Внимание, резервная копия обновляется очень редко, так как нужна на случай удаления дистрибутива с официального сайта.

Заметки дядюшки Раджи

Всякая всячина, которую дядюшка Раджа находит в интернете и хочет поделиться с читателями.

Об авторе

Архив блога

• ►2021 (3)
  • ►апреля (1)
  • ►марта (2)

• ►2020 (13)
  • ►декабря (2)
  • ►октября (1)
  • ►сентября (2)
  • ►августа (1)
  • ►июля (1)
  • ►мая (3)
  • ►февраля (2)
  • ►января (1)

• ▼2019 (12)
  • ►декабря (2)
  • ►октября (2)
  • ►сентября (2)
  • ▼августа (1)
    • Как я Duplicati 2 в Windows устанавливал и настраи.
  • ►июня (2)
  • ►мая (1)
  • ►марта (1)
  • ►января (1)

• ►2018 (15)
  • ►декабря (2)
  • ►ноября (1)
  • ►октября (2)
  • ►сентября (1)
  • ►июля (1)
  • ►июня (1)
  • ►мая (2)
  • ►апреля (3)
  • ►февраля (1)
  • ►января (1)

• ►2017 (20)
  • ►декабря (1)
  • ►ноября (2)
  • ►октября (1)
  • ►сентября (3)
  • ►августа (3)
  • ►июня (1)
  • ►мая (1)
  • ►апреля (1)
  • ►марта (1)
  • ►февраля (4)
  • ►января (2)

• ►2016 (15)
  • ►декабря (4)
  • ►октября (1)
  • ►августа (1)
  • ►июля (2)
  • ►июня (1)
  • ►апреля (3)
  • ►февраля (1)
  • ►января (2)

• ►2015 (10)
  • ►декабря (1)
  • ►ноября (2)
  • ►сентября (1)
  • ►августа (2)
  • ►июля (1)
  • ►июня (2)
  • ►апреля (1)

• ►2014 (16)
  • ►декабря (1)
  • ►ноября (3)
  • ►октября (1)
  • ►сентября (1)
  • ►августа (2)
  • ►июля (2)
  • ►мая (1)
  • ►апреля (1)
  • ►февраля (4)

• ►2013 (11)
  • ►декабря (2)
  • ►октября (2)
  • ►августа (1)
  • ►июля (1)
  • ►июня (1)
  • ►апреля (1)
  • ►марта (1)
  • ►января (2)

• ►2012 (24)
  • ►декабря (1)
  • ►ноября (2)
  • ►октября (1)
  • ►сентября (1)
  • ►июля (1)
  • ►июня (4)
  • ►мая (2)
  • ►апреля (2)
  • ►марта (6)
  • ►февраля (2)
  • ►января (2)

• ►2011 (14)
  • ►декабря (2)
  • ►октября (2)
  • ►сентября (2)
  • ►августа (5)
  • ►июля (2)
  • ►февраля (1)

• ►2010 (29)
  • ►декабря (1)
  • ►июня (1)
  • ►мая (3)
  • ►апреля (10)
  • ►марта (7)
  • ►февраля (4)
  • ►января (3)

• ►2009 (38)
  • ►декабря (6)
  • ►ноября (4)
  • ►октября (4)
  • ►сентября (8)
  • ►августа (2)
  • ►июля (2)
  • ►мая (2)
  • ►апреля (1)
  • ►марта (5)
  • ►февраля (2)
  • ►января (2)

• ►2008 (50)
  • ►декабря (4)
  • ►ноября (6)
  • ►октября (7)
  • ►сентября (15)
  • ►августа (14)
  • ►июля (1)
  • ►июня (2)
  • ►мая (1)

Мой блог смотрят

17 августа 2019

Как я Duplicati 2 в Windows устанавливал и настраивал.

Duplicati 2 — это система резервного копирования с открытым исходным кодом. Есть версии под Window, Linux и MacOS. Умеет архивировать по расписанию, умеет восстанавливать данные из архива в исходное или произвольное расположение, умеет работать с теневыми копиями (VSS). Сплошные бонусы и радости по описанию, но всё немного не так в реальности. По крайней мере у меня не всё гладко прошло.

После установки с помощью MSI-пакета программа запустилась, в системном лотке рядом с часами появился значок, в браузере открылся web-интерфейс для настройки программы и создания заданий. Для простого архивирования документов хватит за глаза, но есть в таком режиме кое-какие ограничения.
Во-первых, при запуске от имени пользователя не работает теневое копирование, т.е. открытые и заблокированные файлы при выполнении резервного копирования будут пропущены.
Во-вторых, настройки самой программы и задания лежат в недрах пользовательского каталога » AppData «, и их таким образом можно потерять.

Решение проблем я нашёл за вечер.

Сначала я удалил программу совсем. Перед этим необходимо экспортировать настройки заданий в JSON-файлы, но у меня задания настроены ещё не были, а тестовые задания ценности не представляли. Потом я скачал со страницы релизов последнюю доступную версию в виде zip-архива с бинарниками для Windows («duplicati-2.0.4.23_beta_2019-07-14.zip» на момент написания статьи). Распаковал архив в нужный мне каталог и приступил к настройке.

Сначала я запустил командную строку от имени администратора и перешёл в каталог с файлами программы. Из него я установил службу такой командой:

Но в таком варианте настройки хранятся уже внутри каталога » \Windows\System32\config\systemprofile\AppData «, что тоже не очень хорошо. Поэтому я удалил службу и переустановил её с параметром «—portable-mode«:

В таком режиме настройки хранятся в каталоге » data » вместе с программой.

Теперь расскажу об использовании механизма теневых копий.

Он включается с помощью добавления параметра «snapshot-policy» и выставления его в положение «on» в разделе «Параметры по умолчанию» настроек программы или в разделе «Расширенные параметры» на 5-м шаге мастера добавления задания.

Ещё в этой программе мне понравилась настройка хранения резервных копий, которая задаётся в виде » Период:Количество «. Например, » 7D:1D,4W:1W » расшифровывается как «В течении 7 дней (7D) хранить по одной копии за каждый день (1D), в течение 4 недель (4W), хранить одну копию за каждую неделю (1W), белее старые копии удалять». Можно довольно гибко настроить хранение и удаление.

А не понравилось мне в программе то, что нельзя просто открыть архив и извлечь нужный файл, потому что данные там хранятся в своём хитром формате. При открытии архива обычным архиватором видны файлы с именами вида «_KGCmOF5iOWsglfcz31luskPsj7NooyjiyXD8sXQDO8=«