Linux образ для nas

/4te.me

Из-за очередного приступа параноии, я решил сменить Google Drive на собственное решение и хранить свои файлики поближе к телу. Выбор был между: поднимать в каком-нибудь DigitalOcean виртуалку и хранить там, или собрать дома свое хардварное решение. Подсчитав сколько будет стоить виртуалка с нужным объемом диска, выбор был сделан в пользу домашнего NAS-сервера.

Выбор

У меня было примерно 100 ГБ данных на момент съезда из Google Drive. Виртуалка в DigitalOcean на 160ГБ стоит 40$ в месяц, то есть в год будет выходить

500$. Дорого. За эти деньги можно дома собрать NAS на терабайт с SSD дисками. Есть ещё вариант брать маленькую виртуалку, и к нему подключить S3 хранилище, но софт, который я планировал использовать, не умеет работать с S3.

Итак, вариант с виртуалкой в облаке я отмёл и пошел смотреть, что нынче есть на рынке домашних NAS серверов. Так как я живу в маленькой квартире, NAS я планировал ставить в жилой комнате, и, если он будет шуметь вентиляторами и вибрировать HDD-дисками, то житья в комнате не будет. Поэтому я хотел найти NAS с пассивным охлаждением и вставить туда SSD диски. Не самое дешевое решение, но за тишину приходится платить.

Как выяснилось, на рынке практически нет NAS с пассивным охлаждением. Почему так я не понимаю, по опыту использования — максимальная температура дисков за год использования у меня была 47.0 C (наверно когда я переносил все данные), в покое — 36.0 C, крышка NAS-а чуть теплая. 90% времени диски простаивают и зачем им вентилятор я не понимаю.

Вот модели с пассивным охлаждением которые я смог найти — QNAP HS-210 , QNAP HS-251 , QNAP HS-251+ (он же QNAP S2 ), QNAP HS-453 . У всех моделей обычный x64-процессор, не ARM. Получается маленькая такая desktop-тачка с местом для двух HDD.

• HS-210 — 512 МБ ОЗУ мало.
• HS-251 — 1ГБ ОЗУ мало
• HS-251+ — 2ГБ ОЗУ норм
• HS-453 — 4 или 8 ГБ ОЗУ. Ultimate решение, но не продается в России и стоит космос.

У Synology бесшумных решений я не нашел. Собирать системник тоже не хотелось — он не получится таким же маленьким и бесшумным как QNAP. В общем выбрал золотую середину — QNAP HS-251+ (QNAP S2).

Из дисков я выбрал WD BLUE 3D NAND SATA SSD 1 TB (WDS100T2B0A). Взял две штуки. Они без проблем заходят в NAS. Итого вышло:

Не самое дешевое решение для NAS, но самое дешевое из подходящих под требования. Кроме этого, чтобы создать свое облако потребуется статический “белый” IP-адрес дома. Чтобы подключаться из интернета к домашнему серверу. Обычно такая услуга есть у любого провайдера.

Программная часть

После покупки и установки самого NAS-а, решил попробовать использовать софт от самого QNAP. Стоит сказать, что он очень разнообразный — полностью заменяет публичные облака и даже умеет запускать виртуальные машины. Из себя он представляет некую ОС (на основе Debian, кажется), с веб-интерфейсом а-ля iPad и проприетарными приложениями.

К сожалению все работает довольно медленно, да и менять один проприетарный продукт на другой, внутренний параноик мне не позволил, поэтому я установил на NAS обыкновенный чистый Linux.

Так как это обычный x86_64 ПК, я записал на флешку свежий дистрибутив, зашел в BIOS и загрузился с нее:

В этом NAS-е есть постоянная память размером 512 МБ куда установлена дефолтная прошивка. Ее я не перезаписывал (при желании можно будет вернуться на нее), и поставил Ubuntu 18.04 на software RAID, собранный из двух установленных дисков. На каждом диске создается по партиции одинакового размера, и они объединяются в RAID1. На одном диске также раздел для загузчика и /boot:

Домашнее облако

Для замены Google Drive (Яндекс.Диск, Dropbox и тд.) я выбрал Seafile — https://www.seafile.com/en/home/

Выбор был между ним и Nextcloud/ownCloud, но после тестовых установок выбрал Seafile. До 3-х пользователей можно использовать Enterprise версию — её и взял. В ней есть поиск по файлам и еще несколько полезных функций, вот здесь есть сравнение бесплатной и enterprise версий. Разворачивал с помощью Docker — очень просто и быстро, на сайте есть подробный мануал

У Seafile есть веб-интерфейс, desktop-приложение для всех ОС и мобильный клиент.

Nextcloud/ownCloud гораздо богаче по функционалу и хранят файлы в открытом виде, то есть их можно интегрировать в другие серверные приложения, но жуткие тормоза при аплоаде файлов и на веб-интерфейсе делают их неработопригодными.

Seafile тоже не идеален, всё что он умеет — просто хранить файлы. Особенности использования:

хранит данные в бинарных файлах. То есть их нельзя просматривать на диске. Получаем высокую скорость при доступе к данным, но теряем в гибкости. Вот так выглядят данные на ФС:

есть приложение для Android/iOS. Довольно скромное, но заливать фотки с телефона и просматривать файлы умеет.

Домашний NAS и медиа-плеер

Так как в NAS-е есть HDMI выход, я его подключил к телевизору и сделал из него медиа-плеер. В комплекте также есть пульт ДУ:

С помощью очень классной программы Kodi (https://kodi.tv/) можно полностью заменить smartTV, онлайн-кинотеатр и приставку для проигрывания IPTV. Он устанавливается на linux и на экран выводит свой интерфейс. Навигация пультом ДУ или приложением Kore. С пультом были проблемы, не заводился из коробки, пришлось немного потанцевать с бубном.

Вот так выглядит интерфейс Kodi на телевизоре:

Как я использую Kodi:

• плеер фильмов, которые лежат на NAS-диске
• плеер IPTV вместо MAG-250. Умеет показывать multicast-потоки
• проигрыватель YouTube (приложение не очень удобное, но юзабельное)
• в поездках с помощью приложения Kodi для Android подключаюсь к своему NAS и смотрю с него фильмы. Получается такой self-hosted онлайн-кинотеатр
• для скачивания новых фильмов на NAS установил Transmission + web-интерфейс

Также на NAS поставил FTP и Samba, чтобы подключаться с девайсов в локальной сети и NFS для монтирования сетевого диска.

Такой схемой я пользуюсь около года и вот какие выводы сделал:

• приложения Яндекс.Диск/Google Photo удобнее и быстрее. Да, opensource-аналоги не дают такого удобства использования — то тут, то там встречаются мелкие косяки (например в android-приложении seafile фотки при просмотре скачиваются полностью, т.е. не превью сжатое, а фото если весит 5МБ — оно все полетит на телефон, это медленно и занимает место на телефоне; хотя в веб-морде есть превьюхи). Ну и поиск в Гугл.фото по содержанию фотографий (когда в поиске вводишь “горы”, и он показывает все фотографии гор из вашей библиотеки) — это вообще киллер фича, такого в бесплатные аналоги не знаю когда завезут.
• скорость загрузки файлов в Seafile гораздо выше, чем в публичные облака
• смотреть фильмы теперь супер удобно. Особенно в поездках. 4G есть практически везде в России, и теперь не надо закачивать кучу фильмов на телефон — смотрю онлайн, подключаясь с телефона к домашнему серверу. В случае отсутствия связи, например в поезде, подключаюсь по FTP и скачиваю перед отправлением.
• Kodi — супер комбайн, но хотелось бы научиться стримить телевизионный сигнал на телефон, чтобы смотреть ТВ не из дома. Этого еще не понял как сделать.
• чтобы все это настроить пришлось покурить мануалы и подзаморочиться с установкой и наладкой.

Хочу ли я вернуться в публичные облака (Google Drive, Яндекс.Диск)? Нет, не хочу. На мой взгляд, плюсов в такой схеме все же больше, чем минусов. А внутренний параноик теперь спит сладким сном.

Источник

8 бесплатных NAS Storage OS / Программное обеспечение для малого бизнеса

Проблема с растущими стартапами или малым бизнесом заключается в масштабируемости, когда они достигают пути, на котором они не являются ни маленькими, ни большими, слишком большими для использования общедоступных облачных хранилищ и слишком маленькими, чтобы позволить себе корпоративные хранилища, такие как Amazon Web Services.

Услуги публичного облачного хранилища начинаются дешево, но могут стать непомерно дорогими по мере того, как будет храниться больше данных.

В зависимости от факторов, не зависящих от вас, производительность может быть ненадежной, в то же время существует высокий риск конфиденциальности и безопасности, связанный с хранением определенных данных на чужом «облачном» компьютере, если вы не платите надбавку за корпоративное шифрование военного уровня.

Здесь в игру вступает Prosumer, он попадает в точку между потребителями и профессионалами. Операционная система хранилища позволяет вам создать собственное «облако» в вашей сети за ваши собственные средства. Поскольку эта ОС использует настольный компьютер в качестве системы хранения, домашним пользователям не имеет смысла запускать ее круглосуточно и без выходных, если вы хотите создать центральную сетевую систему хранения для своего дома, приобретите потребительское хранилище NAS от WD Red, D-Link, Asus или Seagate IronWolf. Без лишних слов, вот некоторые бесплатные ОС с открытым исходным кодом для сетевых хранилищ (NAS) для малого бизнеса.

↓ 01 — FreeNAS [Лучшее]

Что такое FreeNAS? FreeNAS — это операционная система, которую можно установить практически на любую аппаратную платформу для обмена данными по сети. FreeNAS — это самый простой способ создать централизованное и легкодоступное место для ваших данных. Используйте FreeNAS с ZFS для защиты, хранения, резервного копирования всех ваших данных. FreeNAS используется везде: дома, в малом бизнесе и на предприятии.

Что такое ZFS? ZFS — это корпоративная файловая система с открытым исходным кодом, RAID-контроллер и диспетчер томов с беспрецедентной гибкостью и бескомпромиссным стремлением к целостности данных. Он устраняет большинство, если не все недостатки устаревших файловых систем и аппаратных RAID-устройств. Как только вы перейдете на ZFS, вы больше никогда не захотите возвращаться.

• Шифрование — FreeNAS — первый и единственный проект с открытым исходным кодом, предлагающий шифрование томов ZFS! Во время создания тома доступна опция шифрования всего тома, обеспечивающая стандартное шифрование AES-XTS, которое может быть аппаратно ускорено (если процессор поддерживает AES-NI).
• Репликация — моментальные снимки ZFS — это больше, чем просто локальные резервные копии — их также можно использовать для создания удаленных резервных копий. Репликация моментальных снимков файловой системы в удаленную файловую систему ZFS создает там полную копию.
• Снимки — благодаря ZFS снимки всей файловой системы можно делать и сохранять в любое время. Пока существует моментальный снимок, администраторы могут получать доступ к файлам в том виде, в котором они были на момент создания моментального снимка.
• Защита данных — ZFS предназначена для обеспечения целостности данных сверху вниз. RAID-Z, программный RAID, который является частью ZFS, предлагает защиту с единым контролем четности, как RAID 5, но без уязвимости «дыры для записи» благодаря архитектуре ZFS с копированием при записи.
• Обмен файлами. Обмен файлами — это то, что FreeNAS делает лучше всего. Все основные операционные системы поддерживаются SMB / CIFS (общие файловые ресурсы Windows), NFS (общие файловые ресурсы Unix) и AFP (общие файловые ресурсы Apple), а также FTP, iSCSI (совместное использование блоков), WebDAV и другие методы обмена данными по сети. доступны.

↓ 02 — XigmaNAS / NAS4Free

XigmaNAS / NAS4Free — это дистрибутив NAS с открытым исходным кодом (сетевое хранилище), основанный на FreeBSD. Операционная система NAS4Free может быть установлена ​​практически на любой аппаратной платформе для совместного использования хранилища компьютерных данных по компьютерной сети. «NAS» означает «Сетевое хранилище», а «4Free» означает «Бесплатно и с открытым исходным кодом». NAS4Free — это самый простой и быстрый способ создать централизованный и легкодоступный сервер для всех видов данных, легко доступных для всех видов. сетевых протоколов и из любой сети.

NAS4Free поддерживает совместное использование в Windows, Apple и UNIX-подобных системах. Он включает ZFS v5000, программный RAID (0,1,5), шифрование диска, отчеты SMART / электронной почты и т. Д. Со следующими протоколами: CIFS / SMB (Samba), контроллер домена Active Directory (Samba), FTP, NFS, TFTP, AFP, RSYNC, Unison, iSCSI (инициатор и цель), HAST, CARP, Bridge, UPnP и Bittorent, которые легко настраиваются через веб-интерфейс. NAS4Free можно установить на Compact Flash / USB / SSD ключ, жесткий диск или загрузить с LiveCD / LiveUSB с небольшим usbkey для хранения конфигурации.

• BitTorrent-клиент (передача)
• Сервер iTunes / DAAP (Firefly)
• Инструмент измерения пропускной способности сети (iPerf3)
• RRDtool
• Сервер UPnP (fuppes)
• Сервер UPnp (MiniDLNA)
• Веб-сервер (lighttpd)

↓ 03 — OpenMediaVault

openmediavault — это сетевое хранилище (NAS) нового поколения, основанное на Debian Linux. Он содержит такие службы, как SSH, (S) FTP, SMB / CIFS, медиа-сервер DAAP, RSync, клиент BitTorrent и многие другие. Благодаря модульной конструкции фреймворка его можно расширять с помощью плагинов.

openmediavault в первую очередь предназначен для использования в небольших офисах или домашних офисах, но не ограничивается этими сценариями. Это простое и легкое в использовании готовое решение, которое позволит каждому устанавливать и администрировать сетевое хранилище без более глубоких знаний.

• ОС Debian Linux с веб-администрированием
• Управление томом и SMART
• Агрегация ссылок
• Wake On LAN
• Поддержка IPv6
• Уведомления по электронной почте
• Обмен файлами

↓ 04 — Openfiler

Openfiler превращает стандартную систему архитектуры x86_64 в полноценное устройство NAS / SAN или шлюз IP-хранилища и предоставляет администраторам хранилища мощный инструмент для удовлетворения растущих потребностей в хранилищах. Openfiler гарантирует, что администраторы хранилища могут наилучшим образом использовать производительность системы и ресурсы емкости хранилища при распределении хранилища и управлении хранилищем в многоплатформенной сети.

Openfiler предоставляет ключевые функции, такие как цель iSCSI для виртуализации, поддержка цели Fibre Channel, репликация на уровне блоков и высокая доступность, которые являются основой любой критически важной для бизнеса среды хранения. Openfiler решает все ключевые проблемы хранения данных:

• Надежность — Openfiler поддерживает программный и аппаратный RAID с функциями мониторинга и оповещения; снимок тома и восстановление
• Доступность — Openfiler поддерживает активную / пассивную кластеризацию высокой доступности, MPIO и репликацию на уровне блоков.
• Производительность — ядро ​​Linux 2.6 поддерживает новейшие ЦП, сетевое оборудование и оборудование для хранения данных.
• Масштабируемость — масштабируемость файловой системы до 60 ТБ +, онлайн-файловая система и поддержка увеличения объема

↓ 05- Rockstor

С легкостью создавайте собственные расширенные NAS и облачные хранилища на базе Linux и BTRFS и управляйте ими. Облачный сервер Rockstor для малого и среднего бизнеса (SMB) — это рекомендуемое решение для организаций, которым требуется несколько сотен терабайт емкости. Ваша организация может полагаться на дорогое общедоступное облачное хранилище, а также хранить большой объем данных локально, что заставляет вас переключаться между локальным и облачным хранилищами, что в конечном итоге приводит к неэффективности и потере производительности. Rockstor в качестве облачного сервера отлично работает с Windows 10 от Microsoft и macOS от Apple.

• Создайте свое частное облачное хранилище и расширьте возможности своей организации с помощью гибридного рабочего процесса, используя лучшее из общедоступного и частного облачного хранилища.
• Полная интеграция с общедоступным облачным хранилищем для повышения эффективности и снижения эксплуатационных расходов
• Масштабируйте свои потребности в хранилище с низкими дополнительными затратами
• Управляйте своим хранилищем практически без опыта работы с ИТ

↓ 06 — ПетаСАН

PetaSAN — это решение Scale-Out SAN с открытым исходным кодом, предлагающее огромную масштабируемость и производительность. PetaSAN использует современные облачные технологии для обеспечения гибкости и маневренности для масштабирования кластера хранения, просто добавляя дополнительные узлы, это можно сделать в любое время и без прерывания работы.

PetaSAN изначально разработан для одной цели: предоставления высокодоступных кластерных дисков iSCSI. В PetaSAN диск iSCSI может иметь множество путей доступа, каждый из которых определяется своим виртуальным IP-адресом. Эти IP-адреса сгруппированы по нескольким узлам хранения.

↓ 07 — ESOS — ОС корпоративного хранилища

Enterprise Storage OS — это квази-дистрибутив Linux, основанный на отличном проекте SCST; его цель — предоставить цели SCSI через совместимую сеть SAN (Fibre Channel, InfiniBand, iSCSI, FCoE). Короче говоря, ESOS® может легко превратить сервер с соответствующим оборудованием в дисковый массив, который находится в вашей корпоративной сети хранения данных (SAN), обеспечивая разделяемые тома хранения на уровне блоков.

Типичные варианты использования «сервера хранения» ESOS® включают хранилища данных VMFS на VMware ESX / ESXi, тома Windows NTFS, диски Linux и т. Д. Высокопроизводительная, специализированная (наподобие устройства) база Linux, созданная с нуля, не имеющая отношения к другим Дистрибутивы Linux.

• ESOS резидентен в памяти — он загружается с USB-накопителя, и все загружается в ОЗУ. Если флеш-накопитель USB выйдет из строя, ESOS® отправит электронное письмо с предупреждением, и вы можете просто создать новый USB-накопитель ESOS®, а затем заменить неисправный накопитель и синхронизировать конфигурацию.
• Поддержка захвата аварийного дампа ядра. Если произойдет паника в ядре ESOS® Linux, система перезагрузится в аварийный дамп ядра, сохранит файл / proc / vmcore в файловую систему esos_logs и, наконец, перезагрузится обратно в производственное ядро ​​ESOS® — все автоматически. ESOS® отправляет уведомление по электронной почте при запуске системы и проверяет наличие аварийных дампов.
• Два режима работы: Производство (по умолчанию) и Отладка. В режиме «Производство» используется производительная версия SCST (make 2perf). Если вы обнаружите, что у вас возникла проблема и вы не получаете достаточного количества диагностических журналов, просто перезагрузитесь в режиме «Отладка» (полная отладка SCST, сделайте 2debug) и получите дополнительные данные журнала.
• Инструменты настройки интерфейса командной строки корпоративного RAID-контроллера. Популярные инструменты интерфейса командной строки RAID-контроллера являются необязательной установкой с ESOS® (например, LSI MegaRAID, Adaptec AACRAID и т. Д.), Что позволяет настраивать (добавлять / удалять / изменять) тома / логические диски из работающей системы ESOS®.
• ESOS® совместим с большинством популярных корпоративных RAID-контроллеров и серверного оборудования Tier-1. В настоящее время он поддерживает следующие типы внешних целевых устройств: Fibre Channel, iSCSI, InfiniBand (SRP), Fibre Channel over Ethernet (FCoE).
• Текстовый пользовательский интерфейс (TUI), который обеспечивает простой в использовании интерфейс с удобными функциями предоставления хранилища; посмотрите, как это выглядит на вики-странице 02_Screenshots.
• Компоненты кластеризации / высокой доступности (HA): Pacemaker + Corosync + DRBD
• Создавайте расширенные конфигурации блочных устройств внутреннего хранилища с помощью программного обеспечения Linux RAID (md) и Logical Volume Manager (LVM2).
• Создайте виртуальные ленточные библиотеки (на дисках), которые можно использовать в вашей сети хранения данных (SAN). Работает с популярными программными решениями, такими как Symantec NetBackup, Symantec BackupExec, EMC / Legato NetWorker, Bakbone Netvault, Tivoli Storage Manager (TSM) и Bacula. Поддержка VTL в ESOS® стала возможной благодаря проекту mhVTL.
• Встроенная дедупликация данных с помощью lessfs; включает поддержку шифрования и сжатия с использованием QuickLZ, Google Snappy или LZO.
• Поддержка моста Linux Ethernet и связывания сетевых карт (EtherChannel).
• Программные решения для кеширования блочного уровня: bcache, dm-cache / lvmcache и EnhanceIO.
• Многоуровневые устройства хранения с автоматической миграцией и «умным» размещением блоков данных с помощью проекта BTIER.
• Поддержка использования образов Ceph RBD в качестве внутренних устройств хранения.
• Поддержка Advanced Fibre Channel over Ethernet (FCoE): ESOS® включает «программный» целевой драйвер FCoE fcst и имеет возможность (варианты сборки) поддерживать аппаратные цели Emulex OCS FCoE CNA / Chelsio Uwire FCoE CNA.
• Расширенная подсистема хранения ZFS поддерживается как вариант сборки (через проект ZFS в Linux).

↓ 08 — CryptoNAS

Проект CryptoNAS приносит шифрование данных в массы. Live-CD CryptoNAS создан для людей, которые хотят зашифровать свои данные, не беспокоясь о сложных технических проблемах. Компьютер, на котором установлен Live-CD CryptoNAS, работает как файловый сервер (NAS), который шифрует ваши личные данные. Пакет CryptoNAS-Server добавляет удобный веб-интерфейс для шифрования жесткого диска на существующий файловый сервер.

Источник