Debian linux file systems

Sysadminium

База знаний системного администратора

Файловые системы поддерживаемые Linux

Поддержка файловых систем – это основная функция операционных систем. В этой статье познакомимся с тем, какие файловые системы могут быть использованы в операционной системе Linux.

Что такое файловая система

Полезные данные, такие как файлы и каталоги, напрямую на диск не записываются. Между разделом диска и файлами существует прослойка в виде файловой системы.

Файловая система – это средство, которое определяет различные правила работы с файлами, например:

• как данные будут располагаться на диске;
• как будет происходить запись, поиск, чтение или удаление файлов;
• какие метаданные будут использоваться;
• как обезопасить файлы от порчи (например при некорректном выключении компьютера);

Метаданные – данные о данных, например файл это данные, а метаданные это:

• дата его создания;
• пользователь создавший этот файл;
• тип файла;
• права доступа к этому файлу;
• и подобная информация о файле.

Разные файловые системы имеют разные ограничения, например:

• максимальный размер раздела;
• наибольший размер файла;
• максимальная длина имени файла.

В этой статье пробежимся по файловым системам, которые можно выбрать при установки Debian 10 и Ubuntu 20.04. При установке Debian 10 вы можете выбрать следующие файловые системы:

Установщик Ubuntu 20.04 имеет несколько меньший выбор:

Далее пробежимся по этим файловым системам:

Файловые системы семейства ext

EXT (Extended File System) — расширенная файловая система.

Ext2 была создана в январе 1993 года для linux, вот её особенности:

• не журналируемая;
• максимальная длина имени файла – 255B;
• максимальный размер файла – 16GB-2TB (в зависимости от размера кластера);
• максимальный размер раздела – 2TB-32TB (в зависимости от размера кластера);
• поддержка POSIX ACL.

Ext2 старая файловая система без журнала, но достаточно быстрая. Современные системы Linux могут работать с этой файловой системой.

Ext3 была создана в ноябре 1999 года и также стала применяться по умолчанию во многих дистрибутивах Linux. Единственное улучшение – это добавление журналирования (что сделало файловую систему надежнее, но медленнее).

Ext4 была создана в октябре 2006 года, но стабильная версия появилось в октябре 2008 года. Она сейчас является самой распространенной файловой системой для Linux. Убрали некоторые ограничения и оптимизировали:

• максимальный размер файла – 16 GB-16 TB (в зависимости от размера кластера);
• наибольший размер раздела – 1 EB (1048576 TB);
• максимальная длина имени файла – 255 B;
• время изменения файлов протоколируется точнее;
• упростилась работа с крупными файлами;
• была оптимизирована скорость работы.

На данный момент по моему мнению EXT4 лучший выбор для Linux систем.

btrfs

btrfs – это более функциональная и сложная файловая система чем ext4. Начали разрабатывать для Linux в 2007 году, а в 2014 году признали стабильной. Вот некоторые интересные функции:

• снимки состояния, которые позволяют запомнить состояние на определенный момент времени всех файлов и вернуться к этому состоянию в последующем. Полезно когда вы случайно удалили что-то важное или какой-то вирус зашифровал все ваши данные на компьютере;
• создание RAID конфигурации на уровне файловой системы;
• сжатие данных, когда данные при создании автоматически сжимаются экономя свободное место на диске;
• дедупликация данных. Когда есть два или более одинаковых файла, то они занимают размер только одного файла, что очень экономит пространство на жестком диске;
• контрольные суммы для данных и метаданных, что повышает надежность файловой системы;
• дефрагментация данных на лету;
• квоты на разделы;
• динамическая аллокация inode;
• максимальный размер файла 16 EB;
• наибольший размер раздела 16 EB;
• максимальный размер имени файла 255 B;

Из минусов: файловая система не так проверена временем как ext4, активно использует оперативную память и работает медленнее чем ext4.

JFS — это журналированная файловая система. На момент выхода в свет в 1999 году была наиболее производительной из существовавших файловых систем. Сейчас по функциональности сравнима с ext4, но менее популярна.

Вот некоторые её особенности:

• максимальная длина имени файла 255 B;
• максимальный размер файла 4 PB (4000 TB);
• максимальный размер раздела 32 PB (32000 TB);
• контрольные суммы;
• поддержка acl.

Так как по функциональности эта файловая система сравнима с ext4, но по характеристикам и популярности отстаёт, то в Ubintu установщик уже не предлагает использовать её. Можно использовать, если у вас будут храниться файлы размером более 16 ТБ, хотя и в этом случае лучше выбрать XFS.

XFS – это журналированная файловая система. Особенно хорошо работает с большими неизменяемыми файлами. Имеет следующие особенности:

• максимальная длина имени файла 255 B;
• наибольший размер файла 9 EB;
• максимальный размер раздела 9 EB;
• автоматическая аллокация и высвобождение inode;
• дефрагментация «на лету»;

• низкая производительность при работе с большим количеством файлов;
• невозможность уменьшить размер существующей файловой системы.

Эта файловая система позволит хранить просто огромные файлы, размер которых может достигать 9 EB.

Файловые системы семейства fat

Эти файловые системы могут работать в linux но создавались они для windows. Могут подойти для хранения файлов, но не для работы программ. Основной недостаток FAT – медленная работа с файлами:

• fat16 — максимальный раздел 2 GB, в настоящее время потеряла свою актуальность;
• fat32 — максимальный раздел 2 TB, для работы приложений не подходит, максимум можно использовать для хранения информации на флеш накопителе.

• В настоящее время рекомендуется использовать ext4 для работы Linux систем, а если вам нужны дополнительные функции можно изучить и использовать btrfs, если планируете хранить крупные файлы то можно попробовать xfs.
• Также если вам важнее скорость чем надежность можно использовать ext2, так как в ней нет журнала она должна работать быстрее чем ext4.
• Ну а fat32 можно использовать для хранения информации на флеш накопителе.

Кроме перечисленных файловых систем Linux может работать и с другими, например ntfs или zfs. Но так как их нельзя выбирать при установке, они были опущены. На этом сайте я планирую познакомить вас с файловой системой zfs, так как имею большой опыт работы с ней, но не в этом курсе, а в отдельных статьях.

Источник

Дисковые и сетевые файловые системы Linux

Разные файловые системы fs, как упоминалось ранее, предназначены для хранения информации на внешних носителях и преследуют различные цели, например, обеспечивают надежное хранение при помощи журнала транзакций или быстрый поиск метаданных файла (среди множества каталогов, подкаталогов и других файлов) по его имени, либо учитывают специфику свойств самого носителя и т. д.

Дисковые файловые системы

В большинстве случаев до сих пор носителями информации являются магнитные или оптические диски, благодаря чему файловые системы, размещаемые на них, зачастую называются «дисковыми» файловыми системами, даже если используются на твердотельных (flash) носителях.

Для магнитных дисков, характеризующихся возможностью чтения и записи блоков информации в произвольное место носителя (random access), в Linux на текущий момент времени используются «родные» файловые системы

• W:[Ext2],
• W:[Ext3] и
• W:[Ext4],
• специально разработанные W:[ReiserFS] и W:[Reiser4],
• а также заимствованные W:[XFS] и W:[JFS],

Для оптических CD/DVD-дисков, имеющих специфику записи в виде спиральной к дорожки, применяются файловые системы W:[ISO 9660] и W:[udf].

Для USB-flash-накопителей в большинстве случаев используются заимствованные файловые системы W:[FAT] и W:[NTFS] в силу применения этих накопителей как мобильных средств переноса данных между разными компьютерами с различными операционными системами.

Сетевые файловые системы

Сетевые файловые системы, равно как и дисковые, обеспечивают хранение информации на внешнем носителе, которым в их случае — выступает файловый сервер (например, домашний NAS, Network Attached Storage), доступный по протоколу NFS (Network File System, W: [Network File System]), CIFS/SMB (Common Internet Fite System или Server Message Block, W: [Server_Message_Block]) или им подобным.

Одноименные файловые системы nfs и cifs/smb используются для монтирования файлов сервера в дерево каталогов клиента.

Таким образом, обычные (ничего не знающие ни про какие сетевые протоколы) программы, запускаемые в операционной системе клиента, используют файлы сетевого сервера точно так, как если бы они были размещены на локальных дисках, под управлением дисковых файловых систем.

В примере из листинга ниже программы avconv и avprobe, предназначенные для работы с «обычными» видеофайлами, используются для обработки записей сетевого видеорегистратора, видеофайлы которого доступны по протоколу NFS.

Смонтированные при помощи сетевой файловой системы nfs в дерево каталогов файлы сетевого регистратора становятся никак неотличимы от файлов локальных дисковых файловых систем.

Сетевая файловая система NFS

$ mount -t nfs 182.168.1.10:/share/video /mnt/nas/video

$ mount

182.168.1.10:/share/video on /mnt/nas/video type nfs (rw)

$ cd /mnt/nas/video/screencasts

$ ls

$ file 20170521142626.mp4

20170521142626.mp4: ISO Media, MPEG v4 system, version 2

$ avprobe 20140523142626.mp4

Input #0, mov,mp4,m4a,3gp,3g2,mj2, from ‘20170521142626.mp4’:

Duration: 00:00:06.94, start: 0.000000, bitrate: 11020 kb/s ,

Stream #0.0(eng): Video: h264 (High), yuv420p, 1920×1080 [PAR 1:1 DAR 16:9], 10843 kb/s, 50 fps, 50 tbr, 50k tbn, 100 tbc

$ avconv -i 20170521142626. mp4 20170521142626.mkv

Output #0, matroska, to ‘20170521142626.mkv’:

Stream #0.0(eng): Video: mpeg4, yuv420p, 1920×1080 [PAR 1:1 DAR 16:9], q=2-31, 200 kb/s, 1k tbn, 50 tbc

Stream #0:0 -> #0:0 (H264 -> mpeg4)

Stream #0:1 -> #0:1 (aac -> libvorbis)

Press ctrl-c to stop encoding

frame= 395 fps= 72 q=31.0 Lsize= 2481kB time=7.94 bitrate=2561.5kbits/s dup=0 drop=l video:2339kB audio: 128kB global headers:4kB muxing overhead 0.457686%

Аналогично, в примере из листинга ниже геотеги файлов изображений сетевого видеорегистратора анализируются утилитой exiv2, предназначенной для работы с «обычными» изображениями.

За счет файловой системы cifs и доступности видеорегистратора по протоколу CIFS его содержимое смонтировано в дерево каталогов так, словно сетевой регистратор является локальным дисковым накопителем.

Сетевая файловая система CIFS/SMB

$ mount -t cifs -o username=guest //182.168.1.10/share/photos /mnt/nas/photos Password:

$ mount

. . . . . . . . .
//182.168.1.10/share/photos on /mnt/nas/video type cifs (rw)

$ cd /mnt/nas/photos

$ ls
DSC_0034.JPG DSC_0043.JPG DSC_0062.JPG DSC_0074.JPG DSC_0100.JPG DSC_0189.JPG

Источник

Файловые системы в Linux

XFS — начало разработки 1993 год, фирма Silicon Graphics, в мае 2000 года предстала в GNU GPL, для пользователей большинства Linux систем стала доступна в 2001-2002 гг. Отличительная черта системы — прекрасная поддержка больших файлов и файловых томов, 8 эксбибайт — 1 байт (8*2 60 -1 байт) для 64-х битных систем. Ко всему прочему обладает другими немаловажными особенностями — непрерывные области дискового пространства, задержка выделения пространства и онлайн дефрагментация. Является одной из старейших журналируемых файловых систем для *nix, и содержит в себе наиболее отлаженный, в этом контексте, исходный код.

ReiserFS (Reiser3) — одна из первых журналируемых файловых систем под Linux, разработана Namesys. Имеет некоторые врождённые головные боли, но в целом неплохая система, ведущая отсчёт дней своих с 2001 года. Оговорюсь, что смысл журналируемых систем заключается в дисковых транзакциях, которые последовательно пишутся в специальную зону диска (журнал, он же лог), перед тем как данные попадают в конечные точки файловой системы. Максимальный объём тома для этой системы равен 16 тебибайт (16*2 40 байт).

JFS (Journaled File System) — файловая система, детище IBM, явившееся миру в далёком 1990 году для ОС AIX (Advanced Interactive eXecutive). В виде первого стабильного релиза, для пользователей Linux, система стала доступна в 2001 году. Из плюсов системы — неплохая масштабируемость. Из минусов — не особо активная поддержка на протяжении всего жизненного цикла. Максимальный рамер тома 32 пэбибайта (32*2 50 байт).

ext (extended filesystem) — появилась в апреле 1992 года, это была первая файловая система, изготовленная специально под нужды Linux ОС. Разработана Remy Card с целью преодолеть ограничения файловой системы Minix.

ext2 (second extended file system) — была разработана Remy Card в 1993 году. Не журналируемая файловая система, это был основной её недостаток, который исправит ext3.

ext3 (third extended filesystem) — по сути расширение исконной для Linux ext2, способное к журналированию. Разработана Стивеном Твиди (Stephen Tweedie) в 1999 году, включена в основное ядро Linux в ноябре 2001 года. На фоне других своих сослуживцев обладает более скромным размером пространства, до 4 тебибайт (4*2 40 байт) для 32-х разрядных систем. На данный момент является наиболее стабильной и поддерживаемой файловой системой в среде Linux.

Reiser4 — первая попытка создать файловую систему нового поколения для Linux. Впервые представленная в 2004 году, система включает в себя такие передовые технологии как транзакции, задержка выделения пространства, а так же встроенная возможность кодирования и сжатия данных. Ханс Рейзер (Hans Reiser), главный разработчик системы, рекламировал использовать своё детище непосредственно как БД с улучшенными метаданными. После того, как Ханс Рейзер был осуждён за убийство в 2008 году, дальнейшая судьба системы стала сомнительной.

ext4 — попытка создать 64-х битную ext3 способную поддерживать больший размер файловой системы (1 эксбибайт). Позже добавились возможности — непрерывные области дискового пространства, задержка выделения пространства, онлайн дефрагментация и прочие. Обеспечивается прямая совместимость с системой ext3 и ограниченная обратная совместимость при недоступной способности к непрерывным областям дискового пространства.

UPD: Btrfs (B-tree FS или Butter FS) — проект изначально начатый компанией Oracle, впоследствии поддержанный большинством Linux систем. Многие считаеют систему эдаким ответом на ZFS. Ключевыми особенностями данной файловой системы являются технологии: copy-on-write, позволяющая сделать снимки областей диска (снапшоты), которые могут пригодится для последующего восстановления; контроль за целостностью данных и метаданных (с повышенной гарантией целостности); сжатие данных; оптимизированный режим для накопителей SSD (задаётся при монтировании) и прочие. Немаловажным фактором является возможность перехода с ext3 на Btrfs. С августа 2008 года данная система выпускается под GNU GPL.

Tux2 — известная, но так и не анонсированная публично файловая система. Создатель Дэниэл Филипс (Daniel Phillips), система базируется на алгоритме «Фазового Дерева», который как и журналирование защищает файловую систему от сбоев. Организована как надстройка на ext2.

Tux3 — наступая на пятки Btrfs, представлена новая файловая система. Система создана на основе FUSE (Filesystem in Userspace), специального модуля для создания файловых систем на *nix платформах. Данный проект ставит перед собой цель избавиться от привычного журналирования, взамен предлагая версионное восстановление (состояние в определённый промежуток времени). Преимуществом используемой в данном случае версионной системы, является способ описания изменений, где для каждого файла создаётся изменённая копия, а не переписывается текущая версия. Такой подход позволяет более гибко управлять версиями.

UPD: Xiafs — задумка и разработка данной файловой системы принадлежат Frank Xia, основана на файловой системе MINIX. В настоящее время считается устаревшей и практически не используется. Наряду с ext2 разрабатывалась, как замена системе ext. В декабре 1993 года система была добавлена в стандартное ядро Linux. И хотя система обладала большей стабильностью и занимала меньше дискового пространства под контрольные структуры — она оказалась слабее ext2, ведущую роль сыграли ограничения максимальных размеров файла и раздела, а так же способность к дальнейшему расширению.

UPD: ZFS (Zettabyte File System) — изначально созданная в Sun Microsystems файловая система, для небезызвестной операционной системы Solaris в 2005 году. Отличительные особенности — отсутствие фрагментации данных как таковой, возможности по управлению снапшотами (snapshots), пулами хранения (storage pools), варьируемый размер блоков, 64-х разрядный механизм контрольных сумм, а так же способность адресовать 128 бит информации! В Linux системах может использоваться посредствам FUSE.

Источник