Файловые системы в Linux
XFS — начало разработки 1993 год, фирма Silicon Graphics, в мае 2000 года предстала в GNU GPL, для пользователей большинства Linux систем стала доступна в 2001-2002 гг. Отличительная черта системы — прекрасная поддержка больших файлов и файловых томов, 8 эксбибайт — 1 байт (8*2 60 -1 байт) для 64-х битных систем. Ко всему прочему обладает другими немаловажными особенностями — непрерывные области дискового пространства, задержка выделения пространства и онлайн дефрагментация. Является одной из старейших журналируемых файловых систем для *nix, и содержит в себе наиболее отлаженный, в этом контексте, исходный код.
ReiserFS (Reiser3) — одна из первых журналируемых файловых систем под Linux, разработана Namesys. Имеет некоторые врождённые головные боли, но в целом неплохая система, ведущая отсчёт дней своих с 2001 года. Оговорюсь, что смысл журналируемых систем заключается в дисковых транзакциях, которые последовательно пишутся в специальную зону диска (журнал, он же лог), перед тем как данные попадают в конечные точки файловой системы. Максимальный объём тома для этой системы равен 16 тебибайт (16*2 40 байт).
JFS (Journaled File System) — файловая система, детище IBM, явившееся миру в далёком 1990 году для ОС AIX (Advanced Interactive eXecutive). В виде первого стабильного релиза, для пользователей Linux, система стала доступна в 2001 году. Из плюсов системы — неплохая масштабируемость. Из минусов — не особо активная поддержка на протяжении всего жизненного цикла. Максимальный рамер тома 32 пэбибайта (32*2 50 байт).
ext (extended filesystem) — появилась в апреле 1992 года, это была первая файловая система, изготовленная специально под нужды Linux ОС. Разработана Remy Card с целью преодолеть ограничения файловой системы Minix.
ext2 (second extended file system) — была разработана Remy Card в 1993 году. Не журналируемая файловая система, это был основной её недостаток, который исправит ext3.
ext3 (third extended filesystem) — по сути расширение исконной для Linux ext2, способное к журналированию. Разработана Стивеном Твиди (Stephen Tweedie) в 1999 году, включена в основное ядро Linux в ноябре 2001 года. На фоне других своих сослуживцев обладает более скромным размером пространства, до 4 тебибайт (4*2 40 байт) для 32-х разрядных систем. На данный момент является наиболее стабильной и поддерживаемой файловой системой в среде Linux.
Reiser4 — первая попытка создать файловую систему нового поколения для Linux. Впервые представленная в 2004 году, система включает в себя такие передовые технологии как транзакции, задержка выделения пространства, а так же встроенная возможность кодирования и сжатия данных. Ханс Рейзер (Hans Reiser), главный разработчик системы, рекламировал использовать своё детище непосредственно как БД с улучшенными метаданными. После того, как Ханс Рейзер был осуждён за убийство в 2008 году, дальнейшая судьба системы стала сомнительной.
ext4 — попытка создать 64-х битную ext3 способную поддерживать больший размер файловой системы (1 эксбибайт). Позже добавились возможности — непрерывные области дискового пространства, задержка выделения пространства, онлайн дефрагментация и прочие. Обеспечивается прямая совместимость с системой ext3 и ограниченная обратная совместимость при недоступной способности к непрерывным областям дискового пространства.
UPD: Btrfs (B-tree FS или Butter FS) — проект изначально начатый компанией Oracle, впоследствии поддержанный большинством Linux систем. Многие считаеют систему эдаким ответом на ZFS. Ключевыми особенностями данной файловой системы являются технологии: copy-on-write, позволяющая сделать снимки областей диска (снапшоты), которые могут пригодится для последующего восстановления; контроль за целостностью данных и метаданных (с повышенной гарантией целостности); сжатие данных; оптимизированный режим для накопителей SSD (задаётся при монтировании) и прочие. Немаловажным фактором является возможность перехода с ext3 на Btrfs. С августа 2008 года данная система выпускается под GNU GPL.
Tux2 — известная, но так и не анонсированная публично файловая система. Создатель Дэниэл Филипс (Daniel Phillips), система базируется на алгоритме «Фазового Дерева», который как и журналирование защищает файловую систему от сбоев. Организована как надстройка на ext2.
Tux3 — наступая на пятки Btrfs, представлена новая файловая система. Система создана на основе FUSE (Filesystem in Userspace), специального модуля для создания файловых систем на *nix платформах. Данный проект ставит перед собой цель избавиться от привычного журналирования, взамен предлагая версионное восстановление (состояние в определённый промежуток времени). Преимуществом используемой в данном случае версионной системы, является способ описания изменений, где для каждого файла создаётся изменённая копия, а не переписывается текущая версия. Такой подход позволяет более гибко управлять версиями.
UPD: Xiafs — задумка и разработка данной файловой системы принадлежат Frank Xia, основана на файловой системе MINIX. В настоящее время считается устаревшей и практически не используется. Наряду с ext2 разрабатывалась, как замена системе ext. В декабре 1993 года система была добавлена в стандартное ядро Linux. И хотя система обладала большей стабильностью и занимала меньше дискового пространства под контрольные структуры — она оказалась слабее ext2, ведущую роль сыграли ограничения максимальных размеров файла и раздела, а так же способность к дальнейшему расширению.
UPD: ZFS (Zettabyte File System) — изначально созданная в Sun Microsystems файловая система, для небезызвестной операционной системы Solaris в 2005 году. Отличительные особенности — отсутствие фрагментации данных как таковой, возможности по управлению снапшотами (snapshots), пулами хранения (storage pools), варьируемый размер блоков, 64-х разрядный механизм контрольных сумм, а так же способность адресовать 128 бит информации! В Linux системах может использоваться посредствам FUSE.
Источник
Какие форматы файлов вы должны использовать с Linux?
Переключение с проприетарных приложений на бесплатное программное обеспечение с открытым исходным кодом обеспечивает определенную степень свободы и стабильности. Вы можете использовать понравившееся вам программное обеспечение бесплатно и столько времени, сколько хотите, с небольшими (если таковые имеются) ограничениями на ваше поведение. Это может помочь вам, если вы страстный пользователь Linux или ищете альтернативное программное обеспечение для Windows или Mac.
Но приложения являются лишь частью уравнения. Форматы файлов могут быть такими же ограничивающими. Если вы действительно хотите получить открытые, не ограничивающие возможности работы с компьютером, вы можете рассмотреть возможность принятия открытых форматов. Некоторые из них более широко используются, чем другие, поэтому, если вы переходите на Linux
Вы, вероятно, не захотите принять их всех. Тем не менее, каковы ваши варианты?
документы
Документы Microsoft Office вездесущи. Если ваш учитель, начальник или коллега отправит вам документ в Интернете, есть большая вероятность, что он придет как DOCX (обработка текста), XLSX (электронная таблица) или PPTX (презентация) файл. Тем не менее, несмотря на то, что Microsoft называет эти файлы документами Office Open XML, они не являются действительно открытыми.
Microsoft опубликовала стандарт и обещает не предъявлять иски никому, кто его использует, но они остаются подконтрольными Microsoft форматами. Кроме того, Microsoft не полностью поддерживает спецификацию, которую она разделяет с другими. В результате пользователи Microsoft Office и люди, которые используют любой другой офисный пакет
часто не вижу того же форматирования. Проблема здесь не в других производителях офисных пакетов, а в Microsoft.
OpenDocument Format — это открытый формат, понятный большинству офисных пакетов, включая LibreOffice, OpenOffice, WPS Office, Google Docs и KDE Calligra Suite. Microsoft Office также поддерживает файлы OpenDocument, хотя старые версии делают это плохо. Если вам нужно выбрать формат, ODT (обработка текста), ODS (электронная таблица) и ODP (презентация) — это способ, если вы не общаетесь с кем-то, кто использует только более старую версию Office.
Если вам не нужно беспокоиться о внесении изменений, перейдите с PDF Формат переносимого документа. Эти файлы выглядят одинаково независимо от того, с каким программным обеспечением вы их открываете. Adobe предоставила четкие и согласованные спецификации для реализации другими и предоставляет им лицензию без лицензионных отчислений, чтобы они могли делать то, что они хотят. Тем не менее, компания действительно разрабатывает несколько функций, которые не являются частью открытой спецификации и ограничиваются только Adobe Reader. Тем не менее, пользователи Linux обычно могут открывать большинство файлов PDF, не загружая ничего после установки.
Если вы не пишете ничего сложного, просто текст файлы открываются в любой операционной системе. RTF (Rich Text Format) файлы, как правило, широко поддерживаются, но, как и в старых DOC, XLS, а также РРТ Форматы RTF являются собственностью Microsoft.
Музыка
MP3 (MPEG-1 Audio Layer 3) является отраслевым стандартом. Это бесплатно? Своего рода. Чтобы создавать устройства или распространять контент, использующий этот формат, производители и производители контента должны были заплатить лицензионный сбор. Формат был свободен для прослушивания, поэтому стоимость была невидима для подавляющего большинства людей. Пользователи Linux являются исключением. Поскольку кодек не может распространяться бесплатно, многие операционные системы Linux не имеют возможности слушать MP3
Срок действия патентов, принадлежащих немецкой компании Fraunhofer IIS, истек в этом году
, Это делает формат бесплатным для любого использования и распространения. Fedora, популярный дистрибутив Linux, в котором нет закрытого кода или проприетарного кода, начал предлагать воспроизведение MP3 в версии 25
, Если вам нравятся ваши MP3-файлы, у вас мало причин для их конвертации.
Хотя, если вы хотите убедиться, что ваша музыка играет на Linux, OGG Vorbis, или его преемник OGG Opus, это путь. Vorbis — это бесплатный формат, разработанный Фондом Xiph.org в то время, когда MP3-файлы все еще были ограничены. Бесплатные и открытые операционные системы, из которых Linux не единственная
Поддержите этот формат из коробки. Люди также могут свободно использовать файлы OGG в видеоиграх, документальных фильмах и других средствах массовой информации.
Но есть и обратная сторона. Многие телефоны, медиаплееры, аудиосистемы и автомобили не поддерживают OGG. Windows и Mac также не поддерживают OGG, хотя вы можете устанавливать сторонние приложения, такие как VLC
которые поддерживают это.
MP3 и OGG являются форматами с потерями, то есть они теряют немного качества звука по сравнению с живым звучанием. WAV (Waveform Audio File Format) — это формат без потерь от Microsoft и IBM. Если вы скопируете компакт-диск в формат WAV, вы сохраните больше звука, чем при использовании MP3.
Тем не менее, файлы WAV могут быть огромными. Один альбом может быть сотни мегабайт. Цены на жесткие диски упали, что делает библиотеки WAV более доступными, но они по-прежнему могут быть гораздо сложнее, чем онлайн-сервис резервного копирования или синхронизации.
Как WAV, FLAC (Free Lossless Audio Codec) — это формат без потерь, созданный теми же людьми, которые принесли нам OGG. FLAC использует сжатие, поэтому аудио, хранящиеся в этом формате, не будут занимать столько места, сколько файлы WAV. С другой стороны, эти данные все равно будут значительно больше, чем звуки, хранящиеся в формате с потерями.
Многие другие аудиоформаты имеют юридические ограничения на их использование, такие как AAC (Advanced Audio Coding) и WMA (Windows Media Audio). В результате они не поддерживаются «из коробки» на большинстве дистрибутивов Linux. И это еще не все
видео
С видео форматы файлов в значительной степени скрыты для большинства пользователей. В отличие от музыки, мы не загружаем большинство видео, которые мы смотрим, на наши жесткие диски в формате без DRM. Вместо этого мы транслируем шоу и фильмы онлайн. Нам все еще нужно иметь необходимые кодеки для просмотра этого контента, но это программное обеспечение часто входит в состав браузера.
Когда вы загружаете видео, это обычно MP4 (MPEG 4 версия 2). Эти файлы обычно содержат комбинацию кодека H.264 для видео и AAC для аудио. Оба защищены патентами и в разной степени требуют лицензирования для использования. В результате пользователи Linux обычно не получают воспроизведение MP4 из коробки.
OGG Theora файлы это отдельная история. Как и OGG Vorbis, этот формат является бесплатным для всех, кто пожелает. К сожалению, конструктивные ограничения привели к низким показателям внедрения даже среди видеоподкастеров в сообществе свободного и открытого программного обеспечения.
Если вы хотите связать аудио и видео в формате открытого контейнера, подумайте MKV (Matroska). Он может обрабатывать аудио, видео, субтитры и многое другое, а также бесплатно и с открытым исходным кодом. Открыто WebM Формат, используемый для онлайн-видео, основан на профиле Matroska.
Имейте в виду, что файл MKV не обязательно может быть запущен на вашем компьютере с Linux из коробки. Матроска это контейнер, а не кодек
, Файл MKV, содержащий проприетарные кодеки, по-прежнему требует, чтобы у вас была возможность воспроизводить эти кодеки.
Но я не хочу переключаться!
Вам не нужно. Легко получить ограниченные мультимедийные форматы для работы под Linux. Некоторые, которые не базируются в США или имеют коммерческое влияние, отправляют их из коробки. Другие, такие как Ubuntu, делают установку их так же просто, как нажатие кнопки. И если вы хотите быть уверенным, что находитесь в безопасности закона, вы можете купить пакет кодеков. Если вы беспокоитесь об офисных документах, то возможно установить Microsoft Office на Linux
Повлияла ли когда-нибудь поддержка форматов файлов на ваше решение перейти на Linux? Знаете ли вы кого-то, для кого эта проблема нарушает условия сделки? Какие форматы вы хотели бы видеть улучшения? Поделитесь своими мыслями!
Источник
Типы файлов в Linux
Философия операционных систем Unix гласит, что все есть файл. Это значит, что вся работа с этой операционной системой сводится к файлам. Поскольку Linux можно считать тоже потомком Unix, то эта концепция применима и здесь. Файлы это объекты, в которые мы записываем информацию и наши данные, исполняемые файлы, но кроме этих привычных нам понятий здесь есть файлы специального назначения — файлы устройств, файлы туннелей, сокетов и многое другое. Эта тема очень слабо освещена в интернете, поэтому в нашей сегодняшней статье мы рассмотрим типы файлов linux.
Пространство нашего жесткого диска занято файлами разных типов. Например, взять даже наш корневой раздел (/), при создании файла, файловая система записывает его в определенном формате на нужное физическое место жесткого диска. Всегда, для работы с файлами используется файловая система, но не всегда она записывает файлы на диск, файловая система может работать на лету, генерируя файлы, например, как procfs, с помощью которой может быть выполнена настройка ядра linux или записывать файлы в оперативную память, как tmpfs расположенная в папке /tmp. Но все это не имеет значения, ведь в любом случае мы имеем дело именно с файлами.
В системе Linux нет различий между каталогами и файлами. Но каталоги могут объединять другие файлы в группы, чтобы их было легче найти и использовать. Все аппаратные устройства представлены в виде файлов и находятся в каталоге dev, только через эти файлы программы могут работать с ними.
Преимущество использования файлов как для обычной информации, так и для устройств, в том, что не нужно реализовать отдельный набор API интерфейсов для каждого устройства, с ним могут работать все стандартные утилиты Linux и API интерфейсы.
Типы файлов в Linux
Файлы в операционной системе Linux можно поделить на три основных типа:
- Обычные файлы, для хранения информации
- Специальные файлы — для устройств и туннелей
- Директории
Дальше рассмотрим более подробно эти типы файлов linux.
Обычные файлы
Это файлы, с которыми мы привыкли работать каждый день, они могут содержать текст, исполняемые инструкции для программ, изображения или другую информацию. Это самый распространенный тип файлов, которые вы можете найти в системе Linux. Рассмотрим небольшой список относящихся сюда файлов:
- Текстовые файлы
- Исполняемые файлы
- Файлы изображений
- Файлы архивов
- Файлы библиотек программ
- И другие подобные типы
Утилита ls может определять тип файла в режиме списка, обычные файлы обозначаются черточкой, например:
Эта статья была бы неполной, если бы мы рассматривали типы файлов, но не упомянули о форматах. Дело в том, что все обычные файлы сохранены в определенном формате, это нужно, чтобы система знала какой программой нужно открывать файл.
Посмотреть форматы файлов linux можно с помощью утилиты file. Например:
Система сообщила что это исполняемый файл, а теперь посмотрим обычный, текстовый:
Утилита умеет распознавать все известные форматы файлов. Чтобы узнать вывести все доступные форматы файлов linux наберите:
Специальные файлы
Специальные файлы намного интереснее, они предназначены для обмена информации с ядром, работы с устройствами или общения между программами. Такие файлы могут тоже быть нескольких типов, в зависимости от назначения.
Блочные файлы — это файлы устройств, которые обеспечивают буферизованный доступ к аппаратным компонентам. При записи данных на жесткий диск или на флешку нет смысла записывать данные сразу же после их поступления. Так мы будем только понапрасну расходовать ресурс устройства и энергию. Можно подождать пока наберется достаточное количество данных а потом записать их за один раз. Эти данные и собираются в буфере. С помощью таких файлов, файловая система и другие утилиты могут обращаться к драйверам аппаратных устройств. Такие файлы могут передать большой блок данных за небольшой один раз.
Утилита ls обозначает блочные файлы буквой b, например, выберем все блочные файлы из каталога /dev:
ls -l /dev/ | grep «^b»
Утилита file, которую мы рассматривали в предыдущем разделе тоже умеет определять типы файлов:
Символьные файлы обеспечивают не буферизованный доступ к аппаратным компонентам и ядру. Поскольку у них нет буфера, они позволяют передавать только по одному символу за один раз. А в остальном, это такие же файлы устройств, как и блочные файлы.
Вы также можете отфильтровать их с помощью ls. Символьные файлы обозначаются буквой c (character):
ls -l /dev/ | grep «^c»
Символические ссылки — это файлы, которые указывают на другие файлы в системе по их имени. Они могут указывать как на обычные файлы, таки на каталоги или другие типы файлов в linux. По сути, это те же ярлыки Windows. В Linux еще есть жесткие ссылки, но они не имеют отношения к типу файлов, потому что реализованы на уровне файловой системы и считаются обычными файлами. Поскольку они указывают на одно и то же место на диске, это два разных файла, с одинаковым содержимым.
Но вернемся к символическим ссылкам. Утилита ls обозначает их буквой l (link):
ls -l /dev/ | grep «^l»
Создавать символические ссылки можно с помощью утилиты ln. Например:
ln -s file1.txt file2.txt
Можете использовать ls чтобы убедиться в том, что это ссылка. Проверьте таким же образом жесткие ссылки, чтобы убедиться, что то что я сказал о них — правда.
Туннели и именованные туннели — это файлы, позволяющие настроить связь между двумя процессами перенаправив вывод одного процесса на вход другого. Именованные туннели используются для связи между двумя процессами и работают так же как и обычные туннели.
Обозначаются такие типы файлов linux буквой p (pipe):
ls -l /dev/ | grep «^p»
Чтобы создать именованный тоннель вы можете использовать утилиту mkfifo:
echo «test test test» > pipe1
После создания туннеля мы передали в него данные, и оболочка стала не интерактивной. Она будет ожидать пока данные будут прочитаны на другом конце туннеля. Открываем другую оболочку и читаем данные:
while read line ;do echo «Data: ‘$line’ «; done
Файлы сокетов — это файлы, обеспечивающие прямую связь между процессами, они могут передавать информацию между процессами, запущенными в разных средах или даже разных машинах. Это значит, что с помощью сокетов программы могут обмениваться данными даже по сети. По сути, сокет работает так же как туннели, но только в обе стороны.
Файлы сокетов обозначаются буквой s:
ls -l /dev/ | grep «^s»
Создать сокет можно с помощью функции socket() на языке программирования Си, чтение и запись выполняется системными вызовами read() и write(). Но нам сейчас не нужно писать реальную программу, будет достаточно немного поиграться. Поэтому воспользуемся утилитой nc. Создаем Unix сокет:
nc -lU socket.sock
Подключаемся к нему из другой консоли:
nc -U socket.sock
Все данные, которые вы будете набирать в одной из консолей будут отправляться на другую после нажатия Enter, связь работает в обоих направлениях.
Каталоги
Это специальные файлы, которые позволяют объединять другие и каталоги в группы для более простой навигации и поиска. Естественно, они могут содержать как обычные, так и специальные файлы, одним словом любые типы файлов ос linux. В системе Linux, файлы организуются в папки начиная от корня (/)
Обозначаются каталоги буквой d (directory):
Создать каталог в linux можно с помощью команды mkdir:
Заключение
Теперь у вас более четкое представление о том, почему в linux все является файлами, а также какие типы файлов в linux существуют в вашей системе. Вы можете найти более подробную информацию по каждому виду файлов в интернете, но если у вас остались вопросы, можете задать их в комментариях!
Источник
