Основные команды linux для работы с файлами

Основы Linux. Работа с файлами и каталогами

Многие пользователи Windows, по разным причинам, задумываются о переходе на Linux. Почему это так, рассуждать не будем, потому что философствовать на эту тему можно до бесконечности. Точно также как и не будем обсуждать что лучше — Windows или Linux, эта тема тоже философская. Одно можно сказать с полной уверенностью, многих людей останавливает стереотип, что Linux это очень сложно и надо быть крутым хацкером. На самом деле это полный бред, ничего сверхъестественного в этой операционной системе нет, и через какое-то время использования ты будешь себя чувствовать не менее комфортно чем в Windows.

И для тех кто всё-таки принял волевое решение, небольшой гайд по основам работы с файлами и каталогами.

Начнём с файловой системы, здесь нет привычных, пользователям Windows, дисков C, D и так далее, файловая система Linux имеет древовидную структуру и в основе её лежит корневой каталог, который обозначается символом «/», а за ним находятся остальные папки.

Конечно же в Linux есть набор стандартных каталогов которые унифицированы согласно стандарту FHS (Filesystem Hierarchy Standard), и среднестатистическому пользователю Windows разобраться где здесь чего, может быть сложновато, поэтому для большего понимания, давай ознакомимся с основными:

• /bin — основные двоичные модули (стандартные утилиты);
• /boot — содержит конфигурационные файлы загрузчика GRUB, образы ядра и другие вспомогательные файлы загрузчика;
• /dev — содержит файлы устройств, тут не лишним будет заметить, что в Linux все подключенные устройства представлены в виде файлов и обращение к ним происходит именно через файлы в этом каталоге;
• /etc — содержит конфигурационные файлы операционной системы и всех сетевых служб, здесь находятся именно общесистемные конфигурационные файлы, а пользовательские конфигурационные файлы находятся в домашнем каталоге каждого пользователя;
• /home — здесь находятся домашние каталоги всех пользователей, которые зарегистрированы в системе, а именно хранятся пользовательские данные и конфигурационные файлы конкретного пользователя. Обычный пользователь имеет права записи только в своем домашнем каталоге, а что бы изменять другие файлы в системе нужно иметь права доступа root;
• /lib – здесь находятся различные библиотеки и модули ядра, именно сюда устанавливаются различные зависимости необходимые для корректной работы приложений;
• /lost+found — в этот каталог система будет помещать поврежденные файла, в последствии их можно попробовать восстановить;
• /media — подключаемые носители, когда вставишь в компьютер флешку в этом каталоге создастся подкаталог с именем тома твоего устройства и используя его можно получить доступ к содержимому устройства;
• /mnt — в этот каталог можно мониторовать внешние или дополнительные файловые системы
• /opt — каталог содержащий вспомогательные пакеты, туда могут устанавливаться дополнительные пакеты программного обеспечения;
• /proc — содержит файлы с информацией о системе и процессах;
• /root – домашний каталог пользователя root;
• /run — в этом каталоге приложения могут хранить вспомогательные файлы, в том числе идентификаторы процессов;
• /sbin — содержит двоичные файлы, необходимые для администрирования системы;
• /srv – хранятся данные сервисных служб;
• /sys — информация о системе;
• /tmp – временные файлы;
• /usr — находятся приложения и файлы, используемые пользователями;
• /var — содержит наиболее часто изменяющиеся файлы, например, кэши программ, файлы системных журналов, временные файлы и т.д.

Теперь перейдём непосредственно к работе с каталогами и файлами и конечно, же работать с ними мы будем из терминала, потому в Linux без терминала никак, прими это за аксиому, в терминале работать быстро, надёжно и удобно (когда разберёшься). Поэтому давай разберём наиболее часто используемые команды.

И начнем мы с обновления системы. Есть несколько способов, в том числе это можно делать из пункта меню «Центра приложений», но проще это сделать командами:

sudo apt update	синхронизирует информацию из репозитория с локальным кэшем, эту команду необходимо выполнять перед установкой любых пакетов
sudo apt full-upgrade	обновит все пакеты, для которых вышли новые версии, в том числе установит необходимые зависимости и удалит мешающие пакеты, а также обновится ядро системы, если вышла новая версия

В предыдущем примере, для обновления системы, мы использовали менеджер пакетов — apt, как понятно из названия, он используется для установки, обновления и удаления программных пакетов в системе:

apt-get install program	установить/обновить program
apt-get remove program	удалить program, сохранив файлы конфигурации
apt-get purge program	удалить program и файлы конфигурации
apt-get check	проверить зависимости
apt-get autoclean	удалить старые архивные файлы пакетов

Одна из команд которую ты будешь применять очень часто это cd. Это команда изменения каталога, она позволяет перемещаться между каталогами:

cd /home/user	перейти в указанный каталог
cd /	перейти корневой каталог
cd	перейти в домашний каталог текущего пользователя
cd ../..	перейти в каталог на два уровня выше
cd —	перейти в каталог в котором находился до перехода в текущий

Следующая очень полезная команда: ls. Просмотр содержимого каталога:

ls	покажет файлы и каталоги в текущей папке
ls -l	покажет содержимое с подробной информацией (дата создания, размер, права доступа и т.д.)
ls -a	покажет содержимое включая скрытые файлы (начинаются с символа «.»)

Иногда возникает необходимость увидеть полный путь к каталогу в котором ты работаешь, для этого используется команда: pwd

Что бы создать новый каталог, нужно воспользоваться командой mkdir и указать название нового каталога (не забывай, что ты можешь создавать новые каталоги только внутри папки в которой у тебя есть права на запись (о правах доступа будет чуть ниже)):

mkdir newfolder	создаст каталог с именем newfolder
mkdir new new1	создаст два каталога с именами new и new1
mkdir -p new/new1/new2	создаст указанное дерево директорий

Рассмотрим команды копирования:

cp file1 file2	скопировать файл file1 в файл file2 (если файлы не в текущем каталоге необходимо указывать полный путь к файлам
cp file1 /home/user1/	скопировать файл file1 в каталог user1
cp -r folder1 folder2	скопировать каталог folder1 в каталог folder2 (если каталога folder2 не существует он будет создан) (folder1/2 это полный путь к каталогу)

Команды удаления:

rm file1	удалить file1
rm -r folder1	удалить каталог folder1

Команды переименования/перемещения:

mv file1 newname	переименовать файл (каталог) file1 в newname
mv file1 folder1	переместить файл file1 в каталог folder2
mv folder1 folder2	переместить каталог folder1 в каталог folder2

Просмотр содержимого файлов:

cat file1	показать содержимое файла file1 в терминале
tac file1	показать содержимое файла file1 в терминале начиная с конца
less file1	показать содержимое файла file1 в терминале, постранично, с возможно листать страницы

Права доступа к файлам и каталогам

Чтобы изменить права доступа необходимо воспользоваться командой chmod, она имеет такой синтаксис:

chmod кому-какие-права-предоставить имя_файла

Права доступа к файлам:
r — право на чтение данных;
w — право на изменение содержимого (но не удаление);
x — право на исполнение файла;

Права доступа к каталогам:
r — право на чтение каталога (можно прочитать содержимое, т.е. получить список объектов, находящихся в каталоге)
w — право на изменение содержимого каталога (можно создавать и удалять объекты)
x — позволяет войти в каталог

Существует три типа пользователей, каждому права задаются отдельно:
u — пользователь, который владеет этим файлом;
g — пользователи из группы, владеющей данным файлом;
o — все остальные пользователей

Для того чтобы упростить процесс изменения прав проще использовать такие, наиболее распространённые комбинации;

400 (-r——–)	Владелец имеет право чтения; никто другой не имеет права выполнять никакие действия
644 (-rw-r–r–)	Все пользователи имеют право чтения; владелец может редактировать
660 (-rw-rw—-)	Владелец и группа могут читать и редактировать; остальные не имеют права выполнять никаких действий
664 (-rw-rw-r–)	Все пользователи имеют право чтения; владелец и группа могут редактировать
666 (-rw-rw-rw-)	Все пользователи могут читать и редактировать
700 (-rwx——)	Владелец может читать, записывать и запускать на выполнение; никто другой не имеет права выполнять никакие действия
744 (-rwxr–r–)	Все пользователи могут читать, владелец имеет право редактировать и запускать на выполнение
755 (-rwxr-xr-x)	Все пользователи имеет право читать и запускать на выполнение; владелец может редактировать
777 (-rwxrwxrwx)	Все пользователи могут читать, редактировать и запускать на выполнение
1555 (-r-xr-xr-t)	Все пользователи имеют право читать и запускать на выполнение; удалить файл может только владелец этого файла
2555 (-r-xr-sr-x)	Все пользователи имеют право читать и запускать на выполнение с правами группы(user group) владельца файла
4555 (-r-sr-xr-x)	Все пользователи имеют право читать и запускать на выполнение с правами владельца файла

chmod 777 file1

все пользователи могут читать, редактировать и запускать файл file1

Для первого раза, пожалуй, хватит. Перечисленных мною команд, как мне кажется, будет достаточно среднестатистическому пользователю для работы с файлами и каталогами в Linux. А в следующих уроках разберемся как работать с дисками, сетью, процессами и т.д., поэтому не забывай возвращаться к нам.

Источник

Базовые команды Linux для тестировщиков и не только

Всем привет! Меня зовут Саша, и я больше шести лет занимаюсь тестированием бэкенда (сервисы Linux и API). Мысль о статье у меня появилась после очередной просьбы знакомого тестировщика подсказать ему, что можно почитать по командам Linux перед собеседованием. Обычно от кандидата на позицию QA инженера требуют знание основных команд (если, конечно, подразумевается работа с Linux), но как понять, про какие команды стоит почитать во время подготовки к собеседованию, если опыта работы с Linux мало или вовсе нет?

Поэтому, хоть про это уже и много раз написано, я всё же решился написать ещё одну статью «Linux для новичков» и перечислить здесь базовые команды, которые нужно знать перед любым собеседованием в отдел (или компанию), где используют Linux. Я подумал, какие команды и утилиты и с какими параметрами я использую чаще всего, собрал фидбек от коллег, и скомпоновал это всё в одну статью. Статья условно делится на 3 части: сначала краткая информация об основах ввода-вывода в терминале Linux, затем обзор самых базовых команд, а в третьей части описывается решение типовых задач в Linux.

У каждой команды есть много опций, здесь все они перечислены не будут. Всегда можно ввести `man ` или ` —help`, чтобы узнать о команде подробнее.

Если какая-то команда выполняется слишком долго, её можно завершить, нажав в консоли Ctrl+C (процессу посылается сигнал SIGINT).

Немного о выводе команд

Когда запускается процесс в Linux, создаётся 3 стандартных потока данных для этого процесса: stdin, stdout и stderr. Они имеют номер 0, 1 и 2 соответственно. Но нас сейчас интересуют stdout и, в меньшей степени, stderr. Из названий несложно догадаться, что stdout используется для вывода данных, а stderr — для вывода сообщений об ошибках. По умолчанию при запуске команды в Linux stdout и stderr выводят всю информацию на консоль, однако, если вывод команды большой, может быть удобно перенаправить его в файл. Это можно сделать, например, так:

Если мы выведем содержимое файла man_signal, то мы увидим, что оно идентично тому, что было бы при простом запуске команды `man signal`.

Операция перенаправления `>` по умолчанию использует stdout. Можно указать о перенаправлении stdout явно: `1>`. Аналогично можно указать о перенаправлении stderr: `2>`. Можно эти операции скомбинировать и таким образом разделить обычный вывод команды и вывод сообщений об ошибках:

Перенаправить и stdout, и stderr в один файл можно следующим образом:

Операция перенаправления `2>&1` означает перенаправление stderr туда же, куда направлен stdout.

Еще один удобный инструмент для работы с вводом-выводом (а точнее, это удобное средство межпроцессного взаимодействия) — pipe (или конвейер). Конвейеры часто используются для связи нескольких команд: stdout команды перенаправляется в stdin следующей, и так по цепочке:

Базовые команды Linux

Вывести текущую (рабочую) директорию.

Вывести текущую дату и время системы.

Данная команда показывает, кто залогинен в системе. Помимо этого также на экран выводится uptime и LA (load average).

Вывести содержимое директории. Если не передать путь, то выведется содержимое текущей директории.

Лично я часто использую опции -l (long listing format — вывод в колонку с дополнительной информацией о файлах), -t (сортировка по времени изменения файла/директории) и -r (обратная сортировка — в сочетании с -t наиболее «свежие» файлы будут внизу):

Есть 2 специальных имени директории: «.» и «..«. Первое означает текущую директорию, второе — родительскую директорию. Их бывает удобно использовать в различных командах, в частности, ls:

Также есть полезная опция для вывода скрытых файлов (начинаются на «.«) — -a:

И еще можно использовать опцию -h — вывод в human readable формате (обратите внимание на размеры файлов):

Изменить текущую директорию.

Если не передавать имя директории в качестве аргумента, будет использоваться переменная окружения $HOME, то есть домашняя директория. Также может быть удобно использовать `

` — специальный символ, означающий $HOME:

mkdir

Иногда нужно создать определенную структуру директорий: например, директорию в директории, которой не существует. Чтобы не вводить несколько раз подряд mkdir, можно использовать опцию -p — она позволяет создать все недостающие директории в иерархии. Также с этой опцией mkdir не вернет ошибку, если директория существует.

Опция -r позволяет рекурсивно удалять директории со всем их содержимым, опция -f позволяет игнорировать ошибки при удалении (например, о несуществующем файле). Эти опции позволяют, грубо говоря, гарантированно удалить всю иерархию файлов и директорий (если на это есть права у пользователя), поэтому, их нужно использовать с осторожностью (классический пример-шутка — «rm -rf /«, при определенных обстоятельствах удалит вам если не всю систему, то очень много важных для её работоспособности файлов).

Копировать файл или директорию.

У этой команды также есть опции -r и -f, их можно использовать, чтобы гарантированно скопировать иерархию директорий и папок в другое место.

Переместить или переименовать файл или директорию.

Вывести содержимое файла (или файлов).

Также стоит обратить внимание на команды head (вывести n первых строк или байт файла) и tail (о ней — далее).

Вывести n последних строк или байт файла.

Очень полезной является опция -f — она позволяет выводить новые данные в файле в реальном времени.

Иногда текстовый файл слишком большой, и неудобно выводить его командой cat. Тогда можно открыть его с помощью команды less: файл будет выводиться по частям, доступна навигация по этим частям, поиск и прочий простой функционал.

Также может оказаться удобным вариант использования less с конвейером (pipe):

Вывести список процессов.

Я сам обычно использую BSD опции «aux» — вывести все процессы в системе (так как процессов может быть много, я вывел только первые 5 из них, использовав конвейер (pipe) и команду head):

Многие также используют BSD опции «axjf«, что позволяет вывести дерево процессов (здесь я убрал часть вывода для демонстрации):

У этой команды много различных опций, так что при активном использовании рекомендую ознакомиться с документацией. Для большинства же случаев хватит просто знать «ps aux«.

Послать сигнал процессу. По умолчанию посылается сигнал SIGTERM, который завершает процесс.

Так как процесс может иметь обработчики сигналов, kill не всегда приводит к ожидаемому результату — моментальному завершению процесса. Чтобы «убить» процесс наверняка, нужно послать процессу сигнал SIGKILL. Однако это может привести к потере данных (например, если процесс перед завершением должен сохранить какую-то информацию на диск), так что нужно пользоваться такой командой осторожно. Номер сигнала SIGKILL — 9, поэтому короткий вариант команды выглядит так:

Помимо упомянутых SIGTERM и SIGKILL существует еще множество различных сигналов, их список можно легко найти в интернете. И не забывайте, что сигналы SIGKILL и SIGSTOP не могут быть перехвачены или проигнорированы.

Послать хосту ICMP пакет ECHO_REQUEST.

По умолчанию ping работает, пока его не завершить вручную. Поэтому может быть полезна опция -c — количество пакетов, после отправки которых ping завершится самостоятельно. Ещё одна опция, которую я иногда использую — -i, интервал между посылками пакетов.

OpenSSH SSH клиент, позволяет подключаться к удаленному хосту.

Есть много нюансов в использовании SSH, также этот клиент обладает большим количеством возможностей, поэтому при желании (или необходимости) можно почитать про это более подробно.

Копировать файлы между хостами (для этого используется ssh).

rsync

Также для синхронизации директорий между хостами можно использовать rsync (-a — archive mode, позволяет скопировать полностью всё содержимое директории «как есть», -v — вывод на консоль дополнительной информации):

Вывести на экран строку текста.

Здесь заслуживают внимания опции -n — не дополнять строку переносом строки в конце, и -e — включить интерпретацию экранирования с помощью «\».

Также с помощью этой команды можно выводить значения переменных. Например, в Linux exit code последней завершенной команды хранится в специальной переменной $?, и таким образом можно узнать, какая именно ошибка произошла в последнем запущенном приложении:

telnet

Клиент для протокола TELNET. Используется для коммуникации с другим хостом.

Если нужно использовать протокол TLS (напомню, что SSL давно устарел), то telnet для этих целей не подойдёт. Зато подойдёт клиент openssl:

Решение типовых задач в Linux

Изменить владельца файла

Изменить владельца файла или директории можно с помощью команды chown:

В параметр этой команде нужно отдать нового владельца и группу (опционально), разделенных двоеточием. Также при изменении владельца директории может быть полезна опция -R — тогда владельцы изменятся и у всего содержимого директории.

Изменить права доступа файла

Эта задача решается с помощью команды chmod. В качестве примера приведу установку прав «владельцу разрешено чтение, запись и исполнение, группе разрешено чтение и запись, всем остальным — ничего»:

Первая 7 (это 0b111 в битовом представлении) в параметре означает «все права для владельца», вторая 6 (это 0b110 в битовом представлении) — «чтение и запись», ну и 0 — это ничего для остальных. Битовая маска состоит из трёх битов: самый младший («правый») бит отвечает за исполнение, следующий за ним («средний») — за запись, и самый старший («левый») — за чтение.
Также можно выставлять права с помощью специальных символов (мнемонический синтаксис). Например, в следующем примере сначала убираются права на исполнение для текущего пользователя, а затем возвращаются обратно:

У этой команды есть много вариантов использования, поэтому советую прочитать про неё подробнее (особенно про мнемонический синтаксис, например, здесь).

Вывести содержимое бинарного файла

Это можно сделать с помощью утилиты hexdump. Ниже приведены примеры её использования.

С помощью этой утилиты можно вывести данные и в других форматах, однако наиболее часто могут пригодиться именно такие варианты её использования.

Искать файлы

Найти файл по части имени в дереве каталогов можно с помощью команды find:

Также доступны другие опции и фильтры поиска. Например, так можно найти файлы в папке test, созданные более 5 дней назад:

Искать текст в файлах

Справиться с этой задачей поможет команда grep. У неё есть множество вариантов использования, здесь в качестве примера указан самый простой.

Один из популярных способов использования команды grep — использование её в конвейере (pipe):

Опция -v позволяет сделать эффект grep‘а обратным — будут выводиться только строки, не содержащие паттерн, переданный в grep.

Смотреть установленные пакеты

Универсальной команды нет, потому что всё зависит от дистрибутива Linux и используемого пакетного менеджера. Скорее всего вам поможет одна из следующих команд:

Посмотреть, сколько места занимает дерево директорий

Один из вариантов использования команды du:

Можно менять значение параметра -d, чтобы получать более подробную информацию о дереве директорий. Также можно использовать команду в комбинации с sort:

Опция -h у команды sort позволяет сортировать размеры, записанные в human readable формате (например, 1K, 2G), опция -r позволяет отсортировать данные в обратном порядке.

«Найти и заменить» в файле, в файлах в директории

Данная операция выполняется с помощью утилиты sed (без флага g в конце заменится только первое вхождение «old-text» в строке):

Можно использовать её для нескольких файлов сразу:

Вывести колонку из вывода

Справиться с этой задачей поможет awk. В данном примере выводится вторая колонка вывода команды `ps ux`:

При этом надо иметь ввиду, что awk обладает гораздо более богатым функционалом, так что при необходимости работы с текстом в командной строке стоит почитать об этой команде подробнее.

Узнать IP адрес по имени хоста

С этим поможет одна из следующих команд:

Сетевая информация

Можно использовать ifconfig:

При этом, если, например, вас интересует только IPv4, то можно добавить опцию -4:

Посмотреть открытые порты

Для этого используют утилиту netstat. Например, чтобы посмотреть все слушающие TCP и UDP порты с отображением PID’а процесса, слушающего порт, и с числовым представлением порта, нужно использовать ее со следующими опциями:

Информация о системе

Получить данную информацию можно с помощью команды uname.

Чтобы понять, в каком формате производится вывод, можно обратиться к help‘у данной команды:

Информация о памяти

Чтобы понять, сколько оперативной памяти занято или свободно, можно воспользоваться командой free.

Информация о файловых системах (свободное место на дисках)

Команда df позволяет посмотреть, сколько места свободно и занято на примонтированных файловых системах.

Опция -T указывает, что нужно выводить тип файловой системы.

Информация о задачах и различной статистике по системе

Для этого используется команда top. Она способна вывести разную информацию: например, топ процессов по использованию оперативной памяти или топ процессов по использованию процессорного времени. Также она выводит информацию о памяти, CPU, uptime и LA (load average).

Эта утилита обладает богатым функционалом, так что если вам надо часто ей пользоваться, лучше ознакомиться с её документацией.

Дамп сетевого трафика

Для перехвата сетевого трафика в Linux используется утилита tcpdump. Чтобы сдампить трафик на порте 12345, можно воспользоваться следующей командой:

Опция -A говорит о том, что мы ходим видеть вывод в ASCII (поэтому это хорошо для текстовых протоколов), -i any указывает, что нас не интересует сетевой интерфейс, port — трафик какого порта дампить. Вместо port можно использовать host, либо комбинацию host и port (host A and port X). И еще полезной может оказаться опция -n — не конвертировать адреса в хостнеймы в выводе.
Что если трафик бинарный? Тогда нам поможет опция -X — выводить данные в hex и ASCII:

При этом надо учитывать, что в обоих вариантах использования будут выводиться IP пакеты, поэтому в начале каждого из них будут бинарные заголовки IP и TCP. Вот пример вывода для запроса «123» посланного в сервер, слушающий порт 12345:

Источник