Фильтр вывода команд linux

Хотя обычно, как было сказано, ввод/вывод программы связаны со стандартными потоками, в оболочке существуют специальные средства для перенаправления ввода/вывода.

5.5.1 Операторы >, >

Для обозначения перенаправления используются символы «>«, » >«. Чаще всего используется перенаправление вывода команды в файл. Вот соответствующий пример:

[user]$ ls -l > /home/jim/dir.txt

По этой команде в файле /home/jim/dir.txt будет сохранен перечень файлов и подкаталогов того каталога, который был текущим на момент выполнения команды ls ; при этом если указанного файла не существовало, то он будет создан; если он существовал, то будет перезаписан; если же вы хотите, чтобы вывод команды был дописан в конец существующего файла, то надо вместо символа > использовать >> . При этом наличие пробелов до или после символов > или >> несущественно и служит только для удобства пользователя.

Вы можете направить вывод не только в файл, но и на вход другой команды или на устройство (например, принтер). Так, для подсчета числа слов в файле /home/jim/report.txt можно использовать следующую команду:

[user]$ cat /home/jim/report.txt > wc -w

а для вывода файла на печать — команду:

[user]$ cat /home/jim/report.txt > lpr

Как видите, оператор > служит для перенаправления выходного потока. По отношению к входному потоку аналогичную функцию выполняет оператор . Приведенный выше пример команды для подсчета числа слов в определенном файле можно переписать следующим образом (обратите внимание на отсутствие команды cat ):

Этот вариант перенаправления часто используется в различных скриптах, применительно к тем командам, которые обычно воспринимают ввод (или ожидают ввода) с клавиатуры. В скрипте же, автоматизирующем какие-то рутинные операции, можно дать команде необходимую информацию из файла, в который заранее записано то, что нужно ввести для выполнения этой команды.

В силу того, что символы , > и >> действуют на стандартные потоки, их можно использовать не только тем привычным образом, как это делается обычно, но и несколько по-другому. Так, следующие команды эквивалентны:

Однако сам по себе (без какой-либо команды, для которой определены стандартные потоки) символ перенаправления не может использоваться, так что нельзя, например, введя в командной строке

[user]$ file1 > file2

получить копию какого-то файла. Но это не уменьшает значения данного механизма, ведь стандартные потоки определены для любой команды. При этом перенаправить можно не только стандартный ввод и вывод, но и другие потоки. Для этого надо указать перед символом перенаправления номер перенаправляемого потока. Стандартный ввод stdin имеет номер 0, стандартный вывод stdout — номер 1, стандартный поток сообщений об ошибках stderr — номер 2. То есть полный формат команды перенаправления имеет вид (напомним, что пробелы возле > не обязательны):

где N и M — номера стандартных потоков (0,1,2) или имена файлов. Употребление в некоторых случаях символов , > и >> без указания номера канала или имени файла возможно только потому, что вместо отсутствующего номера по умолчанию подставляется 1, т. е. стандартный вывод. Так, оператор > без указания номера интерпретируется как 1 > .

Кроме простого перенаправления стандартных потоков существует еще возможность не просто перенаправить поток в тот или иной канал, а сделать копию содержимого стандартного потока. Для этого служит специальный символ & , который ставится перед номером канала, на который перенаправляется поток:

Такая команда означает, что выход канала с номером N направляется как на стандартный вывод, так и дублируется в канал с номером M . Например, для того, чтобы сообщения об ошибках дублировались на стандартный вывод, надо дать команду 2>&1, в то время как 1>&2 дублирует stdout в stderr. Такая возможность особенно полезна при перенаправлении вывода в файл, так как мы тогда одновременно и видим сообщения на экране, и сохраняем их в файле.

5.5.2 Оператор |

Особым вариантом перенаправления вывода является организация программного канала (иногда называет трубопроводом или конвейером). Для этого две или несколько команд, таких, что вывод предыдущей служит вводом для следующей, соединяются (или разделяются, если вам это больше нравится) символом вертикальной черты — «|». При этом стандартный выходной поток команды, расположенной слева от символа | , направляется на стандартный ввод программы, расположенной справа от символа | . Например:

[user]$ cat myfile | grep Linux | wc -l

Эта строка означает, что вывод команды cat , т. е. текст из файла myfile, будет направлен на вход команды grep , которая выделит только строки, содержащие слово «Linux». Вывод команды grep будет, в свою очередь, направлен на вход команды wc -l , которая подсчитает число таких строк.

Программные каналы используются для того, чтобы скомбинировать несколько маленьких программ, каждая из которых выполняет только определенные преобразования над своим входным потоком, для создания обобщенной команды, результатом которой будет какое-то более сложное преобразование.

Надо отметить, что оболочка одновременно вызывает на выполнение все команды, включенные в конвейер, запуская для каждой из команд отдельный экземпляр оболочки, так что как только первая программа начинает что-либо выдавать в свой выходной поток, следующая команда начинает его обрабатывать. Точно так же каждая следующая команда выполняет свою операцию, ожидая данных от предыдущей команды и выдавая свои результаты на вход последующей. Если вы хотите, чтобы какая-то команда полностью завершилась до начала выполнения последующей, вы можете использовать в одной строке как символ конвейера | , так и точку с запятой ;. Перед каждой точкой с запятой оболочка будет останавливаться и ожидать, пока завершится выполнение всех предыдущих команд, включенных в конвейер.

Статус выхода (логическое значение, возвращаемое после завершения работы программы) из канала совпадает со статусом выхода, возвращаемым последней командой конвейера. Перед первой командой конвейера можно поставить символ «!», тогда статус выхода из конвейера будет логическим отрицанием статуса выхода из последней команды. Оболочка ожидает завершения всех команд конвейера, прежде чем установить возвращаемое значение.

5.5.3 Фильтры

Последний из приведенных выше примеров (с командой grep ) можно использовать для иллюстрации еще одного важного понятия, а именно, программы-фильтра. Фильтры — это команды (или программы), которые воспринимают входной поток данных, производят над ним некоторые преобразования и выдают результат на стандартный вывод (откуда его можно перенаправить куда-то еще по желанию пользователя). К числу команд-фильтров относятся уже упоминавшиеся выше команды cat, more, less, wc, cmp, diff , а также следующие команды.

Таблица 5.1. Команды-фильтры

grep , fgrep , egrep

Ищут во входном файле или данных со стандартного ввода строки, содержащие указанный шаблон, и выдают их на стандартный вывод

Заменяет во входном потоке все встречающиеся символы, перечисленные в заданном перечне, на соответствующие символы из второго заданного перечня

Сравнивает два файла по строкам и выдает на стандартный вывод 3 колонки: в одной — строки, которые встречаются только в 1 файле, во второй — строки, которые встречаются только во 2-ом файле: и в третьей — строки, имеющиеся в обоих файлах

Форматирует для печати текстовый файл или содержимое стандартного ввода

Строковый редактор, использующийся для выполнения некоторых преобразований над входным потоком данных (берется из файла или со стандартного ввода)

Особым фильтром является команда tee , которая «раздваивает» входной поток, с одной стороны направляя его на стандартный вывод, а с другой — в файл (имя которого вы должны задать). Легко видеть, что по своему действию команда tee аналогична оператору перенаправления 1>&file .

Возможности фильтров можно существенно расширить за счет использования регулярных выражений, позволяющих организовать, например, поиск по различным, зачастую очень сложным, шаблонам.

О перенаправлении и фильтрах можно было бы говорить очень много. Но этот материал имеется в большинстве книг по UNIX и Linux, например у Петерсена [П1.4] и Келли-Бутла [П1.8]. Поэтому ограничимся сказанным, и перейдем к рассмотрению так называемой среды или окружения, создаваемого оболочкой.

Источник

Фундаментальные основы Linux. Часть IV. Программные каналы и команды

Глава 17. Фильтры

Команды, которые были реализованы для использования совместно с программными каналами , называются фильтрами . Эти фильтры реализуются в виде простейших программ, которые крайне эффективно выполняют одну определенную задачу. Исходя из всего вышесказанного, они могут использоваться в качестве строительных блоков при создании сложных конструкций.

В данной главе представлена информация о наиболее часто используемых фильтрах . В результате комбинирования простых команд и фильтров с использованием программных каналов могут быть созданы элегантные решения.

Фильтр cat

Фильтр tee

Фильтр grep

Фильтр cut

Фильтр tr

Фильтр wc

Фильтр sort

Фильтр uniq

Фильтр comm

Фильтр od

Фильтр sed

Примеры конвейеров

Конвейер who | wc

Конвейер who | cut | sort

Конвейер grep | cut

Практическое задание: фильтры

1. Сохраните отсортированный список пользователей командной оболочки bash в файле bashusers.txt.

2. Сохраните отсортированный список пользователей, осуществивших вход в систему, в файле onlineusers.txt.

3. Создайте список всех имен файлов из директории /etc , в которых содержится строка conf .

4. Создайте список всех имен файлов из директории /etc , в которых содержится строка conf вне зависимости от регистра символов.

5. Рассмотрите вывод утилиты /sbin/ifconfg . Создайте команду, с помощью которой будут выводиться исключительно IP-адреса и маски подсетей.

6. Создайте команду, которая позволит удалить все не относящиеся к буквенным символы из потока данных.

7. Создайте команду, которая будет принимать файл и выводить каждое слово из него в отдельной строке.

8. Разработайте систему проверки орфографии с интерфейсом командной строки. (Словарь должен находиться в директории /usr/share/dict/ .)

Корректная процедура выполнения практического задания: фильтры

1. Сохраните отсортированный список пользователей командной оболочки bash в файле bashusers.txt.

2. Сохраните отсортированный список пользователей, осуществивших вход в систему, в файле onlineusers.txt.

3. Создайте список всех имен файлов из директории /etc , в которых содержится строка conf .

6. Создайте команду, которая позволит удалить все не относящиеся к буквенным символы из потока данных.

7. Создайте команду, которая будет принимать файл и выводить каждое слово из него в отдельной строке.

Также вы можете добавить решение из вопроса номер 6 для удаления не относящихся к буквенным символов и фильтр tr -s ‘ ‘ для удаления лишних символов пробелов.

Источник

Linux — Фильтры

Вступление

На этом занятии мы рассмотрели наиболее распространенные фильтры системы Linux. Команды, которые создаются для использования с каналом, часто называют фильтрами. Эти фильтры — очень маленькие программы, которые делают одну конкретную вещь очень эффективно. Их можно использовать как строительные блоки. Комбинация простых команд и фильтров в длинной трубе позволяет разрабатывать элегантные решения.

кошка

Когда между двумя каналами, команда cat ничего не делает (кроме помещения stdin на стандартный вывод).

тройник

Написание длинных каналов в Unix — это весело, но иногда вам могут потребоваться промежуточные результаты. Тройной фильтр помещает стандартный ввод в стандартный вывод, а также в файл. То есть, он почти такой же, как cat, за исключением того, что у него два идентичных выхода.

Grep

В Linux команда grep используется в качестве инструмента поиска и сопоставления с образцом. Наиболее распространенное использование grep — это фильтрация строк текста, содержащих (или не содержащих) определенную строку.

Вы можете написать это без кота.

Одним из наиболее полезных параметров grep является grep -i, который фильтрует без учета регистра.

Другой очень полезный параметр — это grep -v, который выводит строки, не соответствующие строке.

И, конечно, оба параметра можно комбинировать для фильтрации всех строк, не содержащих строку без учета регистра.

С grep -A1 также отображается одна строка после результата.

С grep -B1 за одну строку до результата также отображается.

С grep -C1 (context) также отображаются одна строка до и одна после. Все три параметра (A, B и C) могут отображать любое количество строк (например, A2, B4 или C20).

резать

Фильтр вырезания используется для вырезания выбранных полей (столбцов) каждой строки файла в зависимости от разделителя или количества байтов. Следующий код использует «cut» для фильтрации имени пользователя и идентификатора пользователя в файле / etc / passwd. Он использует двоеточие в качестве разделителя и выбирает поля 1 и 3.

При использовании пробела в качестве разделителя для выреза, вы должны заключить в кавычки пробел.

В этом примере используется cut, чтобы отобразить второй-седьмой символ / etc / passwd.

тр

Вы можете переводить символы с tr. Следующая команда показывает перевод всех вхождений ‘e’ в ‘E’.

Здесь мы устанавливаем все буквы в верхний регистр, определяя два диапазона.

Здесь мы переводим все новые строки в пробелы.

Фильтр tr -s также можно использовать для сжатия нескольких вхождений символа в одно.

Вы также можете использовать tr для «шифрования» текстов с помощью rot13.

В последнем примере для удаления символов используется tr -d.

Туалет

Команда wc используется для подсчета слов, строк и символов для каждого файла

Сортировать

Фильтр сортировки (сортировка по алфавиту) используется для сортировки строк текстовых файлов.

Но фильтр сортировки имеет много опций для настройки его использования. В этом примере показана сортировка разных столбцов (столбец 1 или столбец 2).

На приведенном ниже снимке экрана показана разница между сортировкой по алфавиту и числовой сортировкой (обе в третьей колонке).

уник

Команда uniq используется для пропуска повторяющихся строк в отсортированном списке.

uniq также может подсчитывать вхождения с помощью опции -c.

Прдч

Сравнивать потоки (или файлы) можно с помощью комм. По умолчанию comm выведет три столбца. В этом примере Abba, Cure и Queen находятся в обоих списках, Боуи и Свит только в первом файле, Тернер только во втором.

Вывод comm может быть легче читаться при выводе только одного столбца. Цифры указывают, какие выходные столбцы не должны отображаться.

О.Д.

Европейским людям нравится работать с символами ascii, но компьютеры хранят файлы в байтах. В приведенном ниже примере создается простой файл, а затем используется od для отображения содержимого файла в шестнадцатеричных байтах.

Этот же файл также может отображаться в восьмеричных байтах.

А вот файл в ascii (или обратно) символов.

СЕПГ

Sed — это потоковый редактор. Редактор потока используется для выполнения базовых преобразований текста в потоке ввода (файл или ввод из конвейера).

Добавьте g для глобальных замен (все вхождения строки в строке).

С помощью d вы можете удалить строки из потока, содержащего символ.

примеры труб

кто | Туалет

Сколько пользователей вошли в эту систему?

кто | вырезать | Сортировать

Показать отсортированный список зарегистрированных пользователей.

Показать отсортированный список зарегистрированных пользователей, но каждый пользователь только один раз.

grep | резать

Показать список всех учетных записей пользователей bash на этом компьютере. Аккаунты пользователей подробно объясняются позже.

Упражнение, практика и решение:

1. Поместите отсортированный список всех пользователей bash в bashusers.txt.

Код:

2. Разместите отсортированный список всех зарегистрированных пользователей в onlineusers.txt.

Код:

3. Составьте список всех имен файлов в / etc, которые содержат строку samba.

Код:

4. Создайте отсортированный список всех файлов в / etc, которые содержат строку samba без учета регистра.

Код:

5. Посмотрите на вывод / sbin / ifconfig. Напишите строку, которая отображает только IP-адрес и маску подсети.

Код:

6. Напишите строку, которая удаляет все не-буквы из потока.

Код:

7. Напишите строку, которая получает текстовый файл и выводит все слова в отдельной строке.

Код:

8. Напишите проверку орфографии в командной строке. (Может быть словарь в / usr / share /
dict /.)

Источник