Linux вырезать строки файла

Команда Cut в Linux с примерами

Linux Cut Command with Examples

В этом руководстве мы покажем вам, как использовать cut команду, на практических примерах и подробных объяснениях наиболее распространенных опций.

В системах Linux и Unix доступно множество утилит, позволяющих обрабатывать и фильтровать текстовые файлы. cut утилита командной строки, которая позволяет вырезать части строк из указанных файлов или данных по конвейеру и выводить результат в стандартный вывод. Его можно использовать для вырезания частей строки по разделителю, позиции байта и символу.

Как использовать cut команду

Синтаксис cut команды следующий:

Параметры, указывающие cut , использовать ли разделитель, позицию байта или символ при вырезании выделенных частей, выглядят следующим образом:

• -f ( —fields=LIST ) — Выберите, указав поле, набор полей или диапазон полей. Это наиболее часто используемый вариант.
• -b ( —bytes=LIST ) — Выберите, указав байт, набор байтов или диапазон байтов.
• -c ( —characters=LIST ) — Выберите, указав символ, набор символов или диапазон символов.

Вы можете использовать один и только один из вариантов, перечисленных выше.

• -d ( —delimiter ) — Укажите разделитель, который будет использоваться вместо разделителя «TAB» по умолчанию.
• —complement — дополнить выбор. При использовании этого параметра cut отображаются все байты, символы или поля, кроме выбранного.
• -s ( —only-delimited ) — по умолчанию cut печатает строки, которые не содержат символов-разделителей. Когда эта опция используется, cut не печатать строки, не содержащие разделителей.
• —output-delimiter — По умолчанию cut используется входной разделитель в качестве выходного разделителя. Эта опция позволяет вам указать другую строку выходного разделителя.

Команда cut может принимать ноль или более входных имен FILE. Если не FILE указано, или когда FILE есть — , cut будет читать со стандартного ввода.

LIST Аргумент , переданный -f , -b и -c варианты могут быть целым числом, несколько целых чисел , разделенных запятыми, диапазон целых чисел или нескольких диапазонов целочисленных разделенных запятыми. Каждый диапазон может быть одним из следующих:

• N N-е поле, байт или символ, начиная с 1.
• N- от N-го поля, байта или символа до конца строки.
• N-M от N-го до M-го поля, байта или символа.
• -M от первого до M-го поля, байта или символа.

Как вырезать по полю

Чтобы указать поля, которые должны быть вырезаны, вызовите команду с -f опцией. Если не указан, по умолчанию используется разделитель «TAB».

В приведенных ниже примерах мы будем использовать следующий файл. Поля разделены вкладками.

Например, для отображения 1-го и 3-го полей вы должны использовать:

Или, если вы хотите отобразить с 1-го по 4-е поле:

Как резать на основе разделителя

Чтобы вырезать на основе разделителя, вызовите команду с -d параметром, а затем разделитель, который вы хотите использовать.

Например, чтобы отобразить 1-е и 3-е поля, используя «:» в качестве разделителя, введите:

Вы можете использовать любой отдельный символ в качестве разделителя. В следующем примере мы используем символ пробела в качестве разделителя и печатаем 2-е поле:

Как дополнить выбор

Для дополнения списка полей выбора используйте —complement опцию. Это напечатает только те поля, которые не выбраны с -f опцией.

Следующая команда напечатает все поля кроме 1-го и 3-го:

Как указать выходной разделитель

Чтобы указать выходной разделитель, используйте —output-delimiter опцию. Например, чтобы установить для _ вас выходной разделитель , используйте:

Как вырезать из байтов и символов

Прежде чем идти дальше, давайте сделаем различие между байтами и символами.

Один байт составляет 8 битов и может представлять 256 различных значений. Когда был установлен стандарт ASCII, в нем были учтены все буквы, цифры и символы, необходимые для работы с английским языком. Таблица символов ASCII имеет 128 символов, и каждый символ представлен одним байтом. Когда компьютеры стали доступны во всем мире, технологические компании начали вводить новые кодировки символов для разных языков. Для языков, содержащих более 256 символов, простое сопоставление 1 к 1 было невозможно. Это приводит к различным проблемам, таким как совместное использование документов или просмотр веб-сайтов, и был необходим новый стандарт Unicode, который может работать с большинством мировых систем письма. UTF-8 был создан для решения этих проблем. В UTF-8 не все символы представлены 1 байтом. Символы могут быть представлены от 1 байта до 4 байтов.

Опция -b ( —bytes ) указывает команде вырезать секции из каждой строки, заданной заданными позициями байтов.

В следующих примерах мы используем ü символ, который занимает 2 байта.

Выберите 5-й байт:

Выберите 5-й, 9-й и 13-й байты:

Выберите диапазон от 1-го до 5-го байта:

На момент написания этой статьи версия пакета cut в GNU coreutils не имела возможности обрезать по символам. При использовании -c параметра cut ведет себя так же, как при использовании -b параметра.

Примеры

Команда cut обычно используется в сочетании с другими командами через трубопровод. Вот несколько примеров:

Получить список всех пользователей

Выходные данные getent passwd команды передаются в cut , который печатает 1-е поле, используя в : качестве разделителя.

Посмотреть 10 наиболее часто используемых команд

В следующем примере cut используется для удаления первых 8 байтов из каждой строки history вывода команды.

Вывод

cut Команда используется для отображения выбранных полей из каждой строки заданных файлов или стандартного ввода.

Хотя это очень полезно, cut имеет некоторые ограничения. Он не поддерживает указание более одного символа в качестве разделителя и не поддерживает несколько разделителей.

Источник

bash. удаление строк из файла по шаблону.

создаю файл со списком всех файлов. после, нужно из этого файла создать другой с удаленными строками которые совпадают с шаблоном(ами) имени файла. как такое реализовать?

Если я правильно понял что требуется, то примерно так:
grep -v «pattern» source.txt > out.txt

нее, рыбята.. предполагалось, что есть какая-то утилита которая понимает файловые шаблоны.

т.е. чтоб вырезалась строка целиком, если содержимое в ней имя файла соответствует шаблону.

egrep -v ‘pattern’ file

все приведенные варианты именно так и работают.

в файле есть такая строка: /path/to/some/file.h

я хочу эту строку удалить. выполняю : grep -v «*.h» src.txt > dst.txt

но строка выводится в целевой файл.

У тебя неправильный регэксп, правильный будет:
grep -Ev «\.h$»

Кстати, все вышеприведённые варианты правильные.

спасибо. так работает.

а не подскажите, каким образом grep`у можно указать список шаблонов? т.е. как разделять? в общем Вы поняли)

ну как же они правильные, если я в точности так и выполняю, а результат не тот?

grep -Ev «\.(h|obj|cpp)$» например

потому что регекспы != wildcards

Ещё раз повторяю: у тебя неправильный регэксп.

Можно разделять регэкспы |, это будет OR; можно записать их в файл по одному на строку и вызывать grep -f patterns.txt file.txt.

В общем, man grep и man 7 regex.

спасибо еще раз :yes

позвольте еще такой вопрос.. список шаблонов игнорирования у меня в виде: «*.zip;*.h;*-suffix.7z». скажите, есть способ заставить grep использовать такую запись в качестве списка игнорирования? или придется этот список сначала обработать до нужного вида?

Делай действия по очереди. Будет меньше ошибок.

Источник

Удаление строк в файле

Задача: удалить все строки, содержащие /zero/33 в файле /zero/volumes. Пробовал следующее:

но sed отвечает ошибками. Как сделать правильно?

sed ‘/\/zero\/33/d’ /zero/volumes sed ‘\%/zero/33%d’ /zero/volumes

выводит левую строку и ничего не удаляет

это крайний вариант, хочется без лишних движений

sed ‘\#/zero/33#d’ /zero/volumes

опять же, выводит только строку, не совпадающую с шаблоном, а в файле ничего не удаляется

чтобы изменения происходили в файле, нужно добавить ключик -i. Ну неужели так сложно прочитать man sed хотя бы по диагонали?

добавлял уже, всё равно изменений в файле нет

а man почитать, и ключ -i добавить?

а нет, всё нормально, не ту команду использовал

grap -v «/zero/33» /zero/volumes

Выбирает только строки, в которых встречается выражение /REGEXP/ , если ваше выражение содержит «/», вы их должны экранировать обратным слешем «\».

Если «POSIXLY_CORRECT» не определена, то пустое выражение // совпадает с последним найденным выражением команды s///.

Скомпилированое регулярное выражение может изменится в процессе выполнения скрипта.

Если переменная «POSIXLY_CORRECT» установлена, то пустое регулярное выражение ни с чем не совпадает. Такое поведение определено стандартом POSIX.

(Вместо % можно использовать любой другой символ)

Так-же как и /REGEXP/, но вместо разделителя(слеша) используется %(либо другой символ), если в выражении присутствует разделитель, его необходимо экранировать.

Источник

удаление ненужных строк из файла

хочу удалить строки в которых нет словосочетания которое я укажу

например: имеется файлик с строками вида

2.20.60.0 2.20.63.255 de

2.20.64.0 2.20.178.255 eu

2.20.179.0 2.20.179.255 es

2.20.180.0 2.20.181.255 de

2.20.182.0 2.20.182.255 at

2.20.183.0 2.20.183.255 gb

2.20.184.0 2.20.184.255 de

2.20.185.0 2.20.185.255 es

мне нужно оставить только те строки где есть словосочетание de

результат нужен таким

2.20.60.0 2.20.63.255 de

2.20.180.0 2.20.181.255 de

2.20.184.0 2.20.184.255 de

ещё вариант

ещё есть файлы с задачей посложнее например

5.32.168.0 5.32.173.255 1,536

5.32.175.0 5.32.175.255 256

5.56.64.0 5.56.127.255 16,384

5.154.190.0 5.154.191.255 512

31.31.0.0 31.31.31.255 8,192

31.131.0.0 31.131.7.255 2,048

31.148.132.0 31.148.133.255 512

нужно оставить строки вида

т.е. чтоб строки оставлись с видом диапазона ip 5.154.190.0 5.154.191.255

Re: ещё вариант

А в чём разница? И там и там по 7 строк.

ещё раз благодарю 🙂

это только часть строк из файлов

Ну если тупо в лоб, то

egrep «5.154.191» input_file > output_file

Но диапазоны могут пересекаться, плюс входные данные могут поменяться, поэтому в более общем виде, наверное, нужно преобразовать ip в integer, сравнивать их как числа и выводить строку если оба значения в заданных границах

Гугл и пять минут времени решат эту задачу.

Источник

linux-notes.org

Иногда, у нас имеются файлы и в них много пустых строк — это не очень удобно (по крайней мере для чтения). Файлы можно отредактировать вручную, если файл имеет несколько пустых строк, но если файл имеет тысячи пустых строк, это трудно сделать вручную. Используйте один из следующих методов для удаления пустых строк из файла.

-=== СПОСОБ 1 — Использование утилиты SED ===-

Sed потоковый редактор. С помощью этой утилиты, можно легко удалить все пустые строки. Используйте одну из следующих команд sed для удаления пустых строк из файла.

• main.txt — Это исходный файл, из которого нужно удалить пустые строки.
• output_file.txt — Будет служить файлом без пустых строк.

-=== СПОСОБ 2 — Использование perl ===-

И так, чтобы удалить пустые строки в файлу (у меня это main.txt), используйте:

-=== СПОСОБ 3 — Использование утилиты AWK ===-

Используйте команду awk для удаления пустых строк из файла.

• main.txt — Это исходный файл, из которого нужно удалить пустые строки.
• output_file.txt — Будет служить файлом без пустых строк.

И так, запускаем:

-=== СПОСОБ 4 — Использование утилиты CAT ===-

Используйте команду cat для удаления пустых строк из файла.

• main.txt — Это исходный файл, из которого нужно удалить пустые строки.
• output_file.txt — Будет служить файлом без пустых строк.

И так, запускаем:

-=== СПОСОБ 5 — Использование утилиты TR ===-

Используйте команду cat для удаления пустых строк из файла.

• main.txt — Это исходный файл, из которого нужно удалить пустые строки.
• output_file.txt — Будет служить файлом без пустых строк.

Если появятся еще идеи. Я дополню данную тему!

Вот и все, статья «Удалить пустые строки с файла в Unix/Linux» завершена.

Добавить комментарий Отменить ответ

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

Источник