Потоковый редактор sed. С ним и без него

Недавно мне пришлось использовать еще одну команду sed для обработки полученных геофизических данных. Мне нужно было из большого текстового файла, содержащего тысячи строк, получить одну строку по ее номеру.

Ну, допустим, у нас есть текстовый файл из 1000 строк, а нам нужно достать из него только 123-ю строку. Как мы можем это сделать?

Классический вариант решения этой задачи состоит из тандема консольных команд head и tail. Первая выводит заданное количество строк от начала текста, вторая — заданное количество строк от конца текста.

Теперь, если мы команде head закажем вывести 123 строки от начала текста, а затем передадим полученный результат команде tail, которой укажем вывести только одну, последнюю строку, то мы достигнем нашей цели.

Тот же результат может быть достигнут с помощью sed

Команда ‘123p’ говорит sed-у вывести 123 строку, а ключ -n — подавляет вывод. Странное поведение, да?

sed так устроен, что он выводит еще и текст, который он обрабатывает. В результате, если не указывать ключ -n, на выходе мы получим тот же самый текст, в котором 123-я строка будет продублирована. Понятно, что мы не этого хотим.

Таким образом, полученная по первому или по второму способу строка может быть отдана следующей команде или сохранена в файле.

Если нужно вытащить из не одну, а фрагмент из нескольких строк, то sed-у нужно указать начальную и конечную строку этого фрагмента.

Так, на пример, следующая команда вытащит из файла три строки — 123-ю, 124-ю и 125-ю:

Я еще раз хотел бы подчеркнуть парадигму хранения и обработки данных в текстовом формате. По сути, вы можете разбивать информацию (текст) по горизонтали и по вертикали на составные части, и можете обратно собирать разрозненные части в единый кусок текста.

По большому счету для получения результатов нужны две вещи — исходные данные и инструмент для их обработки. Данные находятся в текстовом файле, который элементарно можно смотреть и при необходимости править. Весь необходимый инструментарий для обработки уже имеется в утилитах Линукса. Остается только научиться работать этими инструментами.

В качестве примера, как можно обрабатывать текстовые данные, не прибегая к языкам программирования, я хотел бы предложить задачу по транспонированию матрицы.

Допустим, у нас был такой файл matrix.txt:

И по каким-то причинам нам нужно строки сделать столбцами, а столбцы строками. Решать задачу в обычном текстовом редакторе — ну это себя не уважать! А представьте, что у вас табличка состоит не из простых одно-двухсимвольных чисел, а из более сложных слов или чисел. Нажимать Ctrl-C Ctrl-V — замаешься, и не на один раз ошибешься!

Я согласен, что эта пример сильно надуман. Но по жизни иногда всплывают подобные задачи для обработки информации. Ниже я привожу скрипт решения этой задачи. Привожу только для примера, что вообще можно творить с текстовой информацией. И это, к стати, не предел возможностй!

Только не забудьте сделать файл запускаемым (chmod +x transponir)

В результате команды

получим следующий файл matrix.txt.t:

Ну вот, собственно, не прибегая к языкам программирования я изменил представление информации. Это далеко не «глубина» Линукса. Это так, типа мелководье для мальков, типа меня. Возможности Линукса — безграничны. При этих словах у меня возникает какая-то странная ситуация с понятием «свобода» в контексте Виндовс и фрагментом из мультика:

— Каити, Каити! Нас и тут не плохо кормят…

Да. Пока человек сам не начнет творить своими руками мир, «втирать» ему про свободу, наверно, бесполезно.

Пример, с транспонирование матрицы, не очень удачный. Это не совсем тот тип задач, которые вообще решаются с помощью утилит операционной системы. Мне кажется эту задачу было бы правильнее решать в Python или какой-либо другом языке. Можно было и на Си написать прогу. Но на Си это заняло бы значительно больше времени. На Питоне, пожалуй, будет в самый раз. Но мне хотелось не красиво-решить-задачу, а показать мощь Линукса вообще, и в частности его ничем не ограниченные возможности.

Как начать работу с потоковым редактором sed?

Урок русского языка в Грузинской школе.
Училка:
— Дэти! Это нэвозможна панат лагически.
Паэтому просто запоминаэм.
Слово «от вас» пишется раздэльно,
а слово «к вас» — слитно.

Чтобы правильно использовать этот инструмент нужно понять его философию и назначение. Нужно определить его область применения и очертить круг задач, которые он позволяет решать. Для ответа на этот вопрос нам нужно совершить небольшое погружение в проблему.

Вообще, потоковый редактор (не только sed) предназначен для автоматической обработки текстовых файлов. Хорошо, но что значит «обработка»? Давайте прикинем — какие вообще могут быть обработки текста?

Ну, первое, что приходит на ум — это замена слов. Это раз.

Далее. Поскольку редактор sed обрабатывает текст порциями, а порцией считается одна строка (которая заканчивается символом «новая строка»), то — редактор должен уметь заменять целые строки. Это два.

Хорошо. А еще что-нибудь можно нагрузить на потоковую обработку текста?

Ну, наверно, сюда можно было бы отнести также удаление строк и вставку новых строк. Это три и четыре.

Этого функционала для работы нам, пожалуй, хватит! То есть, это почти все основные действия, которые мы хотим получить от потокового редактора.

Таким образом, мы можем начать изучение редактора sed не с ознакомления и заучивания его ключей и параметров, а несколько необычным методом. Давайте представим, что мы сами сейчас изобретаем (создаем) потоковый редактор с нуля.

Начнем с задания команд, которые нам хотелось чтобы он умел выполнять. Вот их список, в скобочках дается действительный идентификатор команды для sed:

— замена указанного слова (s, от «substitude» — подстановка):
— удаление строки (d, от «delete» — удалить), на которую укажем;
— вставка строки до (i, от «insert» — вставить) и добавление строки после (a, от «append» — добавить) указанной;
— заменить указанную строку (c, от «change» — замена);

Это основные команды. На самом деле sed может выполнять больше команд, но нам сейчас важно начать работать с ним, а не иметь исчерпывающие мертвые знания.

Таким образом, на данный момент мы уже примерно знаем чего можно, а чего нельзя требовать от sed.

Теперь давайте попрактикуемся.

Подстановка

Давайте в качестве подопытного текста возьмём сказку про Колобка и заменим слово «Колобок» на слово «Кирпич». Для этого выполним следующую команду:

Итак, что мы тут имеем. (Пристегните ремни, ибо логика команд редактора sed — это что-то! Но к счастью, этого сумасшествия не так много. Терпите!)

Мы видим, команду s (substitude, замена), далее следует символ ‘/’. Это символ-разграничитель полей. Первое поле — слово «Колобок» — это то, что мы ищем в тексте. Следующее поле — слово «Кирпич» — это то, чем мы будем заменять слово из первого поля.

После этих полей следует символ g. Это — флаг «global», который сообщает редактору, что следует производить замены всех слов «Колобок», которые присутствуют в строке, на слово «Кирпич». Если этот флаг не указывать, то sed произведет замену первого встретившегося слова «Колобок» и перейдет к следующей строке, и если в этой строке присутствуют еще слова «Колобок», то они останутся нетронутыми. Но это не наш вариант. Нам интереснее заменить все слова, поэтому указываем флаг.

Если вместо флага g написать цифру, то sed будет искать в строке слово из перового поля, подсчитывать их не изменяя — но произведет замену лишь только того слова, порядковый номер которого соответствует цифре.

Например, у нас в строке 15 раз встречается слово «Колобок.» И если мы вместо флага g укажем цифру 8, то только восьмое по счету слово «Колобок» будет заменено на слово «Кирпич». Остальные слова останутся нетронутыми.

На этом допустимые флаги не исчерпываются. Но я не хотел бы сейчас чрезмерно углубляться в подробности. Поэтому продолжаем дальше анализ команды.

Мы видим, что далее в командной строке идет имя файла — fairytale.txt. Это ни что иное как имя исходного файла, над которым мы производим манипуляции.

По умолчанию sed направляет результат своих преобразований в стандартный выход (то есть в консоль). При необходимости мы можем перехватить вывод и направить его в файл, что мы и сделали с помощью конструкции «> new-fairytale.txt«.

Вообще надо отметить, что многие утилиты в Линуксе не изменяют исходных файлов, а результат выводят на консоль. Такой подход гарантирует безопасность операций — если внезапно что-то пойдет не так, то вы ничего не сломаете. Пользуйтесь этой особенностью!

Удаление строки

Потоковый редактор sed позволяет удалять не только одну строку (это банально!), а целый диапазон строк.

Так, например, команда

удалит пятнадцатую строку. Полученный текст (без 15-ой) строки будет выведен на терминал. Можете проверить. Как я уже обращал ваше внимание выше — sed не изменяет исходный текст. Не поленитесь, потренируйтесь! И опять же, при необходимости полученный результат можно сохранить в файле.

удалит сразу 21 строку — с 20-ой по 40-ю включительно.

Можно удалить все строки — начиная с указанно и до конца файла. Для этого вместо второй цифры в команде нужно поставить знак доллара:

Вставка и добавление строки

Команды Вставка и Добавление строк очень похожи друг на друга — и та, и другая добавляют строку в текст. Разница состоит в том, что «Вставка» вставляет строку перед указанной строкой, а «Добавление» — добавляет после указанной строки. Осталось понять, что такое указанная строка и как ее указать.

Да очень просто! Например, эта команда вставляет строку «А ну-ка, тетя, подвинься!» перед третьей строкой текста:

Грубо говоря, был текст такой:

А если вместо «вставки» выполнить «добавление»:

Замена строки

Тут тоже все просто. Вместо указанной строки нам нужно влепить другую. Например, команда

Выдаст на консоль следующий «выхлоп»:

И, пожалуй, на этом изучение sed мы закончим.

Случай из жизни.

Пару лет назад, я работал в одной компании. Я снимал показания приборов и записывал их в файл. Ну, понятно, что не сам я это делал, а Линукс впахивал. Но прогу для приема данных с USB-порта и записи их в файл писал я, поэтому все претензии по формату записей ко мне.

Запись производилась в текстовый файл. Каждая запись состояла из нескольких колонок чисел с плавающей точкой. Колонки отделялись друг от друга символом «запятая».

В какой-то момент, начальство потребовало предоставить результат измерений в виде графиков. Поскольку я в тот момент был очень занят, то нарисовать графики поручили моему коллеге. Я ему скопировал файл и снова занялся своими делами.

Однако, возникла неразрешимая проблема — коллега знал только Шиндовс. Более-менее ориентировался в Икселе и в принципе мог бы в нем построить графики. Но Иксель напрочь отказался засасывать файл, в котором плавающая точка была точкой, а не запятой. Это какой-то нонсенс! Вся проблема-то, с точки зрения Джедая, состояла в том чтобы запятую (разграничитель полей) заменить на символ точка-с-запятой, а плавающую точку — на запятую.

Что делает в таких случаях Виндузятник?

Поскольку файл — это плоский (без оформительских элементов) текст, то коллега запускает Notepad и пытается загрузить в него миллион строк. Блокнот несколько раз разрывает на куски вместе с операционной системой… Ну, блокнот в принципе не обрабатывает файлы объемом более 64 килобайт.

Проблем нет! Комп у коллеги — навороченный, ВОСЕМЬ. горшков по 3.5 ГГц каждый, памяти не то 4, не то 8 Гигов. Короче, дури хватает! С такой мощью не победить проблему — ну, для этого нужно обладать особым талантом!

Коллега выкидывает нахрен пистолет «Notepad» и достает базуку «Word». Вы вникаете в ситуацию? Вы чувствуете типовой подход к решению проблем у виндузятников?

Базука с успехом засосала весь текст. Ура! Мы почти победили. Ща мы заменим символы и скормим полученный файл Икселю!

После дву-трех часов работы, у меня образовалась пауза, и я поинтересовался у коллеги, как идут дела. Он ответил что-то типа:

— Да, нормально. Щас заменю запятые и …

Ага. «Шас» — это время оказалось не менее 6 часов.

Пришлось выполнять всю работу самому. Замена «запятых» на «точку-с-запятой» — полсекунды, еще полсекунды на замену «точки» на «запятую». Файл готов. Вручаю ему файл в новой редакции и говорю, чтобы он не вырубал свой мега-комп, просто очень хочется знать — за какое время Винда справится с задачей.

Винда не справилась. Как я уже говорил, прошло шесть часов, а результата не было. Мы решили скотину более не мучить, а пойти домой, ибо рабочий день уже кончился, а базука так и не смогла поменять хотя бы запятые.

Графики я построил сам. Загрузил gnuplot и «нарисовал», что требовалось. Да, забыл упомянуть, что моя тачка — это древний Селерон-2.4 ГГц с 512 МБ оперативы.

Топ 10 программ для монтажа видео

В нашем обзоре мы решили рассмотреть топ программ для монтажа видео с качественными и профессиональными инструментами, большой библиотекой интересных спецэффектов, переходов, фильтров и маркеров, а также удобными опциями для создания высококачественных работ.

Подборка видеоредакторов станет актуальна не только профессионалам, но и начинающим пользователям, поскольку мы представили большинство русскоязычных и интуитивно понятных программ с удобным и незамысловатым функционалом.

Рейтинг программы для монтажа видео 2021

ВидеоМОНТАЖ скачать

Многофункциональное приложение создает качественный видеоматериал из видео и фото любого формата и разрешения. Имеет встроенную коллекцию ярких фильтров, заставок, анимированных переходов и титров, базовые опций для сортировки, обработки и улучшения отобранного материала.

В настройках доступно добавление музыки к проекту и корректировка аудиодорожек, изменение скорости показа, нарезка видео, добавление картинок или текста. Готовую работу можно выгрузить на ресурсы или записать на диск. Редактор имеет русскоязычное меню с виртуальным учебником. В пробной версии, активной только 10 дней, на проект накладывается логотип и отсутствуют функции для записи на диски и загрузки видеороликов в Сеть.

Sony Vegas Pro скачать

Профессиональный софт для качественного редактирования видео в мультирековой среде. Создает ролики из разноформатного аудио и видео высокого разрешения, компонует и обрабатывает фрагменты, удаляет ненужные области, накладывает на проект музыкальное сопровождение и интересные спецэффекты.

Записывает готовую работу на Blu-Ray и DVD, сохраняет в удобных форматах и имеет функцию предпросмотра. Работает только на 64-битных операционках и имеет 30-дневный пробный период.

Windows Live Movie Maker скачать

Функциональные возможности утилиты позволяют создавать записи на начальных и средних уровнях, применяя к ним музыкальные композиции и различные интересные эффекты. Киностудия Windows 2012 работает с основными популярными и редкими форматами, имеет инструменты для монтажа видеоматериала, создания видеороликов и презентационных работ.

Доступен захват с экрана и веб-камеры, надписи, переходы, визуальные эффекты и титры из впечатляющей библиотеки, а также опции кадрирования и нарезки мелодий для рингтонов. Готовый проект можно «залить» на YouTube либо записать на ПК, DVD и мобильный.

ВидеоШОУ скачать

Является продвинутым инструментарием для создания высококачественных 3D-роликов. В своем арсенале имеет расширенный каталог спецэффектов и титров, а также большое количество готовых тематических шаблонов и анимированных переходов. Редактор поддерживает больше 30 форматов видео, позволяет загружать в видеоряд музыку, голосовые комментарии и изображения.

В настройках доступна обрезка аудио, регулировка громкости, музыкальных эффектов, анимации, комментариев и других компонентов. Софт имеет плеер для предпросмотра, записывает ролики на диски с интерактивным меню, а также сохраняет проект в адаптированный для мобильных телефонов, телевизоров, видеохостингов и социальных сетей формат. Пробная версия работает 10 дней.

ВидеоМАСТЕР скачать

Эта программа-конвертер преобразовывает любые видеоматериалы, поддерживает более 500 форматов и около 300 устройств, записывает ролики на диски и публикует в Сеть. Функционал позволяет конвертировать короткие клипы и целые видеодиски, обрезать ролики и объединять их в единый проект, менять звук, применять заставки и эффекты, накладывать надписи и титры.

С расширенными опциями видеоконвертера можно создавать стоп-кадры и гиф-видео, добавлять к работе текст или логотип, кадрировать, менять битрейт и расширение, извлекать звук и корректировать звуковую дорожку, а также генерировать FLV-видео с проигрывателем. Разработчики предоставляют 10 дней на ознакомление с бесплатной версией проги.

Movavi Video Editor скачать

Утилита монтирует клипы из большинства известных форматов видео и фото, предоставляя на выходе высококачественные ролики. Мовави Видео Эдитор имеет большое количество фильтров, титров и переходов, опцию «картинка в картинке» и тонкие настройки разрешения экрана, контраста, яркости и качества записи. Пользователь может выкладывать свои творения на Facebook, Vimeo, YouTube и др., накладывать звук, водяные знаки, графические элементы, подложки, текст и другие компоненты.

Обновленная версия предстала с усовершенствованным монтажным столом для более удобной и компактной работы, перемещения и смены дорожек в режиме «мультитрек». В опциях можно устранить дрожание, записать голос или звуки музыкальных инструментов, настроить автоматическое распознавание битов и экспорт объектов без каких-либо задержек. Free-версия работает 7 дней.

Wondershare Filmora скачать

Популярный среди профессионалов мощный и функциональный софт с простыми и облегчающими процесс редактирования инструментами для использования новичками. Филмора работает с большинством известных форматов, имеет большой выбор опций для обработки видео-, аудио- и фотоматериала. Пользователю доступно использование красочных фильтров и спецэффектов, настройки регулировки длительности клипа, смены качества картинки, соотношения сторон экрана, обрезка, масштабирование и повороты.

В функционале редактора можно импортировать фотоснимки и музыку с подключенных камер, конвертировать ролики для портативных устройств, записывать проект на DVD и «заливать» на видеохостинги. Дополнительным плюсом считается обработка видео в HD и FullHD. На сайте разработчиков доступна загрузка дополнительных фильтров, эффектов и анимации.

Pinnacle Studio скачать

Популярный видеоредактор с функциями для высококачественного монтажа любых медиафайлов. Пользователь может редактировать разноформатные видео, фото и аудио, изменять, сводить, обрабатывать и записывать в реальном времени ролики с использованием более тысячи интересных переходов, маркеров и фильтров. Готовую работу можно записать на DVD, CD и Blue-Ray, а также поделиться в Сети.

Утилита поддерживает nvidia и работу с форматом 3D, а также позволяет загружать дополнительный контент и плагины. С помощью многофункционального таймлайна и «умных» инструментов легко создать интересный и неповторимый проект высокого качества.

Adobe Premiere Pro скачать

Удобная и полезная программа для выполнения нелинейного монтажа с набором профессиональных инструментов и выбором немалого количества интересных эффектов. Редактирует видеоматериал в реальном времени, импортирует файлы любого качества и создает клипы из видео с телефона.

Адобе Премьер поддерживает различные форматы, производит видеозахват из разных источников, поддерживает 5.1 surround дорожки и VST-аудиоплагины, имеет мультитрековый режим и функционирует на разных платформах. Пробный период активен 30 дней.

VirtualDub скачать

Качественная утилита с функциями для профессионального монтажа и моментального захвата видеоматериала с экрана компьютера. Поддерживает большинство доступных форматов, имеет пакетный режим обработки и встроенный графический редактор. Пользователь может загружать ac-3, wma и mp3 звуковые дорожки, преобразовывать аудио и клипы, использовать опцию рекомпрессии и контролировать процесс конвертации.

Захватывая, разделяя и объединяя фрагменты, применяя к ним интересные спецэффекты и звук, на выходе получается высококлассный проект. ВиртуалДаб также поддерживает .mpv, .vdr, .avs и .w64 расширения, перекодировку и сжатие данных с переменой частоты кадров, разделение и объединение файлов avi, подключение модулей и дополнений. Софт имеет англоязычный интерфейс.

Видео Обзор программ для монтажа видео