Linux tail on windows

Утилита tail идеально подходит для просмотра в реальном времени (с опцией -f) живых логов сетевого оборудования, серверов, а также логов отлаживаемых программ. В среде Linux и FreeBSD с этой утилитой проблем нет, она всегда под рукой, но как быть на платформе Windows?

Здесь опишу несколько альтернативных вариантов замены tail, которые можно установить и использовать на Windows.

[MinGW]

Это набор утилит Unix, перенесенных в среду Windows [1]. Установка вопросов не возникает, все происходит как обычно. После установки в переменной %Path% автоматом прописывается путь до бинарных файлов утилит, среди которых находится и tail.exe, так что теперь Вы можете пользоваться этой утилитой без проблем.

Можно также скачать и установить утилиту tail отдельно [2]. Поместите файлы *.dll и tail.exe архива в папку system32 (cd %SystemRoot%\system32), и Вы также сможете запускать tail из любого каталога.

C:\temp>tail —help
Использование: tail [OPTION]. [FILE].
Печатает последние 10 строк каждого файла FILE в стандартный вывод. Когда указано больше одного FILE, выводу каждого файла предшествует заголовок из имени файла. Если FILE не указан, или когда FILE указан как -, то для чтения используется стандартный ввод.

Можно использовать как длинные опции командной строки, так и короткие.

-c, —bytes=K выводятся последние K байт; альтернативно используйте -c +K для вывода байт, начиная с K-того байта в каждом файле.
-f, —follow[=] вывод добавляемых данных по мере того, как файл растет (отслеживание содержимого файла в реальном времени). Опции -f, —follow, и —follow=descriptor эквивалентны друг другу. -F работает так же, как и —follow=name —retry.
-n, —lines=K выводит последние K строк, вместо того чтобы вывести последние 10 строк. Можете также использовать -n +K для вывода строк, начиная со строки K.
—max-unchanged-stats=N с опцией —follow=name заново открывает FILE, который не изменялся после N (по умолчанию 5) итераций — чтобы посмотреть, был ли он удален или переименован (это обычно используется для ротации лог-файлов). С появлением inotify эта опция стала мало полезна и используется редко.
—pid=PID с опцией -f прервать вывод после того, как завершится процесс с идентификатором ID, т. е. тут указан PID завершения.
-q, —quiet, —silent никогда не выводить заголовки, в которых указаны имена файлов.
—retry пытаться открыть файл даже если он стал недоступен; полезно, когда используется опция следования за файлом, например —follow=name.
-s, —sleep-interval=N с опцией -f указывает засыпать примерно на N секунд (по умолчанию 1.0) между отдельными итерациями. Вместе с inotify и —pid=P процесс P проверяется как минимум каждые N секунд.
-v, —verbose всегда выводить заголовки, в которых указано имя файла.
—help отобразить подсказку по командной строке и выйти.
—version отобразить информацию о версии и выйти.

Если первый символ K (количество байт или строк) является символом +, выведутся строки начиная с K-той от начала каждого файла, иначе будут выводиться последние K элементов файла. K может иметь суффикс множителя *, например:
b 512, kB 1000, K 1024, MB 1000*1000, M 1024*1024, GB 1000*1000*1000, G 1024*1024*1024, и так далее для T, P, E, Z, Y.

С опцией —follow (-f), tail по умолчанию следует за дескриптором файла. Это подразумевает, что даже если файл, отслеживаемый в настоящий момент tail, был переименован, то tail все равно продолжит его отслеживание его конца. Это поведение по умолчанию не желательно, когда Вы на самом деле вместо дескриптора хотите отслеживать файл под своим настоящим именем (например, это может быть при ротации лога). Тогда используйте опцию —follow=name. Это приведет к тому, что tail будет отслеживать именованный файл по его полному пути, отражающему переименование, удаление и создание файла.

Сообщайте об ошибках на почту bug-coreutils@gnu.org
Домашняя страница основных утилит GNU: ;
Информация помощи по GNU software: ;
Сообщайте от ошибках перевода на ;
Для просмотра полной документации запустите команду: info coreutils ‘tail invocation’

[Tail для Win32]

Tail for Win32 — специальная версия UNIX-утилиты tail для Windows. Она может использоваться по своему обычному назначению, для мониторинга изменения содержимого файлов. Утилита распространяется в скомпилированном виде и с открытым исходным кодом, и снабжена архитектурой плагинов, которая позволяет выдавать оповещения при появлении в отслеживаемых файлов определенных ключевых слов. В настоящий момент доступен плагин MAPI, и ведутся работы по созданию версии SMTP. Утилита имеет следующие возможности:

• Можно сразу отслеживать содержимое нескольких файлов в реальном времени.
• Можно детектировать появление ключевых слов и подсвечивать их.
• Можно отправлять оповещение через SMTP или MAPI о появлении ключевых слов.
• Архитектура плагинов позволит Вам написать специализированные обработчики отслеживаемых логов.
• Можно обрабатывать файлы любого размера на всех типах носителей (расположенных как локально, так и в сети).

Подробнее информацию см. на страничке проекта [3].

[Другие варианты замены tail на платформах Windows и Unix]

Powershell — наверное самый мощный инструмент на платформе Windows, однако его часто почему-то оставляют без внимания. Хотя использование Powershell для целей tail не дает никаких дополнительных функций, но это хороший способ быстрого использования командной строки в целях слежения за состоянием файла. Используйте следующий простой синтаксис, чтобы отобразить хвост файла, и отслеживать его состояние в реальном времени:

Вы можете также отфильтровать лог, если укажете справа в командной строке регулярное выражение:

Особенности использования Powershell для целей tail:

• Быстрое и простое использование.
• Практически нулевые затраты времени на обучение.
• На новых системах Windows не требуется делать никаких инсталляций (PowerShell доступен на всех версиях Windows начиная с Windows XP SP2 и SP3).
• Медленно работает с большими файлами.
• Имеет только базовый функционал, однако есть сторонние расширения. Например, с ними можно отслеживать одновременно несколько файлов.

По умолчанию система PowerShell не установлена на Windows XP, однако есть возможность её установить на Windows XP SP3 вместе с пакетом обновления KB968930 Windows Management Framework Core [5]. Также можно установить PowerShell вместе с KB968930 на операционных системах Windows Server 2003 (x86 и x64), Windows Server 2008 (x86 и x64), Windows Vista (x86 и x64).

• Можно просматривать файлы лога удаленно, подключаясь к WEB-серверу через сеть, прямо в WEB-браузере.
• Можно осуществлять поиск по файлам лога.
• Поддерживаются системы Windows и Linux.
• Распространяется на условиях Free trial, малая месячная оплата.

• Вы можете прямо в своем любимом редакторе Vim отслеживать файлы лога, не покидая редактор.
• С использованием закладок можно отслеживать несколько файлов одновременно.
• Окно предпросмотра «Preview» обновляется в соответствии с использованием Vim.
• Перед установкой прочтите информацию об открытых багах (open issues) на Google Code.

• Все еще находится в активной разработке (на момент написания статьи последняя версия была выпущена 4 недели назад).
• Можно использовать маски wildcard для имен файлов. Это позволяет отслеживать только что появляющиеся файлы лога.
• Для фильтрации можно использовать регулярные выражения.
• Исходный код доступен для закачки из публичного репозитория SVN.
• Поддерживаются все основные платформы UNIX.

Особенности программы BareTail:

• Разработана для Windows.
• Позволяет отслеживать несколько файлов с использованием закладок.
• Конфигурируемая подсветка.
• Позволяет делать немедленный скроллинг в любую точку файла, что работает даже на больших файлах.
• Распространяется на условиях Free demo. Стоимость лицензии $25.

• Можно отслеживать сразу несколько файлов, расположенных на разных серверах.
• Автоматически проверяет запуск нужного процесса и обновляет файл лога, подстраивая соответственно просмотр.
• Скрипт старый (1997 года), и может не работать на новых дистрибутивах Unix и патчах Perl (скрипт основан на Perl 4.0, патч уровня 36).
• Работает только в UNIX.

• Мощный инструмент, который можно настроить через правку кода.
• Инструмент довольно сложен и требует время на освоение — в зависимости от того, что Вы хотите получить от TraceTool. Просмотрите скриншот «TraceTool Overview» на странице CodeProject, чтобы получить общее представление.
• Ошибки исправляются довольно медленно. Если Вам нужно просто запустить исполняемый файл, и получить простое отслеживание хвоста лога, то выберите не TraceTool, а какую-нибудь другую утилиту. Этим Вы экономите время на настройке и конфигурировании.
• Вместе с силой приходит и большая ответственность. На страничке проекта есть комментарии пользователей, которые сообщают о различных проблемах. Несмотря на наличие проблем у пользователей они все равно довольно высоко оценивают страницу проекта — средним голосованием на уровне около 4.97 (на момент написания статьи).
• Исходный код распространяется свободно и доступен для загрузки, но Вам нужно рабочее окружение разработки .Net, чтобы Вы смогли скомпилировать проект.
• Работает только на платформе Windows.

Разработано SnakeNest. Особенности:

• Малые затраты памяти и малая нагрузка на CPU при работе даже с большими файлами.
• Настраиваемые горячие клавиши для быстрого перемещения по файлам.
• Может делать tail-отслеживание директории логов, где сохраняются последние файлы лога.
• Работает только на Windows.

Мне больше всего понравилась именно эта утилита. Для просмотра текста в кодировке UTF-8 (кириллица ANSI) следует открыть настроку опций через меню Edit -> View Options. -> закладка Log File -> в выпадающем списке выберите System.Text.UTF8Encoding. После этого нажмите кнопку Apply to All (применится ко всем открытым логам, если их несколько) и Save as default (сохранение текущей настройки как настройки по умолчанию).

1. Запустите Notepad++, выберите в меню Plugins -> Plugin Manager -> Show Plugin Manager, поставьте галочку на плагине «Document Monitor», и кликните «Install».
2. Notepad++ предложит Вам перезапустить программу, перезапустите Notepad++ (без перезапуска компьютера).
3. Как только Notepad++ откроется снова, выберите «Plugins», и Вы должны теперь увидеть опцию «Document Monitor -> Start to monitor». Это приведет к обновлению вида Вашего документа каждые 3 секунды.

• Доступен в репозиториях Git и Github.
• Использует inotify API, чтобы определить, нужно или нет перечитать отслеживаемый файл.

[PowerShell: отображение текста в правильной кодировке]

Иногда команда powershell Get-Content дает отображение русского кракозябрами. Причина в том, что текст не воспринимается в правильной кодировке. Пример вывода кракозябрами лог-файла в кодировке UTF8:

Для правильного отображения текста используйте опцию -Encoding:

Тот же текст, отображаемый в правильной кодировке:

HackWare.ru

Этичный хакинг и тестирование на проникновение, информационная безопасность

Как установить Tails из Windows или Linux

Данный материал устарел, на смену ему подготовлена объёмная документация, в которой вы найдёте ответы на очень многие вопросы по Tails: « Руководство по Tails (книга) ».

Что такое Tails

Tails – это операционная система на основе Linux. Главными её целями являются содействие анонимности в Интернете, безопасному хранению данных, не оставлять следов. Все сетевые соединения и программы настроены для работы исключительно через Tor. В системе предустановлены программы для работы с почтой, обмена мгновенными сообщениями, работы с метаданными документов, с самими документами, с аудио, для хранения паролей и другие.

Система предназначена для работы с флэшки (карты памяти), чтобы быть полностью изолированной вашей основной системы. Это позволяет, с одной стороны, не оставлять следов на компьютере, а с другой не жертвовать безопасностью ради удобства. Т.е. вам не нужно вносить изменения или заменять вашу основную ОС. Но если вам необходима приватность, то вы можете загрузиться в Tails.

Также Tails позволяет работать с зашифрованным постоянным хранилищем. Это означает, что сохранённые файлы и настройки будут недоступны посторонним.

Что нужно знать при использовании Tails

Не нужно переоценивать Tails. Всегда нужно помнить, что выходные узлы сети Tor могут получать доступ к передаваемым через них незашифрованным данным.

Интернет-провайдер или местный администратор сети могут определить, что вы подключены к узлу Tor. Характер трафика (исключительно трафик Tor) позволяет предположить использование Tails. Т.е. пользователи Tails не похожи на обычных Интернет-пользователей – это может привлечь внимание.

Tails не очищает самостоятельно метаданные из документов. Например, изображения могут содержать информацию о камере, времени и месте съёмки (GPS). Офисные документы могут содержать имя автора и т.д. В системе предустановлена программа MAT, которая позволяет вам вручную очищать эти данные – помните об этом.

Tails также не защищает от используемых вами слабых паролей (которые могут быть подобраны перебором), от возможных уязвимостей в программном обеспечении, опасности скомпрометированного железа, атак в отношении БИОС и железа – т.е. всего того, что не контролируется операционной системой.

Итак, хотя Tails имеет необходимые настройки для анонимной работы в сети, может безопасно хранить файлы и позволяет работать, не оставляя следов на локальном компьютере, по-прежнему многое зависит от действий пользователя и других факторов.

Где скачать Tails

Если вы решили использовать Tails, то для вас не должно быть другого варианта, кроме как скачать её с официального сайта. Торрент файлы всегда свежих версий Tails вы найдёте по ссылке: https://tails.boum.org/torrents/files/

Как установить Tails из Windows

Для установки из Windows вам понадобится:

• образ Tails, который был скачен на предыдущем шаге;
• две флэшки, обе размером более 4 гигабайт (все данные на них будут потеряны!)
• программа Win32 Disk Imager (с открытым исходным кодом, бесплатная)

• записываем LIVE-систему Tails на промежуточную флэшку
• загружаемся с этой флэшки
• вставляем вторую флэшку в компьютер
• устанавливаем Tails на вторую флэшку

После этого вы можете работать в Tails со второй флэшки, а первую флэшку можете снова использовать под свои обычные нужды. Если вам кажется странной такая процедура установки – то я здесь не при чём, это перевод официальной инструкции от авторов Tails.

Вставьте в ваш компьютер промежуточную флэшку, т.е. носитель, с которого мы будем загружаться и устанавливать основную систему. Запустите Win32 Disk Imager. Выберите скаченный образ Tails, выберите флэшку, куда он будет записан и нажмите кнопку Write.

Когда процесс закончится, выключите компьютер. Теперь вам нужно зайти в БИОС вашего компьютера и выбрать в качестве носителя для загрузки промежуточную флэшку. Некоторые подсказки вы можете найти здесь. Если тот материал вам не подошёл, то гуглите вопрос с указанием модели вашей материнской платы.

Загрузка с флэшки займёт 1-2 минуты. Когда увидите окно:

то укажите свои региональные настройки (если хотите) и нажмите «Start Tails».

Когда появится рабочий стол, вставьте в компьютер основную флэшку, на которую мы будем устанавливать постоянный Tails и перейдите в меню Приложения ▸ Tails ▸ Tails Installer. Промежуточную флэшку вынимать нельзя!

Здесь выберите «Install by cloning»:

В следуем пункте из выпадающего списка выберите вашу основную флэшку и нажмите кнопку «Установить Tails»:

Программа установки достаточно интеллектуальна – она не показывает ваши жёсткие диски и даже промежуточную флэшку, что исключает возможность их стереть, если бы вы могли их неправильно указать.

Дождитесь завершения процесса.

Когда всё закончится, выключите компьютер, выньте из него промежуточную флэшку (она больше не понадобится), снова зайдите в БИОС и выберите в качестве носителя для загрузки основную флэшку.

Когда загрузитесь, то переходите к созданию постоянного хранилища.

Как установить Tails из Linux (универсальная инструкция)

Для пользователей Linux которые, как известно, любят повозиться, авторы Tails придумали сразу несколько инструкций. Одна из них универсальная и похожа на процесс установки из Windows. Нам нужно две флэшки, на промежуточную флэшку мы записываем образ используя, например, dd:

Внимание, замените tails-amd64-3.0.iso на имя скаченного файла с образом Tails, а /dev/sdx замените на путь до вашей промежуточной флэшки. Если его не знаете, то выполните команду

когда флэшка отключена от вашего компьютера, затем подключите флэшку и выполните команду ещё раз – появившийся новый диск и будет флэшкой.

Далее шаги в точности такие же, как и при установке из Windows:

• загрузка с промежуточной флэшки
• установка системы на постоянную флэшку.

Когда загрузитесь с постоянной флэшки, то переходите к созданию постоянного хранилища.

Как установить Tails из Debian, Ubuntu или Mint

Эта инструкция подходит для свежих версий Debian, Ubuntu или Mint.

Для установки из Linux вам понадобится:

• скаченный образ Tails
• одна флэшка, размером более 4 гигабайт (все данные на ней будут потеряны!)

• добавляем в источники приложений репозиторий с установщиком Tails
• устанавливаем установщик Tails в вашу основную систему
• устанавливаем Tails на флэшку

Следующий шаг различается в зависимости от вашей системы.

Если у вас Debian

то откройте текстовый файл /etc/apt/sources.list, например так:

и добавьте туда:

• Если у вас Debian 8 (Jessie):

• Если у вас Debian 9 (Stretch):

Если у вас Ubuntu

Откройте терминал и введите команды:

Если у вас Mint

Запустите Менеджер Программ. Выберите Правка ▸ Источники приложений

Кликните кнопку PPA-репозитории и нажмите Добавить новый PPA-репозиторий. В открывшееся окно введите ppa:tails-team/tails-installer

Кликните ОК и закройте описание PPA.

Далее вновь одинаковые шаги для любой из этих трёх систем. Откройте консоль и установите необходимый пакет:

Подключите вашу флэшку, на которую хотите установить Tails.

Откроется окно установщика, нажмите кнопку Install. Далее укажите скаченный ранее образ ISO и выберите из выпадающего списка вашу флэшку.

Для начала процесса нажмите кнопку Install Tails.

Прочитайте предупреждение и нажмите Yes для подтверждения. Время установки зависит от скорости вашей флэшки.

Создание постоянного хранилища в Tails

Этот шаг не является обязательным, но если вы не создадите постоянное хранилище, то все сделанные настройки и файлы будут теряться при перезагрузке системы.

Чтобы создать постоянное зашифрованное хранилище, в меню перейдите в Приложения ▸ Tails ▸ Configure persistent volume.

Дважды введите пароль. Рекомендуется использовать длинный пароль из символов различного рода (большие и маленькие буквы, цифры, знаки препинания). Кликните на кнопку Create.

Ожидайте завершения операции. Если вы закроете окно до окончания процесса, ваша система на USB может перестать загружаться.

Программа-помощник покажет вам список возможных функций, которые можно сохранять. Каждая функция соответствует набору файлов и настроек, сохраняемых на зашифрованное постоянное хранилище. Авторы Tails рекомендуют на данный момент активировать только функцию Personal Data persistence. Вы можете активировать больше функций позже, в соответствии с вашими нуждами. Когда закончите, нажмите Save.

При перезапуске системы, вы увидите чуть изменённое окно приветствия Tails:

Установите ваш язык и раскладку клавиатуры, а в поле Encrypted Persistent Storage введите ваш пароль и кликните Unlock для активации зашифрованного постоянного хранилища для текущего сеанса работы. Нажмите Start Tails.

После 15–30 секунд, появится рабочий стол Tails.

Теперь вы можете сохранять ваши личные файлы и рабочие документы в папку Persistent. Чтобы открыть папку Persistent выберите Places (места) ▸ Persistent.

Пароль администратора в Tails

В Tails пароль администратора требуется для выполнения задач по системному администрированию. Например:

• Для установки дополнительного программного обеспечения
• Для доступа к внутренним жёстким дискам компьютера
• Для выполнения команд с sudo

По умолчанию пароль администратора отключён для лучшей безопасности. Это может не дать атакующему с физическим или удалённым доступом к системе Tails получить административные привилегии и выполнить задачи администрирования вопреки вашей воли.

Установка пароля администратора

Чтобы выполнить задами администрирования, вам нужно установить пароль администратора при запуске Tails, используя Tails Greeter.

1. Когда появится Tails Greeter в окне Welcome to Tails (Добро пожаловать в Tails) кликните на кнопку Yes (Да) или, если её там не будет, то на знак плюс (+), затем кликните на кнопку Forward (Далее).
2. В секции Administration password (пароль администратора) укажите пароль по вашему выбору в обоих полях Password (Пароль) и Verify Password (Проверка пароля).

Как открыть root терминал

Для открытия терминала root во время вашего рабочего сеанса вы можете сделать одним из следующих способов:

• Выберите Applications ▸ System Tools ▸ Root Terminal (Приложения ▸ Системные инструменты ▸ Терминал Root).
• Выполните в терминале

Ваши данные сохраняются только при явном вашем указании

Как сказано в описании, Tails создана не оставлять следов на компьютере, кроме тех случаев, когда вы совершаете для этого явные действия. Важно понимать некоторые последствия этого.

Запуск компьютера на носителе, содержащего Tails, не изменяет что-либо на операционной системе, фактически установленной на ваш жёсткий диск: будучи live-системой, Tails нет необходимость использовать ваш жёсткий диск на протяжении всего сеанса работы. Даже будь ваш жёсткий диск повреждённым или просто отсутствующим, это не помещает вашему компьютеру запустить Tails. Следовательно, удаление DVD-диска или USB-накопителя, содержащего Tails, достаточно для загрузки вашей обычной операционной системы.

Всё, что вы хотите сохранить для последующего доступа, вам следует записывать на отдельное устройство (другой USB-накопитель, другой DVD или любое другое устройство по вашему выбору) или использовать функцию постоянного хранилища.

Доступ к внутренним жёстким дискам

Доступ к внутренним дискам компьютера имеет последствия для безопасности:

• Вы можете оставить следы вашей активности в Tails на жёстких дисках.
• Если Tails скомпрометирована, вредоносное программное обеспечение может установить себя на вашу обычную операционную систему.
• Если приложение в Tails скомпрометировано, он может получить доступ к приватным данным на ваших дисках или использовать их для вашей деанонимизации.

Для доступа к внутренним дискам:

1. При запуске Tails установите пароль администратора, как это показано чуть выше.
2. Откройте файловый менеджер Nautilus.
3. Кликните на жёстком диске, который вы выбрали, в левой панели.

Если ваша обычная операционная системе в гибернации (режим сна), доступ к ней может повредить вашу файловую систему. Используйте доступ к диску только если система была должным образом выключена.

Если на ваших дисках вы имеете GNU/Linux систему, вы можете получить доступ только к файлам, чьим владельцем является первый пользователь (uid=1000) на этой системе.

В любом случае, вы можете столкнуться с проблемами прав доступа к файлам. Для обхода ограничений на доступ, вы можете запустить Nautilus с правами администратора.