Как удалить метаданные файла на Linux

Обычно с каждым файлом связана определённая информация, она называется «метаданные», она описывает информацию о файле, представленных в форме набора пар величина-значение. Обычно метаданные включает имя создателя, инструмент, использованный для генерации этого файла, дату создания/изменения файла, расположение создания, историю редактирования и т. д. EXIF (изображения), RDF (веб-ресурсы), DOI (цифровые документы) — некоторые из популярных стандартов метаданных.

При том, что метаданные имеют свои достоинства в области управления данными, они могут реально негативно повлиять на вашу приватность. Данные EXIF в фотоизображениях могут раскрыть персональную идентификационную информацию, такую как модель вашей камеры, GPS координаты фотосъёмки, вашу любимую программу для фоторедактирования и т. д. Метаданные в документах и таблицах содержат информацию об авторе/принадлежности и другую историю редактирования. Не будьте параноиками, но инструменты по сборе метаданных, такой как metagoofil, часто используются во на стадии сбора информации как часть тестирования на проникновение.

Ну и помните эту шутку? «Даже если вы не параноик, это не значит, что за вами не следят».

Для тех из вас, кто хочет избавиться от любых персональных метаданных из любых данных, которые будут разделены с другими, есть способы удалить метаданные из информации о файлах. Вы можете использовать существующий редактор документов или изображений, которые обычно имеют встроенные возможности редактировать метаданные. В этом уроке позвольте мне представить отличный отдельный инструмент по очистке метаданных, которые разработан для единственной цели: анонимизировать все метаданные для вашей приватности.

MAT (Metadata Anonymisation Toolkit — инструментарий анонимизации метаданных) — это отдельный чистильщик метаданных, написанный на Python. Он был разработан под крылом проекта Tor, и поставляется в стандартном наборе на Tails, продвинутую в вопросах приватности live OS.

По сравнению с другими инструментами, таким как ExifTool, которые могут записывать только в ограниченное количество типов файлов, MAT может ликвидировать метаданные из файлов любого типа: изображения (png, jpg), документы (odt, docx, pptx, xlsx, pdf), архивы (tar, tar.bz2), аудио (mp3, ogg, flac) и т.д.

Установка MAT на Linux

На основанных на Debian системах (Ubuntu или Linux Mint), MAT идёт в стандартных пакетах, следовательно установка простая:

На Fedora MAT не поставляется как собранный пакет, следовательно вам нужно собрать его из источников. Здесь то, как я скомпилировал MAT на Fedora (с некоторым ограниченным успехом, смотрите конец урока):

Анонимизируем метаданные с MAT-GUI

После установки, MAT может быть доступен через графический интерфейс, а также в командной строке. Для запуска графической версии MAT просто печатаем:

Давайте очистим какие-нибудь документы. Сначала посмотрим на присутствующие в них метаданные.

Это текстовый документ.

Видно, что для его создания использовалась LibreOffice, которая установлена на Windows и имеет версию 4.3.5. Есть данные создания и модификации, посчитано количество изображений, таблиц, страниц, есть информация о длительности редактирования, дате последнего доступа и прочая — не мало!

А вот теперь посмотрим метаданные в файле изображения:

Там их так много, что они не уместились даже в один скриншот. Самое интересное, на мой взгляд, это GPS данные — можно точно определить, где была сделана фотография и приехать к фотографу (ко мне) в гости. Ещё есть информация о камере — это Samsung Galaxy II, информация об его прошивке, есть огромный комментарий, расшифровка которого тоже что-то даст, дата снимка, огромное количество информации о настройках камеры в момент съёмки.

Чтобы добавить файл в MAT для очистки, воспользуйтесь иконкой «Add» или просто перетащите их в окно программы. Как только файлы загружены, нажмите иконку «Check» для сканирования на наличие любой скрытой информации метаданных.

При обнаружении любых метаданных MAT’ом, «State» будет изменено на «Грязный».

Вы можете дважды кликнуть, чтобы увидеть найденные метаданные.

Для очистки метаданных из файла, кликните на иконку «Clean». MAT автоматически опустошит все частные поля метаданных из файла.

В очищенном состоянии, без каких-либо идентифицируемых следов:

Анонимизируем метаданные из командной строки

Как упомянуто ранее, другой способ вызвать MAT — это из командной строки, и для этого используйте команду mat

Для проверки любых чувствительных метаданных, во-первых, перейдите в директорию, где находятся ваши файлы, а затем запустите (обратите внимание на точку на конце — она важна). Вместо точки можно использовать *, т. е. звёздочку, но тогда очистка происходит только в текущем каталоге, без рекурсивного обхода подкаталогов):

Этим мы просканируем все файлы в текущем каталоге и в поддиректориях, и создадим отчёт по их состоянию (чистое или нечистое).

Вы можете проверить актуальные метаданные используя опцию ‘-d’:

Если вы не применяли каких-либо опций с командой mat, действие по умолчанию — это удаление метаданных из файлов. Если вы хотите сохранить бэкап оригинальных файлов во время очистки, используйте опцию ‘-b’. Следующая команда очистить все файлы и сохранит оригинальные файлы с расширением ‘*.bak».

(опять обратите внимание на точку).

Чтобы увидеть все поддерживаемые форматы файлов, запустите:

Решение проблем

В данное время я имею следующую проблему со скомпилированной версией MAT на Fedora. Когда я пробую очистить файлы архивов/документов (например, *.gz, *.odt, *.docx) на Fedora, MAT терпит неудачу со следующей ошибкой. Если вы знаете, как исправить эту проблему, дайте мне знать в комментарии.

Заключение

MAT — это простой, но крайне полезный инструмент для предотвращения любых небрежных утечек в приватности из метаданных. Помните, вы ответственны за анонимизацию содержимого файла, если в этом есть необходимость. Всё, что MAT делает, это ликвидируют метаданные, связанные с вашими файлами, но ничего не делает с самими файлами. Короче говоря, MAT можно быть спасателем, так как может управляться с удалением большинства метаданных, но вам не следует полагаться только на неё, чтобы гарантировать вашу конфиденциальность.

MAT: Metadata Anonymisation Toolkit

Инструментарий для удаления метаданных у файлов различных форматов.

MAT: Metadata Anonymisation Toolkit — встраиваемая Python библиотека, небольшая консольная утилита и GTK графический интерфейс к ней (GUI), предназначенная для просмотра и удаления метаданных у файлов различных форматов.

Метаданные — структурированные данные, информативные метки в файлах различных форматов (аудио, видео, графических, текстовых и пр). Требуются для идентификации файлов, используются в основном для поиска нужного файла по заданным характеристикам (по автору, году выпуска, альбому, комментарию и т.д).

Метаданные содержат информацию характеризующую данные (файлы) и могут многое рассказать о них. Например фотокамеры записывают в графический файл данные о том когда был сделан снимок, модель камеры и прочие характеристики, офисные приложения автоматически добавляют в документы информацию об авторе, организации и прочее, про метаданные (теги) аудио-файлов известно практически всем.

MAT: Metadata Anonymisation Toolkit предназначена для тех кто не хочет раскрывать дополнительную информацию при передаче файлов по Интернет. Консольная утилита проста в использовании, а пользовательский интерфейс лёгкий и интуитивно понятный. Файлы можно добавлять из меню, панели инструментов и простым «перетаскиванием» (функция Drag-and-Drop / Перетащи и брось), перед удалением метаданных их можно просмотреть.

MAT только удаляет метаданные, никаких других действий для анонимизации файлов не производится, поддерживается работа с файлами форматов: PNG (.png), JPEG (.jpg, .jpeg), Open Documents (.odt, .odx, .ods и др), Office OpenXml (.docx, .pptx, .xlsx), PDF (.pdf), Tape ARchives (.tar, .tar.bz2), MPEG AUdio (.mp3, .mp2, .mp1), Ogg Vorbis (.ogg), Free Lossless Audio Codec (.flac) и Torrent (.torrent). Какие то форматы файлов поддерживаются полностью, а некоторые частично, есть возможность создания резервных копий оригинальных файлов (только в консольной версии).

MAT: Metadata Anonymisation Toolkit первоначально написан во время GSoC 2011 (Google Summer of Code), под эгидой проекта TOR (The Onion Router) и удовлетворяет стандартам принятым для Tails / The Amnesic Incognito Live System (специализированная модификация Debian Linux, предназначенная обеспечить анонимный вход и навигацию по сети Интернет).

Лицензия: GNU General Public License version 2.0 (GPLv2)

mat2: новая версия программы для удаления метаданных

Метаданные это то, что может вас спалить не хуже вашего реального IP. Если вы через восемь проксей передаёте документ, у которого в свойствах в поле «Автор» написано «Синицин Юрий Иванович», то это плохо скажется на вашу анонимность. А если вы передаёте фотографию документа, которую сделали на свой телефон и в которую записались GPS координаты вашего дома, то это ещё хуже, чем показать свой IP.

При этом про IP все говорят и каждый более-менее в курсе, в том числе как его правильно скрыть. Метаданные не на слуху и многие про них банально забывают.

mat2 — это инструмент для удаления метаданных, поддерживающий широкий диапазон часто используемых файлов, написана на python3. В своей основе это библиотека, используемая одноимённым интерфейсом командной строки и в качестве расширения nautilus.

Что такое метаданные

Метаданные — это информация, которая характеризует другую информацию. Метаданные используются для описания, документирования основной информации. Например, в картинке jpg основной информацией является сама картинка, а метаданными являются информация о времени съёмки, камере, вспышке, автофокусе, GPS координатах и прочем. Для документа Word основной информацией является текст документа и его форматирование, а метаданными являются информация об авторе, о времени создания документа, о времени правки, о количестве слов, о лице внёсшим изменения и так далее.

В своей основе, метаданные отвечают на вопросы кто, что, когда, где, почему и как о каждом аспекте данных, которые документируются.

Метаданные внутри файла могут многое рассказать о вас.

Камеры записывают данные о том, когда была сделана фотография и какая камера использовалась. Офисные документы, такие как PDF или Office автоматически добавляют информацию об авторе и компании в документы и таблицы.

Вполне возможно, что бы не хотите раскрывать эту информацию в сети. Это как раз задача MAT2: избавление, насколько это возможно, от метаданных.

Установка MAT2 в Kali Linux:

Установка MAT2 в BlackArch:

Установка MAT2 в Debian, Ubuntu, Linux Mint и производные (не проверял, но должно работать):

Пример использования, найти метаданные в файле 20181009_115635.jpg:

Очистка этого файла от метаданных:

Обратите внимание, что после очистки метаданных, если изображение изначально было перевёрнуто, то благодаря метаданным просмотрщик изображений мог показывать его правильно. После удаления метаданных, вам может понадобиться вручную повернуть изображение.

Также в данные момент опция -b (для создания резервной копии) у меня вызывает ошибку.

У mat2 нет графического интерфейса. У предыдущей версии, которая называется mat, есть графический интерфейс. Если нужна предыдущая версия, то в Kali Linux она устанавливается так:

MAT: Metadata Anonymisation Toolkit

Инструментарий для удаления метаданных у файлов различных форматов.

MAT: Metadata Anonymisation Toolkit — встраиваемая Python библиотека, небольшая консольная утилита и GTK графический интерфейс к ней (GUI), предназначенная для просмотра и удаления метаданных у файлов различных форматов.

Метаданные — структурированные данные, информативные метки в файлах различных форматов (аудио, видео, графических, текстовых и пр). Требуются для идентификации файлов, используются в основном для поиска нужного файла по заданным характеристикам (по автору, году выпуска, альбому, комментарию и т.д).

Метаданные содержат информацию характеризующую данные (файлы) и могут многое рассказать о них. Например фотокамеры записывают в графический файл данные о том когда был сделан снимок, модель камеры и прочие характеристики, офисные приложения автоматически добавляют в документы информацию об авторе, организации и прочее, про метаданные (теги) аудио-файлов известно практически всем.

MAT: Metadata Anonymisation Toolkit предназначена для тех кто не хочет раскрывать дополнительную информацию при передаче файлов по Интернет. Консольная утилита проста в использовании, а пользовательский интерфейс лёгкий и интуитивно понятный. Файлы можно добавлять из меню, панели инструментов и простым «перетаскиванием» (функция Drag-and-Drop / Перетащи и брось), перед удалением метаданных их можно просмотреть.

MAT только удаляет метаданные, никаких других действий для анонимизации файлов не производится, поддерживается работа с файлами форматов: PNG (.png), JPEG (.jpg, .jpeg), Open Documents (.odt, .odx, .ods и др), Office OpenXml (.docx, .pptx, .xlsx), PDF (.pdf), Tape ARchives (.tar, .tar.bz2), MPEG AUdio (.mp3, .mp2, .mp1), Ogg Vorbis (.ogg), Free Lossless Audio Codec (.flac) и Torrent (.torrent). Какие то форматы файлов поддерживаются полностью, а некоторые частично, есть возможность создания резервных копий оригинальных файлов (только в консольной версии).

MAT: Metadata Anonymisation Toolkit первоначально написан во время GSoC 2011 (Google Summer of Code), под эгидой проекта TOR (The Onion Router) и удовлетворяет стандартам принятым для Tails / The Amnesic Incognito Live System (специализированная модификация Debian Linux, предназначенная обеспечить анонимный вход и навигацию по сети Интернет).

Лицензия: GNU General Public License version 2.0 (GPLv2)