Файл слишком велик linux

Поиск больших файлов Linux

Если на вашем жёстком диске закончилось свободное пространство, самый простой способ его освободить — найти и удалить самые большие и при этом ненужные файлы. Такая задача может возникнуть как на сервере, так и на домашнем компьютере, поэтому существуют удобные решения для обоих ситуаций. Способов поиска больших файлов существует очень много.

Как вы уже поняли, в этой небольшой инструкции мы рассмотрим, как найти большие файлы Linux с помощью графического интерфейса или консольных утилит. Будем двигаться от самого простого к более сложному.

Поиск больших файлов Linux

1. GDMap

Несмотря на то, что графических утилит есть около десятка, все они мне не очень нравятся. Например в Gnome можно использовать GDMap, а в KDE — fileslight. Обе утилиты сканируют файловую систему и выводят все файлы в виде диаграммы. Размер блока зависит от размера файла. Чем больше файл или папка, тем больше блок. Для установки GDMap в Ubuntu выполните:

sudo apt install gdmap

Затем запустите утилиту из главного меню. По умолчанию она отображает домашнюю папку. Здесь можно оценить, какие файлы самые увесистые.

2. Утилита ncdu

Это псевдографическая утилита, которая работает в терминале Linux. Она отображает список файлов и директорий по объёму и, что самое интересное, тут же позволяет удалять ненужные файлы. Для установки утилиты выполните:

sudo apt install ncdu

Затем запустите утилиту, передав ей в качестве параметра папку, которую надо просканировать. Можно проверить ту же домашнюю папку:

У утилиты очень простое управление. Для перемещения по списку используйте кнопки со стрелками вверх и вниз, для открытия папки — клавишу Enter, а для удаления файла — кнопку d. Также можно использовать для перемещения кнопки в Vim стиле — h, j, k, l.

3. Утилита du

Если у вас нет возможности устанавливать новые утилиты, может помочь установленная по умолчанию во всех дистрибутивах утилита du. С помощью следующей команды вы можете вывести 20 самых больших файлов и папок в нужной папке, для примера снова возьмём домашнюю папку:

sudo du -a /home/ | sort -n -r | head -n 20

Мы не можем использовать опцию -h для вывода размера в читабельном формате, потому что тогда не будет работать сортировка.

4. Утилита find

С помощью команды find вы тоже можете искать большие файлы Linux. Для этого используйте опцию -size. Например, давайте найдём файлы, которые больше 500 мегабайтов в той же домашней папке:

sudo find /home -xdev -type f -size +500M

Можно пойти ещё дальше — вывести размер этих файлов и отсортировать их по размеру:

find / -xdev -type f -size +100M -exec du -sh <> ‘;’ | sort -rh

Самые большие файлы Linux будут сверху, а более мелкие — ниже.

Выводы

В этой небольшой статье мы разобрались, как выполняется поиск больших файлов Linux. После того, как вы их нашли, остаётся выбрать ненужные и удалить, если подобное происходит на сервере, то, обычно, это логи различных сервисов или кэш. Обратите внимание, что после удаления файлов место в файловой системе может и не освободится. Для полного освобождения места следует перезагрузить компьютер. Это довольно частая проблема на серверах и VPS.

Источник

Как открыть большой файл в Linux

В эпоху большого количества информации, большие файлы (размером больше 500 Мб) могут встречаться очень часто. Предположим что вам нужно найти информацию или отредактировать такой файл, но обычные текстовые редакторы не приспособлены для этой задачи и могут просто зависнуть при попытке открыть файл размером несколько гигабайт из-за нехватки памяти.

Если вы опытный системный администратор вы можете открыть такой файл используя комбинацию консольных команд cat, tail, grep, sed, awk и т д. В этой статье я расскажу о более дружелюбных способах открытия и редактирования больших файлов в Linux.

Сначала давайте создадим текстовый файл для экспериментов размером 500 Мб. Для этого воспользуемся командой:

yes «losst.ru » | head -c 500MB > test.txt

1. Большие файлы в Vim

У текстового редактора Vim есть множество различных плагинов или скриптов которые расширяют его функциональность. Одним из таких плагинов есть LargeFile Plugin.

Этот плагин ускоряет загрузку и редактирование больших файлов путем отключения таких дополнительных функций Vim как события, отмена последнего действия, подсветка синтаксиса и т д.

Чтобы установить LargeFile plugin сначала необходимо установить vim, если он еще не установлен. Для Debian, Ubuntu, Linux Mint:

sudo apt install vim

В Fedora, ContOS, или RHEL:

sudo yim install vim-enhanced

Теперь скачайте плагин с официального сайта последняя версия на данный момент 5. Для установки в домашнюю директорию вы можете открыть vba файл расширения с помощью vim:

Наберите :so % и нажмите Enter, чтобы Vim установил расширение в домашнюю папку. Затем можете набирать :q для выхода. Плагин будет установлен в

/.vim/plugin/LargeFile.vim и вы сможете его использовать.

Когда большой файл загружается в vim этот плагин отключает события, отмену действий и подсветку синтаксиса. По умолчанию большими файлами считаются файлы размером более 100 Мб. Чтобы изменить эту настройку нужно отредактировать файл

/.vimrc. Например, будем считать большими файлы больше 10 Мб:

Несмотря на то что плагин LargeFile может ускорить загрузку и просмотр больших файлов сам vim справляется с редактированием больших файлов не очень хорошо потому что он пытается загрузить файл целиком в оперативную память. Например при загрузке моего текстового файла размером 500 Мб утилита будет занимать достаточно много оперативной памяти:

При этом на открытие файла ушло примерно 10-15 секунд. Так что если ваши файлы имеют размер больше чем количество оперативной памяти вам необходимо рассматривать другие варианты.

2. Glogg Log Explorer

Если все что вам нужно это просмотр содержимого файла и вы не собираетесь его редактировать вы можете использовать Glogg. Это анализатор логов с графическим интерфейсом. Glogg поддерживает фильтрацию вывода с помощью расширенных регулярных выражений и масок.

Для установки Glogg в Debilan (Wheezy и выше) Ubuntu и Linux Mint наберите:

sudo apt install glogg

Для установки в Fedora:

sudo yum install glogg

Для открытия текстового файла просто выполните:

Glogg открывает большие файлы очень быстро. Мой тестовый файл открылся практически мгновенно:

Вы можете ввести регулярное выражение в текстовое поле и и нажать поиск. Поддерживается поиск с учетом регистра, результаты поиска вы увидите в нижнем окне.

По сравнению с Vim, Glogg более легкий, для загрузки файла журнала размером 500 Мб было использовано всего лишь 141 Мб оперативной памяти.

3. JOE Text Editor

JOE это легкий консольный текстовый редактор выпущенный под лицензией GPL. JOE один из немногих текстовых редакторов поддерживающих работу с большими файлами. С его помощью можно открывать и редактировать файлы намного большего размера чем размер оперативной памяти.

К тому же JOE поддерживает множество мощных функций для редактирования текста, таких как: безопасное редактирование, поиск и замена по регулярным выражениям, неограниченная отмена и повтор операций, подсветка синтаксиса и т д.

Для установки JOE в Debian, Ubuntu, или Linux Mint наберите:

sudo apt install joe

Для Fedora, CentOS или RHEL:

sudo yum install joe

Чтобы открыть текстовый файл для редактирования выполните:

Загрузка больших файлов в JOE происходит немного медленнее чем в Glogg. На загрузку файла размером 500 Мб ушло примерно 15 секунд. Но это не так уж плохо учитывая что сразу после загрузки файл можно полноценно редактировать.

Потребление памяти JOE впечатляет. На загрузку и редактирование текстового файла размером 500 Мб было использовано 53 Мб физической памяти.

Если вам известный еще какой нибудь способ редактировать большие файлы, сообщите нам в комментариях.

Источник

Файл слишком велик для конечной файловой системы

В рамках данной статьи, я расскажу вам об ошибке «Файл слишком велик для конечной файловой системы», от чего она происходит и что вы можете сделать.

Размер жесткого диска или же флешки это та характеристика, на которую чаще всего обращают внимание пользователи. Все же просто, чем больше размер, тем больше можно хранить всякой полезной и бесполезной информации. Нужно вам создать резервную копию, просто скопируйте файлы. Однако, далеко не все задумываются над тем, как весь этот процесс происходит. Поэтому могут сталкиваться с такими вот ошибками. И самое неприятное здесь это то, что ошибка «Файл слишком велик для конечной файловой системы» может появляться в самый неподходящий момент. Например, когда вы очень спешите.

Поэтому далее я расскажу вам о том, из-за чего такое может происходить и что делать в такой ситуации.

Раньше размер дисков не был столь велик, поэтому файловые системы (технология распределения данных из файлов и каталогов в аппаратных устройствах) рассчитывали хоть и с запасом, но все же в рамках определенных допущений. В момент появления FAT32 считалось, что файлы размером 4Гб и более просто редкость, а вернее вообще вряд ли достижимый предел для домашнего быта. Поэтому эти 4 Гб и составляют максимальный предел размера файла. Отсюда и возникает ошибка.

Конечно, сегодня эта цифра кажется смешной. Однако, FAT32 существовал весьма долгое время и считался одним из лучших стандартов того времени. Поэтому он поддерживается практически любыми операционными системами (не только Windows) и техникой.

Когда начали появляться флешки, их размер был настолько мал (16 Мб, 128 Мб и так далее), что в качестве основной технологии файловой системы как раз и была выбрана FAT32. Никто не рассчитывал, что флешки таких размеров появятся в скором времени.

А в связи с тем, что вся техника и операционные системы рассчитывали на этот формат, внешние диски и флешки до сих пор выпускают с этой файловой системой по умолчанию. О чем не знают начинающие и обычные пользователи, и, как следствие, сталкиваются с проблемами при копировании больших объемов данных.

Кстати, вот так вот выглядит ошибка «Файл слишком велик для конечной файловой системы»

С того времени прошло немало времени, и не удивительно, что появились соответствующие файловые системы, где такой проблемы нет. Например, Microsoft создала для Windows формат NTFS, который сегодня является основным для Windows 7 и выше.

Примечание: Тут стоит понимать, что другие операционные системы или же техника могут не поддерживать этот формат. Поэтому этот момент стоит проверять заблаговременно. Тем не менее, сегодня этот формат поддерживается все больше и больше.

Если вы внимательно читали, то уже вероятно догадались, что единственным решением этой проблемы является форматирование внешнего диска или флешки в нужный формат, а именно преобразование из FAT32 в NTFS (в случае с Windows). Как это сделать описано подробно в статье Как отформатировать жесткий диск. Там подробно рассказывается последовательность действий, а так же есть ссылка на статью для случая с флешкой (или внешним диском).

Несколько важных советов:

1. Помните, что при форматировании данные удаляются. Поэтому перед выполнением каких-либо действий, обязательно сохраните свои данные на другой диск или другую флешку. Но не в соседний каталог! Он ведь тоже будет удален.

2. В некоторых операционных системах (включая Windows) есть инструменты для конвертирования файловых систем без очищения данных. Однако, важно понимать, что если во время выполнения этого процесса произойдут сбои (например, скачки в сети электропитания), то данные могут быть потеряны или придется потратить немало времени для их восстановления. Поэтому даже в этом случае, настоятельно рекомендуется озаботиться вопросом создания резервной копии.

Теперь, вы знаете из-за чего происходит ошибка копирования больших файлов, а так же что с этим можно сделать.

Источник

Файл слишком велик для конечной файловой системы флешка что делать?

Флешки и внешние жесткие диски давно пользуются большой популярностью. С их помощью можно без труда переносить с одного компьютера на другой информацию больших объемов. Но вот порой при очередном копировании на них файла объемом более 4-ех гигабайт может появиться ошибка “Файл слишком велик для конечной файловой системы”. О том, что это значит и как исправить данную ошибку и пойдет речь в данной статье.

Ошибка “Файл слишком велик для конечной файловой системы”

Причины возникновения ошибки

Данная ошибка, которая говорит вам о том, что копируемый файл слишком большой для его копирования на флешку или жесткий диск, появляется лишь в одном случае – если файловая система носителя, на который производится копирование, имеет формат FAT32 или FAT16.

Все дело в том, что файловая система FAT имеет ограничение на максимальный размер файла – около 4ГБ. При этом на вашей флешке может быть свободно намного больше места, чем размер копируемого вами файла, чей размер более 4 ГБ.

Как проверить файловую систему флешки?

Делается это элементарно. Нужно всего лишь вставить флешку в USB порт и зайти в компьютер, где отображаются все локальные и подключенные диски. Там найти свою флешку, нажать по ней правой кнопкой мыши и выбрать “Свойства“.

Свойства флеш карты

В открывшемся окне посмотреть на значение в строке “Файловая система“. Если оно отлично от “NTFS”, то ее придется поменять.

Определение файловой системы флешки

Как исправить ошибку?

Существует два варианта исправления ошибки “Файл слишком велик для конечной файловой системы”. Один из них быстрый, второй медленный.

Первый и быстрый вариант – переформатирование флешки в NTFS, но здесь стоит учесть, что все данные с нее будут удалены. Поэтому предварительно их можно скопировать на компьютер.

Переформатирование флешки в NTFS

О том, как переформатировать флешку в другую файловую систему, а в нашем случае в NTFS, вы можете узнать из этой статьи.

Второй и медленный вариант – конвертирование файловой системы в NTFS. Время его выполнения зависит от скорости флешки, ее объема и количества данных на ней. Стоит отметить, что в данном случае все данные останутся на месте.

После запуска командной строки нужно ввести команду convert H: /FS:NTFS.

Конвертация файловой системы флеш карты в NTFS

В данном случае буква H, это буква, под которой ваша флешка отображается в окне “Мой компьютер“. В выше описанной команде ее нужно поменять на свою.

Определение буквы флешки для команды конвертации файловой системы

Как только вы введете команду convert H: /FS:NTFS, начнется преобразование файловой системы вашей флешки, которое закончится отображением сообщения “Преобразование завершено“.

Теперь вы можете смело копировать файл, который ранее выдавал ошибку “Файл слишком велик для конечной файловой системы”.

Источник