Linux ограничение количество файлов папке

Hi all.
Попытался найти через Google, но безуспешно.
Вопрос простой:
Какое максимальное количество файлов может быть в одной директории на ext3 для ядер
2.4.32 и 2.6.19 соответственно? Если есть лимит – можно ли его как-то менять, где и как ?

Google говорит что есть ограничение на количество директорий внутри одной директории — 32768. Про ограничение на количество файлов внутри одной директории ничего не нашёл (в одном месте как-то путано было описано, что вроде unlimited, но есть ограничение файлов на партицию).

Есть задача хранить 200 – 300 тысяч файлов, и всем было бы удобнее, если бы файлы были внутри одной директории.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Оглавление

Ограничение файлов в директории Linux., Nimdar, 18:42 , 09-Янв-07, (1)
- Ограничение файлов в директории Linux., Messing, 20:13 , 09-Янв-07, (2)
  - Ограничение файлов в директории Linux., GByte, 00:14 , 10-Янв-07, (3)
Ограничение файлов в директории Linux., GloryS, 12:37 , 11-Янв-07, (4)
Ограничение файлов в директории Linux., simple_rulez, 14:53 , 11-Янв-07, (5)
Ограничение файлов в директории Linux., demien, 18:40 , 24-Фев-07, ( 6 )
- Ограничение файлов в директории Linux., demien, 18:53 , 24-Фев-07, ( 7 )

Сообщения по теме

[Сортировка по времени, UBB]

Сколько инодов — столько и файлов (размер игнорируем). Директория есть файл. Учите матчасть.

>Есть задача хранить 200 – 300 тысяч файлов, и всем было бы
>удобнее, если бы файлы были внутри одной директории.

Никому не удобнее и кроме того пожалейте диск(и). В десятки раз быстрее и надёжнее будет создать несколько десятков (пару сотен) директорий с тысячей-другой (десятком тысяч) файлов каждая.

1. «Ограничение файлов в директории Linux.»
Сообщение от Nimdar (ok) on 09-Янв-07, 18:42
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	2. «Ограничение файлов в директории Linux.»
	Сообщение от Messing (??) on 09-Янв-07, 20:13
	>Есть задача хранить 200 – 300 тысяч файлов, и всем было бы >удобнее, если бы файлы были внутри одной директории. ну если человек говорит что так было бы удобней значит он знает что говорит. ну а насчет ограничения я читал что рейзер оч. хорошо работает с кучей маленьких файлов. и быстодействие в сравнении с ext3 вырастает до 15 раз !
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	3. «Ограничение файлов в директории Linux.»
	Сообщение от GByte (??) on 10-Янв-07, 00:14
	>>Есть задача хранить 200 – 300 тысяч файлов, и всем было бы >>удобнее, если бы файлы были внутри одной директории. > >ну если человек говорит что так было бы удобней значит он знает >что говорит. >ну а насчет ограничения я читал что рейзер оч. хорошо работает с >кучей маленьких файлов. и быстодействие в сравнении с ext3 вырастает до >15 раз ! Читал и на себе попробовал — вещи разные. вообще с ФС не экспериментировал, но точно можно менять кол-во и-нодов при форматировании. — читайте маны.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

4. «Ограничение файлов в директории Linux.»
Сообщение от GloryS (??) on 11-Янв-07, 12:37
>Hi all. >Попытался найти через Google, но безуспешно. >Вопрос простой: >Какое максимальное количество файлов может быть в одной директории на ext3 для >ядер >2.4.32 и 2.6.19 соответственно? Если есть лимит – можно ли его как-то >менять, где и как ? > >Google говорит что есть ограничение на количество директорий внутри одной директории — >32768. Про ограничение на количество файлов внутри одной директории ничего >не нашёл (в одном месте как-то путано было описано, что вроде >unlimited, но есть ограничение файлов на партицию). > >Есть задача хранить 200 – 300 тысяч файлов, и всем было бы >удобнее, если бы файлы были внутри одной директории. Как правильно сказали читайте маны. )) То, что есть на данный момент можно глянуть через df -i (покажет кол-во inode’ов — это и есть макс. кол-во файлов, если по размеру попадут). Увеличить кол-во inode можно при создании ФС (см. параметр -N)
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

5. «Ограничение файлов в директории Linux.»
Сообщение от simple_rulez on 11-Янв-07, 14:53

Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

6 . «Ограничение файлов в директории Linux.»

Сообщение от demien

on 24-Фев-07, 18:40

>Hi all.
>Попытался найти через Google, но безуспешно.
>Вопрос простой:
>Какое максимальное количество файлов может быть в одной директории на ext3 для
>ядер
>2.4.32 и 2.6.19 соответственно? Если есть лимит – можно ли его как-то
>менять, где и как ?
>
>Google говорит что есть ограничение на количество директорий внутри одной директории —
>32768. Про ограничение на количество файлов внутри одной директории ничего
>не нашёл (в одном месте как-то путано было описано, что вроде
>unlimited, но есть ограничение файлов на партицию).
>
>Есть задача хранить 200 – 300 тысяч файлов, и всем было бы
>удобнее, если бы файлы были внутри одной директории.

Только, что столкнулся с аналогичной задачей. Под ext3 решения так и не нашел. Взял винт, создал файловую систему reiserfs, подмонтировал в каталог. Скриптом создал 200 тысяч папок — создались. Создал 200 тысяч файлов — создались. Так, что как вариант попробуй подключить винт, создай файловую систему reiserfs, подмонтируй. И все работает.

Источник

Настройка дисковых квот в Linux

Пошагово разберем процесс установки ограничений на использование дискового пространства в системах Linux. Какой дистрибутив — не важно. Процесс немного различается для файловых систем XFS и EXT4/остальных — мы разберем оба варианта.

Установка пакета quota

Установка пакета для управления квотами выполняется из репозитория.

а) для систем на базе RPM (Red Hat, CentOS):

yum install quota

б) для систем на базе deb (Debian, Ubuntu):

apt-get install quota

Настройка раздела

Для возможности управлять квотами для определенного раздела необходимо его смонтировать с соответствующими опциями. Для файловых систем XFS и не XFS (например, ext) эти опции различаются:

Для XFS — uquota (для пользователей) и/или gquota (для групп).
Для ext и других — usrquota (для пользователей)и/или grpquota (для групп).

И так, чтобы добавить нужные опции для включения квотирования, откроем файл fstab:

Находим настройку для монтирования раздела, на который необходимо установить квоту и добавим нужные опции:

/dev/sda / ext4 defaults ,usrquota,grpquota 0 0
/dev/sdb /var xfs defaults ,uquota,gquota 0 0

* в данном примере мы добавили опции usrquota и grpquota для устройства /dev/sda, примонтированного в качестве корневого раздела / с файловой системой ext. А также опции uquota и gquota для устройства /dev/sdb (монтируется в /var с файловой системой xfs). Если необходимо включить квоту только для пользователей или групп, оставляем соответствующие опции.
* существуют и другие опции, например, jqfmt нужна для указания формата квоты при использовании журналирования. Подробнее описано в таблице Опции системы квот в файле /etc/fstab сайта IBM.

Перемонтируем наши разделы:

mount -o remount /

mount -o remount /var

Проверим, что нужные нам разделы теперь смонтированы с опциями квотирования:

mount | grep quota

Мы увидим, примерно, следующее:

/dev/sda on / type ext4 (rw,relatime, quota,usrquota,grpquota ,data=ordered)
/dev/sdb on /var type xfs (rw,relatime,attr2,inode64, usrquota,grpquota )

Квоты включены для разделов.

Корневая директория (/) + XFS

При попытке включить квоту для корневой директории XFS с помощью файла fstab, результат будет нулевым — в опциях монтирования мы будем наблюдать noquota, например:

/dev/sda on / type xfs (rw,relatime,attr2,inode64, noquota )

Для включения опции квотирования необходимо отредактировать загрузчик. Для этого открываем файл:

Находим строку GRUB_CMDLINE_LINUX и дописываем в нее rootflags=uquota,gquota — в моем случае получилось так:

.
GRUB_CMDLINE_LINUX=»crashkernel=auto rd.lvm.lv=vg/root rd.lvm.lv=vg/swap rhgb quiet floppy.allowed_drive_mask=0 rootflags=uquota,gquota »
.

На всякий случай, сохраним конфигурационный файл загрузчика:

cp /boot/grub2/grub.cfg /boot/grub2/grub.cfg.backup

. и применим настройки grub:

grub2-mkconfig -o /boot/grub2/grub.cfg

После перезагрузки мы должны наблюдать такую картину:

mount | grep quota

/dev/mapper/vg-root on / type xfs (rw,relatime,attr2,inode64, usrquota,grpquota )

Квоты включены для корневого раздела с файловой системой XFS.

Включение квот

И так, мы разрешили квоты для разделов. Теперь включаем квоты. Процессы для XFS и остальных файловых систем немного различаются. Мы рассмотрим оба варианта. Так как в нашем примере есть разделы для XFS и Ext, то мы выполним все варианты настроек.

После монтирования раздела с файловой системой XFS автоматически включается квотирование (если была задана соответствующая опция). Проверить состояние можно, войдя в режим экспертного управления квотами:

. и выполнив команду для получения статуса:

Ext и другие

Выполним проверку наличия служебных файлов aquota.user и aquota.group — если их нет, команда их создаст автоматически:

. при наличии разделов с включенной квотой на XFS мы можем увидеть:

quotacheck: Skipping /dev/sdb [/var]

* это нам говорит о том, что команда quotacheck пропускаем раздел с xfs.

Включаем квоту для разделов:

Установка квот

Пришло время задать квоты. Они устанавливаются с помощью команды edquota.

Квоты пользователей

Для пользователя, вводим команду:

edquota -u dmosk

* где dmosk — имя пользователя, для которого будет задана квота.

В открывшемся редакторе можно задать ограничение на использование разделов, для которых включена квота:

Disk quotas for user dmosk (uid 1001):
Filesystem blocks soft hard inodes soft hard
/dev/sda 20 0 10M 8 0 0
/dev/sdb 0 0 20M 0 0 0

Filesystem — дисковое устройство, для которого устанавливается квота.
blocks — текущее количество используемых пользователем блоков.
первый soft — мягкая квота на объем данных (при ее превышении отправляется уведомление по почте, а после периода отсрочки, который по умолчанию составляет 7 дней, мягкая квота становится жесткой).
первый hard — жесткая квота на объем данных (при ее превышении дальнейшая запись будет запрещена).
inodes — текущее количество файлов, используемых пользователем.
второй soft — мягкая квота на количество файлов (при ее превышении отправляется уведомление по почте).
второй hard — жесткая квота на количество файлов (при ее превышении дальнейшая запись будет запрещена).

* в данном примере мы задали жесткую квоту для пользователя dmosk в 10 Мб на /dev/sda (корневой раздел) и 20 Мб на /dev/sdb (/var).

Квоты для групп

Для группы, задаем квоту так:

Как и в случае с пользователем, откроется редактор, с помощью которого можно задать квоту:

Disk quotas for group mail (gid 12):
Filesystem blocks soft hard inodes soft hard
/dev/sda 0 0 30M 6 0 0
/dev/sdb 0 0 40M 0 0 0

* в данном примере мы зададим квоту для группы в 30 Мб на /dev/sda (корневой раздел) и 40 Мб на /dev/sdb (/var).

Копирование квот

Мы также можем копировать квоты для пользователей. Для этого используется та же команда edquota с ключом -p:

edquota -p dmosk ivanov

* в данном примере мы скопируем настройку квотирования, которая применяется к dmosk на другого пользователя ivanov.

Настройка периода отсрочки

Как было упомянуто выше, мягкие ссылки являются мягкими только в течение периода отсрочки. Данный период по умолчанию равен 7 дням. Его можно задать командой edquota с ключом -t:

В открывшемся окне задаем новые значения:

Grace period before enforcing soft limits for users:
Time units may be: days, hours, minutes, or seconds
Filesystem Block grace period Inode grace period
/dev/mapper/vg-root 8days 9days
/dev/sdb 8days 9days

* в данном примере мы задали 8 дней для квот на дисковое пространство и 9 дней — на количество файлов.

Просмотр и проверка квот

Ограничения настроены. Проверим.

Отчет по квотам

Чтобы посмотреть отчет об используемом пространстве и установленных квотах, вводим команду:

* для отчета корневого раздела только по пользовательским (u) квотам в режиме удобного чтения (s).

* для отчета по разделу /var для групп.

Мы увидим что-то на подобие:

*** Report for user quotas on device /dev/sda
Block grace time: 7days; Inode grace time: 7days
Block limits File limits
User used soft hard grace used soft hard grace
———————————————————————-
root — 2862M 0K 0K 115k 0 0
polkitd — 0K 0K 0K 2 0 0
tss — 8K 0K 0K 2 0 0
postfix — 4K 0K 0K 38 0 0
chrony — 4K 0K 0K 3 0 0
dmosk — 20K 0K 10240K 8 0 0
rpc — 0K 0K 0K 2 0 0
ntp — 4K 0K 0K 3 0 0
.

* как видим, это отчет по использованию раздела /. Мы видим, каким пользователем сколько занято дискового пространства и видим, что для нашего пользователя dmosk установлена квота в 10 Мб (10240 Кб).

Проверка

И так, мы настроили для пользователя dmosk ограничение на использование дискового пространства. Попробуем превысить данный лимит. Заходим в консоль под нужным пользователем:

dd if=/dev/zero of=/tmp/tmp_dmosk_file bs=1024000 count=100

* команда должна создать файл на 100 Мб в каталоге tmp.

Однако, система вернет сообщение:

dd: ошибка записи «/tmp/tmp_dmosk_file»: Превышена дисковая квота
11+0 записей получено
10+0 записей отправлено
скопировано 10240000 байт (10 MB), 0,223768 c, 45,8 MB/c

Другие квоты

Иногда, необходимо установить квоту в рамках определенной программы или каталога.

Однако, квоты так не работают и нет возможности задать их для определенного каталога или программы. Но это не означает, что выхода нет.

Квота на директорию

Чаще всего, нет необходимости задавать квоту на всю систему — нужно только ограничение размера директории. В данной ситуации нам нужно примонтировать диск к нужной директории и задать квоту на примонтированный раздел.

Квоты в samba

Как правило, речь в контексте samba идет о ограничения на использование шары. Для этого необходимо каждую шару поместить на отдельный раздел, каждый со своей квотой.

Также в файловом сервере samba есть возможность настройки квотирования на уровне программного обеспечения. В конфигурационном файле при настройке шары добавим:

[share]
.
vfs objects = default_quota
default_quota:uid = 1022
default_quota:uid nolimit = no
.

* в данном примере мы задаем квоту на каталог share. Данная квота должна быть такой же, как у системного пользователя с uid 1022. Таким образом, системные квоты должны быть настроены.

Для samba есть также параметр max disk size, который не является ограничением, а просто показывает для других программ максимальный объем доступного пространства.

Квоты в vsftpd

Настраивая vsftpd, мы также должны позаботиться о том, чтобы каталоги с FTP были на разделах с установленными квотами. Другими словами — вопрос также решается с применением пакета quota.

Источник