Cache linux org ru

хочется странного: writeback кэш для разгрузки hdd в ноуте

Есть ноут, который в принципе работает довольно долго с дефолтными настройками

Но в нем диск wd, который засыпает каждые 8 секунд. wdidle3 / idle3-tools с ним уже не работают. А в нашем линуксе 10 секунд отложенная запись. Можно отключить энергосбережение (hdparm -B 254), но это лишние 1.6 Вт (в ноуте они реально лишние…)

Часто пишут на диск в $HOME несколько приложений. Не проблема перенести их каталоги на отдельную ФС

Хотелось бы, чтобы они писали в память, а изменения сбрасывались на диск сильно пореже, хотя бы раз в час. Как writeback кэш, но с очень большой задержкой. Или даже по явной команде. На возможную потерю данных плевать — эти данные не критичны и есть регулярные бекапы

Linux переполнение cache

Добрый день, на ubuntu server установлен dcm4chee(основан на java), сервер приема снимков поступающих с рентген и кт-аппаратов. Пользователи получают доступ с попомощью веб-интерфейса(oviyam2). Все это вертится на wmware.Задействовано 28гб оперативной памяти.

Переодически вознимакает проблема, начинает подвисать веб интерфейс, после чего полностью зависает. htop показывает такую картину, в поле mem — used память из 28 гб используется не более 2ГБ. Но вот cache память, растет(после перезагрузки)как на дрожжах. Пока не занимает все доступное пространство. После чего начинаются зависания и полный фриз, который лечится перезагрузкой.

Полагаю что при частом обращении к снимкам на жестком диске, они помещаются в кэш.Пользователей которые обращаются к снимкам, довольно много(более 20-30).

Ранее обновлял веб-интерфейс, искал проблему в сервере apache, но похоже это связано с оперативной памятью. Можете что либо подсказать?Спасибо

Зачем Redis?

Нуб вопрос. Зачем нужен Redis если можно просто создать внутренний кэш в приложении? В документации и всяких статьях, написано про большую гибкость и что-то там. Ладно, если это кэш для нескольких приложений одновременно, но для одного-то зачем? Особенно, с учетом того, что данные надо приводить к строкам, чтобы хранить в Редисе. Ну или еще как-то преобразовывать.

Оптимальная файл.система для кеширования, диск 6ТБ, для LevelDB?

Есть смесь баз данных LeveDB, RockDB. Оно должно достаточно быстро доставать данные с диска, записи данных очень мало.

Думаю, с учетом специфики задачи, действует правило Парето — на 5% данных приходится 95% обращений.

То есть если я выделю под кеш 128ГБ то будет увеличение скорости этой телеги, наверное.

Вопрос, а качество кеширования/скорость чтения сильно зависит от фаайловой системы? если вместо ext4 поставить zfs например?

помогите собрать дисковое хранилище

прошу помочь с выбором софта для поднятия домашнего файлового хранилища на котором будут храниться фильмы/сериалы которые будут попадать туда с торрентов.

1. сервер с двумя Xeon 5130 @ 2.00GHz
2. 20 gb ddr2-5300f памяти
3. б/у 4 диска sata 2tb
4. б/у 2 диска sata 1tb
5. новый m2 ssd 256gb(1.2-1.3 гб/сек запись) + m2 to pci-e переходник
6. рейд контроллер
7. 2шт qlogic 8gb fc контроллера для сервера и рабочей станции

хотелосьбы получить 2 раздела

1. raid1 из 2 дисков по 1тб для системы и фоточек(200гб)
2. raid5 или raidz1 или что угодно кроме raid0 для достижения максимального обьема раздела с сохранением хотябы части информации при смерти одного из дисков

хотелосьбы выжать скорость

1. на запись 500-700мб/сек на первые 200 гигов, дальше как получится. скажем при копировании по fc папки с файлами 30-40гб каждый
2. на запись 200-250мб/сек в течении длительного времени с торентов от 5-10 одновременных закачек. все теже фильмы/сериалы
3. чтение со скоростью 50мб/сек

пробовал freebsd+zfs+raidz(4x2tb) получается чтото около 150-200мб/сек без использования ссд (привезут через неделю)

есть ли возможность както прикрутить этот ссд к уже настроенному серверу так чтобы все что идет на запись сначала попадало в него а уже потом сбрасывалось на дисковый массив?

Хочу выяснить пару вопросов про современные процессоры и компиляторы.

В данный момент начинаю писать вечерами одну библиотеку на Си, которая будет делать кое-что из цифровой обработки сигналов.

Библиотеку хочу сделать переносимой (чтоб работала и на микроконтроллерах/DSP и на х86-64, и т.д.), поэтому готовый код от вендоров в топку.

И тут возникли вопросы про векторно-матричные операции:

Я правильно понимаю, что для минимизации кеш-промахов надо сделать так, чтобы на соседних итерациях циклов было как можно меньше «скачков» указателей?

В каком виде лучше (с точки зрения оптимизации вычислений компиляторами) писать доступ к массивам?

З.Ы.: Больно не стукайте…

Ограничить дисковый кеш vivaldi

Привет ЛОР. Как ограничить дисковый кеш vivaldi? –disk-cache-size не работает.

Что-то странное с кэшем в Linux-дистрибутивах

Я не знаю, как вы, но я давно заметил, что некоторые дистрибутивы (Ubuntu, Fedora, Linux Mint) не умеют обращаться с кэшем памяти. Я не шибко знаток этой темы, но кэш просто заполняется до отказа, пока система не фризится жёстко (только перезагрузка помогает). Есть ли хотя бы какие-то вменяемые костыли, чтобы это не происходило? Знаю про решение с освобождением кэша командой «sudo sync; echo 3 > /proc/sys/vm/drop_caches», но оно настолько костыльное, что просто ощущаешь себя реальным инвалидом.

Решение

Не рекомендую делать реиндексацию. Комп тупо не справится (у меня 8 ядер, 16 Гб ОЗУ — не потянул). Проще скачать блокчейн заново.

Переполнение кэша оперативной памяти

Есть кластер с RHEL 6.

• ФС – gpfs;
• Процессор – 24хядерные Intel Xeon;
• Оперативка – 128 Гб;
• Диски HDD серверные.

Запускается задача явной динамики с массивной записью данных каждого шага на диск. Через какое-то время переполняется кэш оперативной памяти и задача падает с ООМ.

Если запускать на нескольких узлах, то задача падает быстрее. Если запускать на одном узле – падает гораздо позже. На стационарном компьютере (Windows 7, i7-7700k, 64 Гб оперативы, HDD) задача не падает, но считается, очевидно, медленно.

На мой дилетантский взгляд бутылочное горло – дисковая подсистема: производительность нескольких узлов гораздо выше пропускной способности дисков и поэтому «сгенерированные» расчётные данные не успевают записываться на диск; снижаем вычислительную мощность и проблема пропадает.

• Верно ли моё предположение?
• Какой самый дешёвый (желательно без покупки нового железа, т.е. программный) и простой (у нас тут все по части Linux дилетанты) способ решить проблему?

P.S. Кроме как уменьшать периодичность записи данных в голову ничего не идёт, но это не очень желательно.

Не вытесняемый из памяти дисковый кэш

Добрый,добрый!)
Можно ли как-то сделать не затираемым другими задачами/ядром дисковый кэш для определённой части FS ?.

Что-бы на некоторых корневых каталогах оставался всегда горячим. Всего пару уровней директорий и файлы там не меняются и не даже не читаются, Диски подмонтированны с noatime и nodiratime. Кэш может жить сутки, но после сборки ядра или др каких активных дел — вымывается 🙁 Памяти хватает, swap не заполняется

Debian 10 махом сьедает весь кэш и свапит !

Апгрэйд с 9.9 на 10 прошел без проблем . Но началась вакханалия с памятью. махом забивается page cache (соответственно свободная память) и появляется ростущий swap. ломаю голову что делать. На девятке как только не извращался свап появлялся только при запуске EVE online или чего нибудь бешенного. комп мог неделю не выключать и памяти было всегда тонна и свапа не было . Ноут: i7 8gb-ram 1tb-hdd . додумался только до того что в новом ядре debian 10 (4.19) новый планировщик mq-deadline (он вроде как заточен под многопоточность ssd и NVMe ) а в девятке (4.9) стоял cfq . Может есть у кого соображения по этому поводу. (хана эре hdd) ? Или можно mq-deadline вразумить на норм работу с sata hdd (если я ваще прав на счет планировщика).

Поругайте схему: haproxy + varnish

Решил поднять кэширующий прокси для веб-сервиса. Остановился на varnish (раньше с ним не работал вообще, ну, разве что 500-е ошибки видел с ним).

Хочу поднять следущий конфиг:

На 80-м порту — varnish. На 443-м порту — haproxy.

Дальше есть множественные бэкенды (апач, к слову). Лоад-балансер для бэкендов сделан средствами haproxy.

Хочу сделать так:

80-й порт: varnish -> haproxy_backends -> backend1/backend2/. /backendN.

443-й порт: haproxy -> varnish -> см. выше.

Почему хочу лоадбалансер на haproxy — банально приятнее его веб-админка, по сравнению с консольными тулзами varnish. Haproxy, как минимум, уже есть, настроен, освоен и работает как надо.

Чем нравится эта схема:

1. минимум вмешательств по сравнению с текущей (сейчас просто haproxy с 80/443 шлют запросы на бэкенды).

2. varnish вообще опционален (настрою haproxy, что б был fallback на свои же бэкенды, если varnish не отвечает).

На какие подводные камни я могу напороться и почему так никто не делает? 🙂

htop показывает что падает в swap

На серве битрикс корп портал развернутый на бубунте. Замечаю что после бэкапа он постоянно в swap падает. Перезагрузка mysql помогает освободить swap. И вообще он падает в swap из-за болльших буферов под mysql?

Проблема в слишком больших кэшах mysql, судя по VIRT?

после рестарта mysql

redis как очистить кэш?

только начала работать с redis/

нужно почистить кэш. боюсь удалить данные)

как правильно сделать?

Не работает expires max nginx

Помогите понять почему не работает expires max в nginx. Есть связка nginx+php-fpm+memcache, но почему то не работает кэширование. developers.google.com говорит, что статика не кешируется.

Сам конфиг nginx:

Отдавать кэш страниц при не работающие backend-е Nginx

Есть сервер с nginx, который кэширует статику и проксирует остальное из apache. Возможно ли настроить так, чтобы при падении backend-а в лице apache nginx отдавал кэш целой страницы? Т.е. пока работает backend, он просто проксит эти запросы, отдает то, что отдал apache и пишет себе кэш «про запас». А если apache «упал», то отдает страницу из кэша, как временное решение.

bcache vs dm-cache vs enhanceIO vs flashcache (SSD Cache) — что выбрать?

Есть рабочая система с Raid 1 на 2ух HDD.

Есть SSD на 120 гб, который завалялся.

Задача: все данные на Raid 1 оставить без изменений, прицепить кэш. Получить максимальный IOPS.

На Raid 1 виртуалки (KVM) и контейнеры (LXC).

Bcache как я понял — «протух» и с недавних пор идёт в составе bcachefs. Требует форматирования ФС.

dm-cache сложен в настройке и требует предварительного подсчета размера метаданных.

enhanceIO — судя по бенчмаркам самый перспективный, но последние патчи были в 2017ом.

Хотелось бы услышать более развернутый аргумент, чем мой. Может есть что-то ещё?

Какие аналоги у bcache?

Судя по всему bcache того самого. https://evilpiepirate.org/git/bcache-tools какие аналоги у bcache есть?

Решение от Ivan_qrt.

Proxmox + Raid10 SSD

Подскажите, пожалуйста, как правильно настроить связку? Такое впечатление, что у proxmox есть еще какой то кэш поверх raid, и который «затыкается» при какой то производительной операции типа миграции или восстановления из бэкапа (выглядит это так — в начале все хорошо, скорость очень высокая, после копирования 8-10 гб примерно скорость падает «в пол», а LA идет уже 20-50). Контроллер LSI 9260-8i, 4 новых диска SSD Samsung 850 EVO 500gb, заполнено 5-10% дисков. Strip size 64kb

по синтетических тестам копирования с родительского сервера и виртуалок скорость ожидаемая, что то вроде 1 гб\с. сам proxmox стоит на 2 sata отдельно, на ssd только виртуалки

Ssd как кэш к hdd, дабы не скрипело

Есть ssd 250Gb и винт на 1Tb.

Есть шум винта, который бесит и не очень частая потребность хранить/доставать большие файлы.

Сейчас делаю как — монтирую терабайтник вручную когда нужно, делаю делишки, размонтирую, кладу винт в сон hdparm’ом.

Как хотелось бы — индекс ФС винта и наиболее часто требуемые данные хранятся в разделе(часть хочется использовать на отдельном разделе как обычный ssd) ssd. Если обращений к винту нет — он именно, что засыпает. Если есть кэш мисс — диск просыпается, происходит lru вытеснение данных с заменой на файл к которому происходит обращение. Скорость обращения к данным не из кэша — значения не имеет. Но, важно, что если были обращения к данным которые не умещаются в кэш, а потом файл был закрыт — диск должен автоматом уснуть. Ну, и, всё это хозяйство монтируется как некая FS что бы работать с данными можно было без дополнительных телодвижений.

В какую сторону читать?

UPD: на скорость по факту действительно начхать, т.е. хотелось бы ФС которая хранила бы метаданные на одном диске, а сами данные на втором. Т.е. пока происходят всякие listdir и fstat не было обращений к харду и он мог сладко спать.

Источник

Сегодня тестовый день SSD Cache (bcache)

Сегодня в рамках тестовых дней Fedora 20 будет проходить тестовый день посвящённый тестированию SSD Cache. А если точнее, bcache, т.к. dm-cache находится в очень плохом состоянии.

Сегодня после 12:00 PST (23:00 MSK) будет присутствовать автор и главный разработчик bcache (Kent Overstreet).

На сегодняшний день (официально) bcache есть в 2х дистрибутивах: Ubuntu (PPA) и Fedora (основные репозитории). В рамках Fedora Project мы написали правильные udev правила, правильно внедрили в dracut и сделали очень много другой работы. Bcache — self-contained фича Fedora 20, что означает, что через установщик федоры вы не можете использовать bcache. К F21 это уже будет wide-change, что означает интеграцию с установщиком.

Не переживайте, пользователи `distroname`! В ближайшем будущем, конечно же, они появятся и в вашем `distroname`, поэтому не стесняйтесь приходить и тестировать. Все наши наработки будут переданы в апстрим!

У нас подготовлены 4+ тесткейса:

Последний тесткейс даёт интересные возможности для билдсерверов по типу koji. Т.к. частоиспользуемые пакеты для сборки будут кешироваться на SSD, что должно дать неплохой прирост к производительности.

После тестирования нужно заполнить таблицу.

Все вопросы можно (и нужно) задавать на #fedora-test-day on Freenode мне (ignatenkobrain) и Rolf Fokkens (rolffokkens).

FS-Cache и CacheFS:Кеширование для сетевой файловой системы

Как часть развития поддержки файловых систем в Linux ядре, начиная с 2.6.30, была добавлена поддержка CacheFS. На данный момент она поддерживает NFS и AFS, но и другие файловые системы могут воспользоваться данным механизмом.

Эта статья — краткое введение в CacheFS, который ещё имеет некоторые недоработки, но уже заметно увеличивает производительность сетевых файловых систем. Также мы обсудим FS-Cache — прослойку между CacheFS и самой файловой системой.

Оптимизация кэша squid

Развивая тему экономии трафика с помощью прокси-сервера squid, нельзя не упомянуть про возможности дополнительной настройки кэша, а также возможность задания разных правил кэширования для разных адресов (которые можно задавать шаблонами).

Кроме того, squid позволяет модифицировать заголовки запросов, что также можно использовать для повышения эффективности кэша.

В статье показано, как с помощью несложных изменений в конфигурации можно существенно повысить эффективность его кэша.

Источник