Linux reboot on panic

Reboot on Kernel Panic

Продолжаю пилить свою маленькую систему. Хочу сделать автоматическую перезагрузку при панике ядра (на случай, если умер init). Подскажите, опцию ядра (ну или где это конфигурируется?)
Может, патчик?

Внезапно первая ссылка в гугле.
http://goo.gl/GA9aM

Э, не, про это я знаю. Мне нужна _автоматическая_ перезагрузка, без ожидания.

+ параметр ядру panic=XX

Но при некоторых проблемах все равно не помогает.

watchdog еще помогает.

_автоматическая_ перезагрузка, без ожидания.

В каком смысле без ожидания? Поставьте там 1 секунду, всё равно перезагрузка длительный процесс.

сделать автоматическую перезагрузку при панике ядра

Сделай лучше автокатапульту в бункер на случай ядерной войны.

У меня перезагрузка достаточно быстрая, но хочется ещё ускорить этот процесс. Даже эта одна секунда критична.

Тогда, наверное, надо писать патч. Убрать и эту секунду ожидания и, может, вобще вывод сообщений о панике на консоль — тоже занимает время.

Источник

How to reboot Linux automatically on Kernel Panic

Luckily this problem don’t happen so frequently, at least using stable kernel and distributions, but sometime your beloved Linux could go in “Kernel Panic”.

A kernel panic is an action taken by an operating system upon detecting an internal fatal error from which it cannot safely recover. The term is largely specific to Unix and Unix-like systems; for Microsoft Windows operating systems the equivalent term is “stop error” (or, colloquially BSOD “Blue Screen of Death”).

The kernel routines that handle panics, known as panic() in AT&T-derived and BSD Unix source code, are generally designed to output an error message to the console, dump an image of kernel memory to disk for post-mortem debugging and then either wait for the system to be manually rebooted, or initiate an automatic reboot.

The default it’s to wait, so if this happen on one of your servers and you don’t notice it all its services could stay down for some time, while using an automatic reboot the problem could be solved quickly.

We can configure a directive that will automatically reboot the system when a kernel panic is detected.

This directive, which can be inserted in the lines of grub that make boot up the system with the preferred parameters, does nothing but tell the kernel that, in case there is a kernel panic, instead of leaving the pc stuck to alert you in some way (such as by flashing the LEDs on the keyboard), the system must be restarted within a certain time.

This directive is part of the line where we specify the root of the system and is called:
“panic = XX” where XX indicates the seconds to wait before restarting the system, for example, panic=20 .

The startup parameters, just to give an example, could be:

The line we are interested in is the one in bold.You can see the parameter panic=20.
In this case, we told the kernel to reboot after 20 seconds in the case of a kernel-panic.
All this must, of course, be supported by the fact that at the boot time all the service/programs that our system need must be available and started to perform the tasks that are part of its duties.

Alternative, use sysctl

As alternative to the boot option you can put the parameter in the /etc/sysctl.conf file to include kernel.panic parameter as follows.

Once you have added this option to your sysctl file use the command:

sysctl -p /etc/sysctl.conf

To re-read and enable it (it will be read automatically on next reboots).

SysRq key

On local systems, it is also convenient to be able to reboot the system with a key-press in the case of a panic. Instead of having the system reboot automatically on a local system, consider using the magic SysRq keys to reboot your system if X locks up or keyboard entry is being ignored.

To enable SysRq add to the file /etc/sysctl.conf the following option:

And as above run the command

sysctl -p /etc/sysctl.conf

to enable it in the current session.

Common use of SysRq

A common idiom to perform a safe reboot of a Linux computer which has otherwise locked up, is “Raising Elephants Is So Utterly Boring”, “Reboot Even If System Utterly Broken” or simply remembering the word “BUSIER” backwards, is often useful. It stands for:

This can prevent a fsck being required on reboot and gives some programs a chance to save emergency backups of unsaved work.

In practice, each command may require a few seconds to complete, especially if feedback is unavailable from the screen due to a freeze or display corruption. For example, sending SIGKILL to processes which have not yet finished terminating can cause data loss.

Источник

Reboot Linux box after a kernel panic

If you want the server to get rebooted automatically after kernel hit by a pain error message, try adding panic=N to /etc/sysctl.conf file.

It specify kernel behavior on panic. By default, the kernel will not reboot after a panic, but this option will cause a kernel reboot after N seconds. For example following boot parameter will force to reboot Linux after 10 seconds.

Open /etc/sysctl.conf file

When kernel panic’s, reboot after 10 second delay

• No ads and tracking
• In-depth guides for developers and sysadmins at Opensourceflare✨
• Join my Patreon to support independent content creators and start reading latest guides:
  • How to set up Redis sentinel cluster on Ubuntu or Debian Linux
  • How To Set Up SSH Keys With YubiKey as two-factor authentication (U2F/FIDO2)
  • How to set up Mariadb Galera cluster on Ubuntu or Debian Linux
  • A podman tutorial for beginners – part I (run Linux containers without Docker and in daemonless mode)
  • How to protect Linux against rogue USB devices using USBGuard

Join Patreon ➔

Save and close the file. Alternatively, you may want to enable and use magic system request keys (SysRq).

Category	List of Unix and Linux commands
Documentation	help • mandb • man • pinfo
Disk space analyzers	df • duf • ncdu • pydf
File Management	cat • cp • less • mkdir • more • tree
Firewall	Alpine Awall • CentOS 8 • OpenSUSE • RHEL 8 • Ubuntu 16.04 • Ubuntu 18.04 • Ubuntu 20.04
Linux Desktop Apps	Skype • Spotify • VLC 3
Modern utilities	bat • exa
Network Utilities	NetHogs • dig • host • ip • nmap
OpenVPN	CentOS 7 • CentOS 8 • Debian 10 • Debian 8/9 • Ubuntu 18.04 • Ubuntu 20.04
Package Manager	apk • apt
Processes Management	bg • chroot • cron • disown • fg • glances • gtop • jobs • killall • kill • pidof • pstree • pwdx • time • vtop
Searching	ag • grep • whereis • which
Shell builtins	compgen • echo • printf
Text processing	cut • rev
User Information	groups • id • lastcomm • last • lid/libuser-lid • logname • members • users • whoami • who • w
WireGuard VPN	Alpine • CentOS 8 • Debian 10 • Firewall • Ubuntu 20.04

Comments on this entry are closed.

Thanks for this tip. My computer had a kernel panic for the first time a couple of weeks ago and I had no choice but to reboot it manually.

One can also add panic=10 to the kernel command line, it will have exactly the same effect.

Of course, it’s possible to change it later with sysctl, or by writing to /proc:

Источник

Linux reboot on panic

24 окт 2020, 03:21

М.б. ошибся с разделом в котором необходимо задать данный вопрос.

При длительной (именно длительной) работе (6-8- часов и более) при выключении или перезагрузке системы перестает полностью отрабатываться команда shutdown. В сообщении на экране запись ссылается на libuninstring.so.2 Однако сама библиотека присутствует по пути /usr/lib/x86_64-linux-gnu При не слишком продолжительной работе такого явления не возникает.

60Hz
OpenGL: renderer: Mesa Intel HD Graphics 500 (APL 2) v: 4.6 Mesa 20.0.8
direct render: Yes
Audio:
Device-1: Intel Celeron N3350/Pentium N4200/Atom E3900 Series Audio Cluster vendor: ASRock driver: snd_hda_intel v: kernel bus ID: 00:0e.0
Sound Server: ALSA v: k5.4.0-52-generic
Network:
Device-1: Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet
vendor: ASRock driver: r8169 v: kernel port: e000 bus ID: 02:00.0
IF: enp2s0 state: up speed: 100 Mbps duplex: full mac:
Drives:
Local Storage: total: 465.76 GiB used: 283.60 GiB (60.9%)
ID-1: /dev/sda vendor: Toshiba model: MQ01ABD050 size: 465.76 GiB
Partition:
ID-1: / size: 457.42 GiB used: 283.59 GiB (62.0%) fs: ext4 dev: /dev/sda2
Sensors:
System Temperatures: cpu: 58.0 C mobo: N/A
Fan Speeds (RPM): N/A
Info:
Processes: 173 Uptime: 34m Memory: 3.51 GiB used: 1000.7 MiB (27.8%)
Init: systemd runlevel: 5 Compilers: gcc: 9.3.0 Shell: bash v: 5.0.17
inxi: 3.0.38

Вроде бы не только в 4-ой сессии встречается, но если дело доходит до дампа — значит явный косяк. Влияет или нет — тут только проверочным отключением проверять. Клиент для вот этого https://www.pcloud.com/ru/eu чудит, я так понял.

Второй момент: Universe@Home отключить попробуйте тоже. Хоть оно ошибок не сыпет — зато может грузить машину по самые уши «в свободное время» провоцируя проявление косяка. Если после отключения симптомы пропадут — значит большая нагрузка железке/системе не дается.

Kernel panic при выключении или перезагрузке

24 окт 2020, 13:45

намекает на то, что проблема скорее всего завязана на железо. (Большая часть «плавающих» неисправностей на него завязана). Потому начинать диагностику надо с тестов памяти и диска, IMHO. А далее — можно попробовать замену ядра, может несовместимость с железом присутствует. И неплохо было бы глянуть полный вывод journalctl за всю длинную сессию, которая закончилась проявлением проблемы — возможно там что-то отмечается.

Чтобы получить лог сессии в файл: journalctl -b -1 > session.txt где «-1» — насколько предыдущих сессий отмотать назад. Т.е. просто -b без второго ключа — текущая сессия, -1 — предыдущая, -10 — десять загрузок назад.

Kernel panic при выключении или перезагрузке

24 окт 2020, 16:26

Kernel panic при выключении или перезагрузке

24 окт 2020, 17:49

Kernel panic при выключении или перезагрузке

24 окт 2020, 18:28

Kernel panic при выключении или перезагрузке

24 окт 2020, 19:22

Вроде бы не только в 4-ой сессии встречается, но если дело доходит до дампа — значит явный косяк. Влияет или нет — тут только проверочным отключением проверять. Клиент для вот этого https://www.pcloud.com/ru/eu чудит, я так понял.

Второй момент: Universe@Home отключить попробуйте тоже. Хоть оно ошибок не сыпет — зато может грузить машину по самые уши «в свободное время» провоцируя проявление косяка. Если после отключения симптомы пропадут — значит большая нагрузка железке/системе не дается.

Kernel panic при выключении или перезагрузке

24 окт 2020, 19:26

Kernel panic при выключении или перезагрузке

24 окт 2020, 19:39

Kernel panic при выключении или перезагрузке

24 окт 2020, 19:50

Kernel panic при выключении или перезагрузке

24 окт 2020, 20:19

Kernel panic при выключении или перезагрузке

24 окт 2020, 20:38

Насколько я вижу — у железа проблемы с общением по data каналу. Редкие, но присутствуют. Система вынуждена периодически reset состояния делать для интерфейса винта, а это не слишком хороший признак, даже если ничего другого не проявляется. Но тут фиг поймешь где именно баг засел — это может быть как винт, так и кабель, и контроллер на материнке.

Тест же он у вас проходил только короткий. Попробуйте прогнать полный:
smartctl —test=long

Kernel panic при выключении или перезагрузке

24 окт 2020, 21:21

$
Результат упадёт в txt или я сделал неправильно?

Kernel panic при выключении или перезагрузке

24 окт 2020, 23:50

Kernel panic при выключении или перезагрузке

25 окт 2020, 02:21

Тест д.б. завершиться в 01:23, команды давал после 02 час. По самостоятельному поиску нашёл, что результат можно посмотреть командой smartctl -l selftest /dev/sda ( источник ).
Пару минут назад выполнил smartctl -a и smartctl -x
Результаты выводов в файлах 2-smartctl-a.txt, 2-smartctl-l-selftest.txt, 2-smartctl-x.txt

Смущают записи:
# 3 Extended offline Aborted by host 90% 19216 —
# 4 Extended offline Aborted by host 90% 19216 —
Глубокий тест не прошёл? Хотя по незнанию 2 раза обрывал тест. Но 3-й глубокий тест должен был пройти.

И до кучи SMART 193 — 2 среза времени, ничем кроме браузера не дёргал с 22:52 :
22:55 — 14574
00:17 — 14585

Kernel panic при выключении или перезагрузке

25 окт 2020, 15:17

Для ноутбучного диска это нормально. Они так себя защищают от передвижений ноутбука, там парковка выставлена на небольшое время, и диск на это рассчитан. (300000-500000 циклов ресурса у самых дешевых моделей — норма).

А вот гораздо неприятнее вот это:

Kernel panic при выключении или перезагрузке

25 окт 2020, 15:59

Kernel panic при выключении или перезагрузке

31 окт 2020, 13:48

Как и обещал, отписываюсь по результатам проверки.
За прошедшую неделю система все сессии отработала в штатном режиме. Причём одна из сессий имела продолжительноть более 17 часов, остальные — не менее 10-12 часов. Главный вывод – проблема комплексная, то есть программно-аппаратная.

1. Клиент pCloud. Имевший место случай являлся единичным. К тому же, клиент постоянно не работает. После старта системы с автозапуском pCloud через 10 минут клиент pCloud выключается через скрипт.

2. Universe@Home. По умолчанию в настройке клиента установлено значение «Использовать не более 100% времени ЦП». Это значение было изменено на 70%. Кроме того указано, чтобы за 3 минуты до выключения компьютера (по расписанию) служба BOINC останавливалась.
Вероятнее всего, при совпадении момента выключения системы и активного обращения Universe@Home к жёсткому диску имело место «отваливание» data канала диска. Как раз об этом и говорил slant : » . зато может грузить машину по самые уши «в свободное время» провоцируя проявление косяка «.

3. Сам винчестер, один из параметров которого » . У вас он ОЧЕНЬ сильно завышен. Т.е. полностью здоровым диск считать нельзя «.

По крайней мере, на будущее уже известны слабые места эксплуатируемого железа.

Хотелось бы ещё раз выразить признательность slant за потраченное на меня время при разбирательстве логов сессий и подробные разъяснения. Тему можно считать закрытой.

Источник