Самоучитель системному администратору linux

Лекции Технотрека. Администрирование Linux

Представляем вашему вниманию очередную порцию лекций Технотрека. В рамках курса будут рассмотрены основы системного администрирования интернет-сервисов, обеспечения их отказоустойчивости, производительности и безопасности, а также особенности устройства ОС Linux, наиболее широко применяемой в подобных проектах. В качестве примера будут использоваться дистрибутивы семейства RHEL 7 (CentOS 7), веб-сервер nginx, СУБД MySQL, системы резервного копирования bacula, системы мониторинга Zabbix, системы виртуализации oVirt, балансировщика нагрузки на базе ipvs+keepalived. Курс ведёт Сергей Клочков, системный администратор в компании Variti.

Лекция 1. Основы

В начале лекции вы узнаете об истории появления и развития Linux. Затем проводится экскурс по экосистеме Linux, рассказывается о некоторых различиях между дистрибутивами. Далее обсуждается иерархия файловой системы, рассматривается основной рабочий инструмент в этой ОС — командная строка. Подробно рассказывается о Bash-скриптах, о двух основных сущностях в системе — пользователях и группах. Затем обсуждаются регулирование прав доступа к файлам и директориям, рассматриваются привилегии пользователей и в завершение лекции затрагивается тема удалённого доступа.

Лекция 2. Пользовательское окружение Linux

Сначала подробно рассказывается об этапах загрузки системы и ОС, обсуждается ядро Linux. Объясняется, что собой представляет «процесс», как он использует оперативную память. Вы узнаете, что такое дескрипторы и для чего они нужны, как процессор потребляет ресурсы. Затем рассматриваются системные вызовы, сигналы, лимиты процессов, переменные окружения. Обсуждается вопрос размножения процессов и подробно анализируется работа процесса. В завершение вы узнаете о подсистеме perf и логах.

Лекция 3. Linux и сеть (основы)

Вы узнаете, что такое сетевой стек и модель OSI. Вспомните, что такое Ethernet и как с ним работает Linux. Дальше будут освежены ваши знания об использовании IPv4, особенностях IPv4-пакетов и сетей. Затем рассматривается ICMP, мультикаст в IPv4. Далее переходим к IPv6, обсуждаются заголовки IPv6-пакетов, UDP, TCP-соединения. Затрагивается тема TCP congestion control. Потом рассказывается о NAT, протоколах уровня приложения, DNS, NTP, HTTP и URL. Разбираются коды HTTP-ответа (успешные ответы и ошибки).

Лекция 4. Управление пользовательским окружением

Вы узнаете о том, что такое менеджер пакетов RPM и как его использовать. Далее рассматривается классический init, системный менеджер systemd. Разбирается пример init-файла. Обсуждаются основные типы Unit’ов, рассказывается про системный логгер и ротацию логов. В заключение вы узнаете об основах конфигурации сетевых интерфейсов.

Лекция 5. Веб-сервисы

Сначала рассматривается типовая архитектура веб-сервиса. Рассказывается о том, что такое фронтенд, что такое сервер приложений. Разбирается вопрос хранения данных веб-приложениями. Подробно разбирается работа и использование протокола HTTP. Обсуждаются виды HTTP-запросов. Затрагивается тема создания шифрованных туннелей с помощью SSL. Затем рассматриваются примеры установки СУБД MySQL с созданием БД и пользователя. Разбирается работа с PHP-FPM, конфигурирование nginx, установка и настройка wiki-движка.

Лекция 6. Хранение данных

Перечисляются основные проблемы хранения данных, рассматриваются достоинства и недостатки разных устройств хранения, их интерфейсы. Затем вы узнаете, как определять состояние жёсткого диска, какова его производительность, что такое RAID, какие бывают RAID-массивы и как их создавать. Сравниваются разные типы RAID, а также программные и аппаратные массивы. Обсуждаются LVM-снепшоты, рассматриваются разные файловые системы. Затрагивается вопрос удалённого хранения данных и использование протокола ISCSI.

Лекция 7. Сервисы инфраструктуры

Рассматривается DNS-сервер bind, NTP-сервер. Обсуждается централизованная аутентификация на основе LDAP. Разбирается DHCP, задача установки ОС по сети с помощью kickstart, а в завершение рассматривается система управления конфигурацией Salt.

Лекция 8. Резервное копирование

Начало лекции посвящено продолжению рассказа о системе управления конфигурацией Salt. Рассказывается, как её установить, как осуществляется управление конфигурацией Linux, разбирается её пример. Вы узнаете, что такое «зёрна» и зачем они нужны. Далее переходим к теме резервного копирования: какие данные нужно копировать, каковы основные трудности, какие бывают виды резервных копий. Обсуждается задача резервного копирования ОС. Рассказывается об использовании системы резервного копирования bacula.

Лекция 9. Резервное копирование (часть 2)

В начале лекции рассказывается о резервном копировании БД. Обсуждаются различные стратегии резервного копирования — mysqldump, mylvmbackup. Вы узнаете, для чего нужен мониторинг и как его выполнять, какие есть средства мониторинга. Рассматриваются разные виды проверок. Обсуждаются шаблоны проверок. В заключение рассказывается об элементах данных, о выполнении веб-мониторинга.

Лекция 10. Инфраструктура электронной почты

Вы узнаете, что такое электронная почта, познакомитесь с основными понятиями. Затем рассматривается процесс доставки и выдачи почты. Обсуждается использование протоколов SMTP, POP3 и IMAP. Разбирается применение SMTP-сервера postfix, IMAP-сервера Dovecot. Рассказывается о том, как ходят письма по сети и что такое MX-записи. Наконец, обсуждается защита от спама, разбираются SPF-записи, DKIM и Spamassassin.

Лекция 11. Распределение ресурсов системы

Лекция посвящена продвинутым вопросам администрирования Linux. Сначала вы узнаете, как управлять параметрами ядра ОС. Затем рассматриваются модули ядра, как ими управлять. Обсуждается выделение ресурсов приложения. Далее рассказывается о планировщике задач, об алгоритмах шедулинга, о приоритетах процессов. Разбирается шедулер CFS, политики шедулинга. Вы узнаете, что такое NUMA и как с ней работать. Познакомитесь с планировщиками ввода/вывода. Далее рассказывается о контрольных группах, об управляемых ресурсах, об управлении контрольными группами и лимитами ввода/вывода.

Плейлист всех лекций находится по ссылке. Напомним, что актуальные лекции и мастер-классы о программировании от наших IT-специалистов в проектах Технопарк, Техносфера и Технотрек по-прежнему публикуются на канале Технострим.

Другие курсы Технотрека на Хабре:

Информацию обо всех наших образовательных проектах вы можете найти в недавней статье.

Источник

Подборка материала для начинающего linux-сисадмина

Однажды меня спросили, что почитать начинающему админу. Сам я тоже являюсь начинающим, но давно зрела идея составить такой список, что же можно почитать с небольшим личным мнением или простым описанием.
Тут я поделюсь ссылками, книгами где можно набраться уму разуму.

Кто заинтересовался — прошу под кат.

Linux/Unix:

Книги:

Ссылки:

habrahabr.ru — разнообразные статьи и новости на IT и около-IT тематику.
www.opennet.ru — огромный сборник манов, вики, статей, советов, новостей и прочего на тему Linux, Unix.
www.linux.org.ru — русская информация об ОС Linux.
xgu.ru/wiki — точка обмена знаниями по UNIX/Linux-системам, системам с открытым исходных кодом, сетям и другим родственным вещам.
www.ibm.com/developerworks/ru/linux — крутые статьи от IBM.
syslog.tv — говорят, что бывают полезные статьи, но сам лично не читал.
www.cyberciti.biz — различные how-to и советы.
events.yandex.ru/events/kit — Курсы Информационных технология от Яндекса (видео), очень советую, крутые доклады.
course.secsem.ru/lections — Лекции по курсу «Практические аспекты сетевой безопасности» (видео, аудио, текст).
www.howtoforge.com — большая подборка How-to.
workaround.org — несколько полезных статей и руководств по Linux.
highload.com.ua — масштабирование и производительность, высокие нагрузки, PHP, MySQL.
find.unixpin.com/ru — построитель команды find.
www.grymoire.com/Unix — отличные учебники по sed, awk и полезные статьи.
kernelnewbies.org/KernelHacking — как же работает ядро?
forum.ru-board.com/forum.cgi?forum=8 — раздел форума для сисадминов.
sysadminblog.ru — блоги сисадминов про cisco, ip телефонию, linux, openldap и другое.
wiki.dieg.info — довольно много полезных советов по Linux.
www.sysadminwiki.ru/wiki — неплохая вики.
olemskoi.ru — блог системного администратора Linux.
debian.pro — блок для пользователя и администратора Debian.
interface31.ru/tech_it/index.html — технический блог со статьями по администрированию.
antizlo.blogspot.ru — опять таки неплохой блог.
howitmake.ru — очередной блог.
vds-admin.ru — linux-мануалы, how-to.
wiki.enchtex.info — ряд полезных статей и how-to по администрированию ubuntu и gentoo.
rfc2.ru — русские переводы RFC.
handynotes.ru — есть довольно хорошие статьи.
xtips.ru — шпаргалка для системных администраторов.
vim-adventures.com — игра-туториал для пользователей Vim.
nixsrv.com — Learn Linux The Hard Way — довольно интересные задачки для новичка.
www.linuxfromscratch.org/lfs — Linux From Scratch — соберем свой собственный линукс дистрибутив с блэкджеком и девушками.

Книги:

Ссылки:

ss64.com — отличный справочник консольных команд bash, cmd, powershel и т.д.
cb.vu/unixtoolbox.xhtml — описание shell-команд и примеры.

Книги:

Ссылки:

www.cpan.org — окало 120 тысяч модулей к Perl.

Python:

Книги:

Ссылки:

docs.python.org/2 — официальная документация по Python 2.7.3.
docs.python.org/3 — официальная документация по Python 3.3.0.

Книги:

Язык программирования С — лучшая книга по Си, но довольно высокий порог вхождения.
Как программировать на С — мне очень понравилась книга манерой изложения и доступностью, по сравнению с первой книгой.
Программирование на языке С — очень хорошо изложен материал.

Книги:

Язык программирования С++ — опять таки одна из лучших книг по С++, но порог вхождения опять таки велик.
Как программировать на С++ — аналогично книге по Си, очень доступно.

Источник

Самоучитель системному администратору linux

Physics.Math.Code запись закреплена

Самоучитель системного администратора 5-е издание [2019] Кенин, Колисниченко

Изложены основные задачи системного администрирования, описаны базовые протоколы, даны рекомендации по выбору оборудования и проведению ежедневных операций. Рассмотрены методы централизованного управления, основы создания безопасной среды. Подробно раскрыты технологии, используемые при построении информационных систем, описаны средства мониторинга и обслуживания как малых, так и распределенных сетей.

Даны рекомендации по поиску неисправностей, обеспечению защиты данных. Параллельно рассмотрены решения на основе операционных систем Windows и Linux с использованием как проприетарных, так и открытых технологий. Книга написана на основе многолетнего опыта разработки и практического администрирования информационных систем. В пятом издании рассмотрены новейшие технологии, в том числе Windows 10 и Windows Server 2016. Особое внимание уделено облачным технологиям, в том числе вопросам выбора облачного провайдера, создания виртуального сервера для 1С и др., существенно возросло количество практических советов, инструкций и рекомендаций. Для начинающих системных администраторов.

Источник

Самоучитель системному администратору linux

Название книги: Самоучитель системного администратора Linux
Автор: Колисниченко Д. Н.
Год: 2011
Издательство: Питер
ISBN 978-5-9775-0639-7
Страниц: 544
Язык: Русский
Формат: PDF
Размер: 10 Mb

Содержание: Описаны основы сетевого взаимодействия, планирование и монтаж сети (Ethernet и Wi-Fi), настройка сети и маршрутизации без конфигураторов. Даны примеры настройки различных типов серверов: Web, FTP, DNS, DHCP, почтового сервера, сервера баз данных.

Рассмотрены дистрибутивы Fedora 13, Mandriva 2010.1 Spring, openSUSE 11.3, Ubuntu 10, файловая система Linux, установка и базовая настройка Linux, а также связки Apache + MySQL + PHP.

Особое внимание уделено защите сетевых сервисов и оптимизации работы сервера: использованию брандмауэров iptables и ebtables, прокси-серверов Squid и SquidGuard, созданию chroot-окружения, управлению доступом с помощью системы Tomoyo, настройке VPN-сервера, аудиту сети при помощи сетевого сканера nmap.

Приведены практические рекомендации по стратегии администрирования и уходу за аппаратными средствами, работе Linux-сервера в Windows-сети, созданию LiveCD, автоматизации задач с помощью bash, использованию программных RAID-массивов.

Источник

Подборка полезных книг для администраторов и пользователей Linux

1. Linux. Установка, настройка, администрирование 2013 (Михаэль Кофлер)

Книга может оказаться очень полезной для тех, кто делает первые шаги в данной операционной системе. Автор старается кратко изложить основы работы с системой, приводя примеры на ряде популярных дистрибутивов.

2. Unix и Linux. Руководство системного администратора 2012г (Эви Немет, Гарт Снайдер, Трент Хейн, Бэн Уэйли)

А вот эта книга наоборот создана для профессионалов и новичкам, не имеющим уверенных навыков по работе с системой и ее администрированием, категорически не рекомендуется.

3. Linux. Системное программирование 2008 (Роберт Лав)

Данная книга поможет упорядочить знания по системным вызовам и функциям ядра.

4. Основы программирования в Linux 2009 ( Нейл Мэттью, Ричард Стоунз)

В понятной и доступной форме описывается программирование в среде Linux на C/C++/Bash

5. Компьютерные сети. Принципы, технологии, протоколы. 2016 (Виктор Олифер, Наталия Олифер)

Одна из фундаментальных книг по сетевым технологиям. Предпочел добавить сюда её, так как Таненбаум местами пишет довольно сложно, а с трудностями перевода (для тех кто не умеет читать оригинал) становится еще сложней. Олиферы пишут на русском для русских студентов. Не понять — практически не возможно.

6. Операционная система UNIX 2010 (Андрей Робачевский, Сергей Немнюгин, Ольга Стесик)

Добротная книга, рассказывающая о том, как устроен Unix.

Список не претендует на полноценность, если вам есть что добавить к нему, добавляйте в комментарии.

Найдены возможные дубликаты

Лига Сисадминов

638 постов 12.2K подписчика

Правила сообщества

# mount -o remount,rw /sysadmins_league

— # mount /dev/good_story /sysodmins_league

— # mount /dev/photo_it /sysodmins_league

— # mount /dev/best_practice /sysodmins_league

— # mount /dev/tutorial /sysodmins_league

А скачать, скачать-то где??

Все книги из списка имеют статус настольных. Держать такие в электронном виде как то не очень имеет смысл.

Если вам очень принципиально, то скачать можно с торрентов. Например с небезызвестного рутрекера.

Ну почему нет смысла, я, например, с планшета почти всегда читаю. За подборку спасибо.

У Таненбаума все книги хороши, и написаны шикарно. Правда, не знаю ни одного человека, кто бы прочитал хоть одну целиком.

спасибо за «пинок» — всё скачал 😉

наверное многие в гугле забанены 😉

Олифер великолепен. Читал дважды

Да боже мой, ну кто же рекомендует Олиферов. Это же сакральный ад и погибель. Ну почитайте вы книжки по CCNA — намного полезнее и проще.

Кофлер — фигня, Unix и Linux Немета — размазывание соплей по тарелке.

за пункт 3 — однозначный плюс

4 — скорее да, чем нет. Мне больше нравиться Искусство программирования под Unix Реймонда

6 — вообще ни о чем.

Я бы добавил — «Linux глазами хакера» Михаила Фленова — мне в свое время очень понравилось. Простое и легкое чтиво, здорово подпитывающее паранойу.

«Ядро linux» Бовета и Чезатти? А как же Slackbook? Конечно нынешним линупсоидам — убунточникам будет сложновато, но оно того стоит.

+ если уж на то пошло, то как насчет «Криптографии» Брюса Шнаера, если советовать что-то около линуксячее?

Не умаляя качества книг издательства Cisco Press, чем же так плохи книги Олиферов? Как начальный уровень пойдет.

По поводу Slackbook. На самом деле я в начале хотел сюда добавить основы linux от основателя Gentoo, но потом вспомнил, что нигде не видел полного перевода, а на английском многим будет тупо лень читать, поэтому передумал.

Насчет Олиферов. Не знаю) Мне здорово во многом помогли разобраться. Но если быть более откровенным, большее понимание в моей голове зародили: Huawei s5700, AR1220 (документации к ним) и eNSP (аналог PT только для Huawei). Но тут надо быть большим задротом, чтобы без цели запустить в продакшн, собирать какие то схемы в эмуляторе. Проще почитать книжку, авось что и запомнится.

Для общего развития да. На практике книги по администрированию никсов мало применимы. Чего не скажешь про винду. Там без книг тяжко, манулов толковых в инете мало.

IBM Power — личное мнение (часть 2а)

спасибо подписчикам за доверие и за терпение. лето, дача, сад и огород были важнее. что поспособствовало обрастанию темы подробностями. интересны ли они только мне, решать читателям.

2. особености ввода-вывода серверов на основе Power

3. как работают LPar-ы, или в чем преимущества Power Hypervisor + HMC

4. VIOS или не VIOS, вот в чём вопрос.

5. AIX, устаревший UNIX, или неувядающий

хороший процессор всего лишь часть производительной ЭВМ. без хорошей памяти и без быстрого доступа к устройствам ввода-вывода не обойтись. мода в 80е была на микропроцессоры, впихивание всех блоков процессора в одной микросхеме. в погоне за дешевизной уменьшали корпус совмещением адресной шины и шины данных. но основные продукты IBM всегда были сложными, а в погоне за высокой производительностью и дорогими. тем более, что люди, привыкшие к процессорам размером в шкаф и ЭВМ размером в спортивный зал, ограничивать себя в производительности не привыкли. поэтому с целью выжать как можно больше производительности шина наоборот расширяется. вводя одновременное выполнение нескольких комманд, нужно все эти команды загрузить. тем более, что операнды комманд тоже нужно загрузить.

первое поколение IBM POWER позволяло одновременное выполнение одной команды загрузки/сохранения/перехода, одной целочисленной команды и одной команды с плавающей запятой. каждая по 32 бит, значит нужны не менее 96 битов для загрузки трех команд из памяти. поэтому шина доступа к памяти сделали шириной в четыре слова, или 128 битов. на схеме это четыре блока кеша данных (data-cache unit / DCU), 32 битов каждый.

на каждой плате четыре пары 32-битовых планок памяти, что позволяет чередованием достичь более высокой скорости доступа к данным. 64-битовые платы памяти нужно устанавливать попарно.

знакомая хитрость, которой пользовались и пользуются все производители сложных микросхем: часть отбракованных на производстве микросхем можно вернуть в строй, понизив тактовую частоту или выключая неработающие блоки. другие удешевляют, жертвуя параметрами. многим знакомы 16-битовые процессоры Intel 8088/80188 с 8-битовой иной данных, или 32-битовые Motorola 68000 и Intel 80386SX с их 16-битовой шиной. процессоры POWER не исключение, существует упрощенный вариант процессора с выполнительными блоками пониженной тактовой частоты и двумя блоками кеша. в них шина к памяти 64 бит и платы памяти можно устанавливать поштучно.

например из первых моделей POWERserver 320 и POWERserver 520 работали на 20 МГц, включали только 32 килобайт кеша, шина к памяти была 64-битовой и оснащались одной картой памяти на 8 MB. зато модели POWERserver 530 и POWERserver 540 работали на 25 и 30 МГц соответственно, включали 64 килобайт кеша, имели 128-битовую шину, а объем памяти начинался с 16 MB (2х8MB) и 64 MB (2x32MB).

доступ к устройствам ввода-вывода осуществляется через отдельную шину System Input/Output (SIO). о ней очень мало известно, но она 64-битовая. последнее приводило немало людей к заблуждению, что это 64-битовая шина MicroChannel, хотя между ними сидит Input/Output Channel Controller (IOCC). предположительно работала на частоте процессора.

шина MCA позволяет обмен 64-битовыми двойными словами через 32-битовую шину при помощи «мультиплексирования». о последнем тоже мало что известно и даже служители IBM порой пишут невероятные вещи. догадываясь по скудным данным в открытом доступе, «мультиплексирование» проводит обмен второго 32-битового слова через линии адреса. таким образом некоторые платы линейки RS/6000 могли достичь теоретический максимум в 80 MB/s, что в серверах PS/2 ограничено до 40 MB/s. встречал упоминания, что на практике можно было достичь около 77 MB/s при обменах блоками в 4 килобайт. все это при частоте шины в 10 МГц. теоретически при частоте в 20 МГц потолок скорости 160 MB/s, но не знаю был ли когда-либо достигнут. жадность IBM проиграла PCI.

также очень мало известно о Serial Optical Channel Converter (SOCC), что появился годом позже на серверах 500 серии и 900 серии. в открытом доступе есть упоминания, что скорость каждого из двух оптических портов была 220 Мбит/с, что в те времена было вдвое быстрее самого быстрого наличного сетевого стандарта FDDI. устройства поддерживают связь точка-точка между машинами, но IBM указывает, что можно купить коммутатор у партнера. операционная система AIX поддерживает связь по протоколу TCP/IP через Serial Optical Link.

с улучшением технологии изготовления микросхем появляются некоторые улучшения производительности за счет повышения тактовой частоты. за этим можно подозревать связанную с частотой процессора скорость шины SIO, но потверждения тем подозрениям вряд ли удастся найти. процессоры POWER работали на частотах 20 МГц, 25 МГц и 30 МГц. первое улучшение (POWER+) достигло частоты в 25 МГц, 33 МГц и 41 МГц. второе улучшение (POWER++) дало 25 МГц, 33 МГц, 41 МГц, 50 МГц и 62,5 МГц. на таких относительно высоких частотах задержка доступа к памяти уже является основным узким местом. это приводит к замене плат памяти на новых моделях.

машины POWERserver 970 и POWERserver 980 добавляют второй IOCC на шине SIO, что дает вторую шину MicroChannel (2x 80 MB/s) и еще два порта SOCC.

на смену первому поколению приходит второе. для дальнейшего повышения производительности повышается суперскалярность. в процессорах POWER2 уже два АЛУ и два блока вычислении с плавающей запятой. их нужно запитывать и шина к памяти расширяется до 256 бит, а карты памяти лучше добавлять группами по четыре. хотя возможность установить всего лишь две карты памяти предусмотрена, но это сужает шину до 128 бит с потерей производительности.

вторая шина MicroChannel в модели POWERserver 990 уже не добавляется по заказу, а установлена штатно.

Источник