Linux development on mac

Установка и использование GNU/Linux как дополнительной системы на iMac/Macbook (Dual Boot)

Введение

macOS — довольно интересная система, красивая, удобная, стабильная. Но продукт Apple имеет серьезные минусы: закрытый исходный код, не самое большое количество стороннего софта, слежка за пользователями (ну в Windows она тоже есть). Расставаться с macOS не хочу — например, конкурента для Final Cut Pro даже на Windows не найти. Я не нашел понятных, актуальных и универсальных инструкций даже на английском, поэтому я написал данный туториал, основанный на личном опыте.

ВНИМАНИЕ! 1. На компьютерах Apple, выпущенных в 2018 году и позднее, присутствует специальный защитный чип, который запрещает ставить ОС методом, описанным в статье (вы сможете воспользоваться лишь Bootcamp для установки Windows). 2. На компьютерах с macOS Big Sur имеется проблема с утилитой, которая обязательна для установки. Поэтому во всех этих случаях выполняйте следующие действия на свой страх и риск. Если ваша техника и ОС подходит под эти условия: для вас пункт 3 особенно важен — делайте бэкапы!

Вам понадобится: флешка, внешний диск, смартфон/другое устройство для просмотра туториала.

Установка

1. Выберите дистрибутив

Выберите дистрибутив, который подходит под архитектуру вашего процессора. Я выбирал на сайте distrowatch.com. Скачайте необходимый .iso образ вашего дистрибутива.

2. Установите программу для подготовки флешки

Установите Balena Etcher (macOS, Linux, Windows) или Rufus (Windows). К сожалению, мне пришлось воспользоваться Rufus на другом компьютере, с Balena Etcher возникли некоторые проблемы. Вставьте флешку, её объем должен быть больше размера дистрибутива примерно на 1 ГБ (на всякий случай).

В случае с Rufus: загрузите дистрибутив в программу, никакие настройки не изменяйте, нажмите «СТАРТ». Программа сообщит вам, когда выполнит работу.

Если же вы решили воспользоваться Balena Etcher: интерфейс интуитивно понятный, так что проблем не должно быть.

Balena Etcher

3. Сделайте бэкап (можно пропустить, но это важно)

Я особенно понял, что бэкап важен, когда написал этот туториал и он пропал. И когда забыл сделать бэкап для смартфона. Делайте бэкапы.

Запустите Time Machine, подключите внешний диск для бэкапа (его объем должен быть равен объему занятого места на диске ± 15-20 ГБ). Обратите внимание, что в среднем на передачу 1 ТБ с жесткого диска на внешний жесткий диск требуется 7 часов (по личным наблюдениям с iMac, если вы пользуетесь SSD — процесс будет быстрее). Отключите внешний диск для бэкапа после завершения передачи данных.

Time Machine

4. Поделите диск на три части: macOS, Linux, Swap

Откройте Дисковую утилиту, нажмите на диск, относящийся к Macintosh HD (он может называться по-другому, например Macintosh SSD и т. п.).

Нажмите «Разбить на разделы», создайте раздел «Swap», выберите формат MS-DOS (FAT), выделите данному разделу количество дискового объема, равное количеству оперативной памяти на компьютере (я выделил 8 ГБ). Создайте следующий раздел «Linux» (тоже MS-DOS FAT), выделите ему желаемое (и обязательно свободное) место на диске (оптимально будет 50 ГБ, но можно и меньше/больше).

5. Загрузите операционную систему с флешки

Перезагрузите компьютер. Сразу же после появления логотипа Apple зажмите клавишу alt (option) до тех пор, пока не появится меню выбора диска для загрузки. Выберите первый EFI Boot. Появится меню: вы можете попробовать (try), установить (install). Советую сначала попробовать (если такая возможность имеется), так как не все дистрибутивы хорошо работают на «железе» Apple.

6. Следуйте указаниям установщика

Попробовали и все нравится? Движемся дальше. Запустите установщик (обычно на рабочем столе есть иконка «Install *название_ОС и версия*»), следуйте указаниям установщика, но когда вас спросят, в каком месте установить — сразу же переходите в расширенные настройки. Выберите раздел, объем которого равен объему раздела «Linux» как главный и отформатируйте его в EXT4. Раздел, объем которого равен объему раздела «Swap», пометьте как «swap-area» или подобное. В качестве раздела для bootloader используйте главный раздел («Linux»).

7. Установите rEFInd

Если вы решили использовать Ubuntu как второй дистрибутив, запустите в терминале следующие команды:

Для других ОС подробная информация на официальном сайте.

8. Вход в rEFInd Boot Manager и завершение установки

Перезагрузите компьютер, и снова зажмите alt (option). Откройте EFI Boot, и немного подождите. Появится меню, выберите систему, которую вы хотите запустить. В дальнейшем, rEFInd Boot Manager будет запускаться самостоятельно.

Кстати, все, за исключением macOS, Time Machine и EFI, что я использовал в туториале — open-source.

Если у вас остались какие-либо вопросы, например, насчет драйверов, спрашивайте. Всем спасибо, что прочитали — ведь это мой первый опыт написания статей/туториалов на Хабре.

Источник

Linux development on mac

#HOWTO create a bootable usb of Kali Linux

Using Mac Linux USB Loader

• Optional convert iso to img

It seems that this step is optional. The transferred .iso is fully functional

Note : OS X tends to put the .dmg ending on the output file automatically

Use Disk Utility to erase the USB drive to Mac OS journalised (GUID Table of partition)

Get the current list of devices and note the node for the USB Drive (probably /dev/disk1)

Note : you can specify «bs=1m» for the blocksize used in transfer. However, it seems that it gets the iso corrupted. Need some testing with smaller values : 512k etc.

Note : you can check the progress of dd by pressing ctrl-t in the shell

change the EFI on it from the broken default one to Grub. To do so, mount the disk and replace the EFI folder by the one in the folder (EFI.zip). Make sure that the folder is deleted by emptying the trash og your computer (Otherwise, error : «Not enough space»)

unmount the disk :

Try to boot on the disk by rebooting with the USB stick and pressing alt

To do so, we have to add a new partition to our USB drive and add a persistence.conf file in it. We need a tool to format in ext4. I created a virtual machine of Ubuntu on VirtualBox on my Mac OS X, since it is not able to format in ext4 by default. Then :

• Create and format new partitions with gparted. Execute :

then format all the space available to ext4, with label persistence, primary partition. NOTE that those two parameters are crucial.

• Create the persistence.conf file :

Then, when booting on the USB, choose Live USB persistence

Virtual Box : Boot from USB Drive

find the usb drive, then unmount it :

The tricky part is that the VirtualBox process can only read/write files owned by the current user you are logged with. However Mac OS X, had put root as owner. With this default, you won’t be able to import the disk file that we are going to create. So the solution is too change the permission of the device.

• Change permission of the disk .vmdk :

• Change permission of the USB Drive :

NB you will have to change permission each time you plug the USB drive in.

Create a new virtual machine in VirtualBox and select Use an existing virtual hard disk file, to pick

This file is converted to pdf from markdown using pandoc

About

Installing Linux on Mac : Guidelines // Automatic and manual

Источник

Сборка Docker-образов для MacBook M1 под Linux

Мы собираем зависимости для нашего тестового окружения в Docker-образ, что оказалось очень удобно. Но недавно у нас появился разработчик с MacBook M1, и резко встал вопрос о возможности поддержки двух платформ.

Особенности поведения Docker на MacBook M1

Для начала пара слов о том, как повёл себя MacBook M1. В самом M1 предусмотрена неплохая поддержка программ, собранных для процессоров Intel (Rosetta 2). То есть большинство программ, которые собраны для процессоров Intel, запускаются на нём без проблем.

В Docker подобное поведение тоже реализовано, но несколько другим образом: Docker использует виртуальную машину для запуска образов (как минимум потому, что им нужно ядро Linux). Но в этой виртуальной машине есть поддержка исполнения бинарных файлов для архитектуры x86_64 .

В случае с MacBook M1 родной архитектурой для него будет являться aarch64 :

Сборка образа для другой архитектуры

Docker-образы мы собираем под Linux.

К счастью, под Linux можно собрать Docker-образ для другой архитектуры без особых проблем.

Для примера возьмём простой Dockerfile:

Чтобы его собрать для M1 проще всего воспользоваться BuildKit.

Для этого нужно выполнить команду вида:

Но скорее всего результат будет другим:

Для того чтобы собрать образы под другую платформу, нужно поставить эмулятор для этой платформы.

Установка эмулятора (быстрый метод)

Для установки эмулятора можно воспользоваться проектом:

Этот Docker-образ скопирует в систему qemu-user-static и зарегистрирует его для исполнения бинарных файлов соответствующей платформы.

После этого, кстати, можно будет запускать статически слинкованные исполняемые файлы от другой платформы (подобные файлы по умолчанию создаёт компилятор Go).

К сожалению, эффект от этой команды будет действовать до первой перезагрузки.

Установка эмулятора (ручной метод)

Если мы по каким-то причинам не хотим воспользоваться первым методом, то можно сделать всё это вручную.

Установка qemu-user-static

Нужно установить qemu-user-static для вашего дистрибутива, например:

Если в вашем дистрибутиве используется qemu-user-static очень старой версии, то можно скачать пакет от дистрибутива более свежей версии. У qemu-user-static нет внешних зависимостей и, к примеру, пакет от Ubuntu 21.04 (qemu version 5.2) хорошо встаёт на Ubuntu 18.04 (qemu version 2.11).

Зарегистрировать qemu-user-static в binfmt

Теоретически установки qemu-user-static должно быть достаточно. Но на некоторых дистрибутивах она не прописывается в binfmt.

Проверить работоспособность можно командой:

Я исправлял эту ситуацию по инструкции:

Сборка образов по отдельности

После того как мы научились собирать образ для другой платформы, надо научиться собирать образ для двух платформ одновременно.

Это можно сделать несколькими способами.

Для начала рассмотрим сборку образа для нескольких платформ вручную.

Проверить, что образ собрался успешно, можно командой вида:

Сборка при помощи docker buildx

С недавнего времени в Docker появилась возможность собрать образ под несколько платформ одной командой:

Что здесь происходит:

docker buildx create создаёт в DOCKER_CONFIG (по умолчанию

/.docker ) описание сборщика. Флаг —use помечает этот сборщик используемым по умолчанию (без этого его имя надо было бы протаскивать в последующие команды). Кроме конфигурационных файлов текущего пользователя эта команда не меняет и не использует ничего.

buildx inspect —bootstrap выводит информацию о сборщике. Если он не запущен, то запускает его. Сам сборщик представляет собой Docker-контейнер.

docker buildx build собственно собирает образ.

Особенности поведения на CI

При сборке на CI возникают следующие проблемы:

docker buildx create при создании контейнера по умолчанию прописывает в конфигурацию образ с DockerHub;

docker buildx inspect —bootstrap создаёт контейнер со сборщиком и подвержен гонкам;

единожды созданный сборщик используется между несколькими сборками.

Для решения этих проблем мы перенесли запуск сборщика на этап старта сборочного агента.

Таким образом при запуске агента мы выполняем команды вида:

Это запускает сборщик образов на старте агента с нужными нам параметрами.

При старте задачи на сборку мы выполняем команды вида ( DOCKER_CONFIG переопределяется на каждую сборку):

Кэширование сборки образов

В качестве бонуса при использовании BuildKit мы получаем возможность использовать внешний кэш для Docker-образов:

Особенность такого кэширования: в отличие от кэша на базе предыдущего Docker-образа, хорошо работает с Dockerfile, в которых используется несколько FROM директив.

Источник

Linux development on mac

Lima: Linux virtual machines (on macOS, in most cases)

Lima launches Linux virtual machines with automatic file sharing, port forwarding, and containerd.

Lima can be considered as a some sort of unofficial «macOS subsystem for Linux», or «containerd for Mac».

Lima is expected to be used on macOS hosts, but can be used on Linux hosts as well.

✅ Automatic file sharing

✅ Automatic port forwarding

The goal of Lima is to promote containerd including nerdctl (contaiNERD ctl) to Mac users, but Lima can be used for non-container applications as well.

• Rancher Desktop: Kubernetes and container management to the desktop
• Colima: Docker (and Kubernetes) on macOS with minimal setup

• Lima xbar plugin — xbar plugin to start/stop VMs from the menu bar and see their running status.

Sharing files across macOS and Linux

Running containerd containers (compatible with Docker containers)

http://127.0.0.1:8080 is accessible from both macOS and Linux.

Install recent version of QEMU. v6.1.0 or later is recommended.

On ARM hosts, a patched version of QEMU has to be installed for enabling -accel hvf support.

The patch was merged into the master branch on 2021-09-21 and will be included in QEMU v6.2.0.

The patch is already cherry-picked in the Homebrew package of QEMU since 6.1.0_1 bottle.

• Download the binary archive of Lima from https://github.com/lima-vm/lima/releases , and extract it under /usr/local (or somewhere else). For instance:

• To install Lima from the source, run make && make install .

NOTE Lima is not regularly tested on ARM Mac (due to lack of CI).

Run limactl start to start the Linux instance. The default instance name is «default». Lima automatically opens an editor ( vi ) for reviewing and modifying the configuration. Wait until «READY» to be printed on the host terminal.

Run limactl shell to launch on Linux. For the «default» instance, this command can be shortened as lima . The lima command also accepts the instance name as the environment variable $LIMA_INSTANCE .

Run limactl copy . to copy files between instances, or between instances and the host. Use : to specify a source or target inside an instance.

Run limactl list [—json] to show the instances.

Run limactl stop [—force] to stop the instance.

Run limactl delete [—force] to delete the instance.

To enable bash completion, add source to

⚠️ CAUTION: make sure to back up your data

Lima may have bugs that result in loss of data.

Make sure to back up your data before running Lima.

Especially, the following data might be easily lost:

• Data in the shared writable directories ( /tmp/lima by default), probably after hibernation of the host machine (e.g., after closing and reopening the laptop lid)
• Data in the VM image, mostly when upgrading the version of lima

The current default spec:

• OS: Ubuntu 21.04 (Hirsute Hippo)
• CPU: 4 cores
• Memory: 4 GiB
• Disk: 100 GiB
• Mounts:

(read-only), /tmp/lima (writable)

SSH: 127.0.0.1:60022

• Hypervisor: QEMU with HVF accelerator
• Filesystem sharing: reverse sshfs (planned to be replaced with 9p soon)
• Port forwarding: ssh -L , automated by watching /proc/net/tcp and iptables events in the guest

Contributing to Lima

Please certify your Developer Certificate of Origin (DCO), by signing off your commit with git commit -s and with your real name.

Please squash commits.

• Test on ARM Mac
• Performance optimization
• More guest distros
• Windows hosts
• GUI with system tray icon (Qt or Electron, for portability)
• VirtFS to replace the current reverse sshfs (work has to be done on QEMU repo)
• vsock to replace SSH (work has to be done on QEMU repo)

«What’s my login password?»

Password is disabled and locked by default. You have to use limactl shell bash (or lima bash ) to open a shell.

Alternatively, you may also directly ssh into the guest: ssh -p 60022 -i

/.lima/_config/user -o NoHostAuthenticationForLocalhost=yes 127.0.0.1 .

«Does Lima work on ARM Mac?»

Yes, it should work, but not regularly tested on ARM (due to lack of CI).

«Can I run non-Ubuntu guests?»

Debian, Fedora, Alpine, Arch Linux, and openSUSE are also known to work. See ./examples/ .

An image has to satisfy the following requirements:

• systemd or OpenRC
• cloud-init
• The following binaries to be preinstalled:
  • sudo
• The following binaries to be preinstalled, or installable via the package manager:
  • sshfs
  • newuidmap and newgidmap
• apt-get , dnf , apk , pacman , or zypper (if you want to contribute support for another package manager, run git grep apt-get to find out where to modify)

«Can I run other container engines such as Docker and Podman?»

Yes, any container engine should work with Lima.

The default Ubuntu image also contains LXD. Run lima sudo lxc init to set up LXD.

«Can I run Lima with a remote Linux machine?»

Lima itself does not support connecting to a remote Linux machine, but sshocker, the predecessor or Lima, provides similar features for remote Linux machines.

e.g., run sshocker -v /Users/foo:/home/foo/mnt -p 8080:80 @ to expose /Users/foo to the remote machine as /home/foo/mnt , and forward localhost:8080 to the port 80 of the remote machine.

«Advantages compared to Docker for Mac?»

Lima is free software (Apache License 2.0), while Docker for Mac is not. Their EULA even prohibits disclosure of benchmarking result.

On the other hand, Moby, aka Docker for Linux, is free software, but Moby/Docker lacks several novel features of containerd, such as:

«QEMU crashes with HV_ERROR «

If you have installed QEMU v6.0.0 or later on macOS 11 via homebrew, your QEMU binary should have been already automatically signed to enable HVF acceleration.

However, if you see HV_ERROR , you might need to sign the binary manually.

EOF codesign -s — —entitlements entitlements.xml —force /usr/local/bin/qemu-system-x86_64 «>

Note: Only on macOS versions before 10.15.7 you might need to add this entitlement in addition:

• Make sure that HVF is enabled with com.apple.security.hypervisor entitlement. See «QEMU crashes with HV_ERROR «.
• Emulating non-native machines (ARM-on-Intel, Intel-on-ARM) is slow by design.

• make sure qemu is codesigned, See «QEMU crashes with HV_ERROR «.
• if you are on macOS 10.15.7 or 11.0 or later make sure the entitlement com.apple.vm.hypervisor is not added. It only works on older macOS versions. You can clear the codesigning with codesign —remove-signature /usr/local/bin/qemu-system-x86_64 and start over.

«Port forwarding does not work»

Prior to Lima v0.7.0, Lima did not support forwarding privileged ports (1-1023). e.g., you had to use 8080, not 80.

Lima v0.7.0 and later supports forwarding privileged ports on macOS hosts.

On Linux hosts, you might have to set sysctl value net.ipv4.ip_unprivileged_port_start=0 .

stuck on «Waiting for the essential requirement 1 of X: «ssh»

libslirp v4.6.0 used by QEMU is known to be broken. If you have libslirp v4.6.0 in /usr/local/Cellar/libslirp , you have to upgrade it to v4.6.1 or later ( brew upgrade ).

«permission denied» for limactl cp command

The copy command only works for instances that have been created by lima 0.5.0 or later. You can manually install the required identity on older instances with (replace INSTANCE with actual instance name):

«Cannot access the guest IP 192.168.5.15 from the host»

The default guest IP 192.168.5.15 is not accessible from the host and other guests.

To add another IP address that is accessible from the host and other virtual machines, enable vde_vmnet .

«Hints for debugging other problems?»

• Inspect logs:
  • limactl —debug start
  • $HOME/.lima/ /serial.log
  • /var/log/cloud-init-output.log (inside the guest)
  • /var/log/cloud-init.log (inside the guest)
• Make sure that you aren’t mixing up tabs and spaces in the YAML.

About

Linux virtual machines, on macOS (aka «Linux-on-Mac», «macOS subsystem for Linux», «containerd for Mac», unofficially)

Источник