Windows Vmmem active when I don’t have Virtual Machine conscisouly running

Replies (7) 

Hi and thanks for reaching out! I’m an Independent Advisor and a Microsoft user like you. Please allow me to assist with your issue.

I think you have docker running on your OS and the development you are working probably uses that too. Try looking for Docker Desktop and Exit it, then the task should be gone.

Please let me know if I can help you further!

16 people found this reply helpful

Was this reply helpful?

Sorry this didn’t help.

Great! Thanks for your feedback.

How satisfied are you with this reply?

Thanks for your feedback, it helps us improve the site.

How satisfied are you with this reply?

Thanks for your feedback.

3 people found this reply helpful

Was this reply helpful?

Sorry this didn’t help.

Great! Thanks for your feedback.

How satisfied are you with this reply?

Thanks for your feedback, it helps us improve the site.

How satisfied are you with this reply?

Thanks for your feedback.

Yes, it should still be running. You need to also identify the containers that are running. You could do so by executing docker ps. See here for documentation: https://docs.docker.com/engine/reference/comman.

Within Hyper-V manager, you will find a Docker VM that should always be running. This is to provide docker services.

Please let me know if I can help you further!

Note: This is a non-Microsoft website. The page appears to be providing accurate, safe information. Watch out for ads on the site that may advertise products frequently classified as a PUP (Potentially Unwanted Products). Thoroughly research any product advertised on the site before you decide to download and install it.

7 people found this reply helpful

Was this reply helpful?

Sorry this didn’t help.

Great! Thanks for your feedback.

How satisfied are you with this reply?

Thanks for your feedback, it helps us improve the site.

Vmmem using over 10gb memory and around 50% CPU #7033

Comments

DanielWhite21 commented Jun 3, 2020

[ x ] I have tried with the latest version of my channel (Stable or Edge) [ x ] I have uploaded Diagnostics Diagnostics ID: 4884BBF1-F512-480C-96CD-2F39954C36F7/20200603092132

Expected behavior

To run docker jobs in a timely manner

Actual behavior

Its taking over 2 hrs to build an R application, using over 10gb mem, and up to 50% CPU
I have to keep restarting my laptop in between build jobs and some of these are requiring minor tweaks to the R app.
I understand its a large build out but it takes around 20 mins on my Mac

Information

• Windows Version: Version 2004 (OS Build 19041.264)
• Docker Desktop Version: 2.3.0.3(45519)
• Are you running inside a virtualized Windows e.g. on a cloud server or on a mac VM: No

Steps to reproduce the behavior

1. docker run -it —rm
   -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID
   -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY
   -e AWS_SESSION_TOKEN=$AWS_SESSION_TOKEN
   -e AWS_DEFAULT_REGION=eu-west-1
   —name shinyvolcano
   -p 127.0.0.1:80:3838 shinyvolcano # use http (80) or https (443)

The text was updated successfully, but these errors were encountered:

4O4 commented Jun 4, 2020

I have the same issue when running docker-compose setup on windows 10. CPU usage of vmmem is insane and It’s also consuming tons of RAM, but somehow the task manager always shows 0 for RAM usage of vmmem.

I can’t provide diagnostics ID right now, because it takes forever to finish for some reason and my computer is burning hot during that. I also can’t publish my docker-compose.yml right now and I don’t know yet if this also happens when running some specific single container. I need to check it out yet.

However, what I can provide is my observation of some of the internals of the VM the docker stuff is running on. In the Hyper-V manager I’ve seen that the docker machine is eating up to 20% CPU (at least it was claiming so) and the usage was rapidly changing like there was a lot of intensive stuff running, then stopping for a very short time, then spinning up again. The normal CPU usage for my current setup should be 1% max. I am sure none of my apps are causing such usage spikes, so I’ve decided to dig into the VM to see what is it doing.

I’ve done the following to gain access to the VM (found the commands somewhere on the internet):

then I’ve ran top to see what processes are running and what I’ve seen was /usr/bin/lifecycle-server being on top of the CPU and RAM usage stats, together with memlog daemon (although the values of the memlog were jumping a lot, lifecycle server was constantly on the top).

I’ve killed the lifecycle-server process and everything turned back to normal, my CPU fans stopped spinning like crazy, the temperatures went back to normal. This problem comes back from time to time, sometimes after I reboot the computer, sometimes after restarting the docker engine.

I’m repeating the steps described above every time this happens to kill the lifecycle-server and stop that massive heat generator. Everything in docker is working absolutely normal after that and my room becomes completely quiet with no fans spinning 🙂

My guess is that lifecycle-server is spamming a lot of error / warning/ debug / whatever logs, these logs are then filling lots of RAM and the intensity of writes causes lots of CPU usage too. Although that is only my blind guess since I have no idea what exactly is this process responsible for and sadly there is no source code available for Docker Desktop stuff.

I hope this helps to narrow down the problem a bit.

Еще один способ установки и использования Docker в Windows 10

В этой статье мы подготовим окружение для запуска контейнеров в Windows 10 и создадим простое контейнеризированное .NET приложение

Чтобы все описанные ниже действия были успешно выполнены, потребуется 64-разрядная система с версией не меньше 2004 и сборкой не меньше 18362. Проверим версию и номер сборки, выполнив в PowerShell команду winver

Если версия ниже требуемой, то необходимо произвести обновление и только после этого идти дальше

Установка WSL 2

Сначала включим компонент Windows Subsystem for Linux (WSL). Для этого запустим PowerShell с правами администратора и выполним первую команду

Выполним следующую команду

Чтобы завершить установку, перезагрузим компьютер shutdown -r -t 1

Выберем WSL 2 по умолчанию для новых дистрибутивов Linux wsl —set-default-version 2

Для целей этой статьи это необязательно, но установим дистрибутив Linux через Microsoft Store, например, Ubuntu 20.04 LTS

При первом запуске установленного дистрибутива введем имя пользователя и пароль

Чтобы увидеть запущенные дистрибутивы Linux, выполним в PowerShell команду wsl —list —verbose

Чтобы завершить работу дистрибутива Linux, выполним команду wsl —terminate Ubuntu-20.04

Файловая система запущенного дистрибутива Linux будет смонтирована по этому пути \\wsl$

Установка Docker

Скачаем Docker Desktop для Windows и установим, следуя простым инструкциям

После установки запустим приложение Docker Desktop и установим интеграцию Docker с дистрибутивом Linux (WSL 2)

Теперь отправлять команды Docker можно как через PowerShell, так и через Bash. Выполним команду docker version

Запуск контейнеров

Чтобы убедиться, что Docker правильно установлен и работает должным образом, запустим простой контейнер busybox, который всего лишь выведет в консоль переданное сообщение и завершит свое выполнение

Хорошо. Давайте сделаем что-то более интересное. Например, запустим контейнер rabbitmq

Разберем выполненную команду:

docker run — запускает контейнер из образа. Если данный образ отсутствует локально, то предварительно он будет загружен из репозитория Docker Hub

—name rabbit1 — присваивает запускаемому контейнеру имя rabbit1

-p 8080:15672 — пробрасывает порт с хоста в контейнер. 8080 — порт на хосте, 15672 — порт в контейнере

rabbitmq:3.8.9-management — имя образа и его тег/версия, разделенные двоеточием

Теперь мы можем извне контейнера взаимодействовать с сервером RabbitMQ через порт 5672 и получить доступ к управлению из браузера через порт 8080

Посмотреть статус контейнеров, в том числе остановленных, можно с помощью команд docker container ls —all или docker ps -a

Чтобы остановить наш контейнер: docker stop rabbit1 . Запустить вновь: docker start rabbit1

Отладка .NET приложения запущенного в контейнере

Для нашего примера нам понадобится отдельная сеть, т.к. мы запустим целых два контейнера, которые будут взаимодействовать между собой. На самом деле все запускаемые контейнеры по умолчанию попадают в уже существующую сеть с именем bridge, но т.к. в своей сети мы без лишних проблем сможешь обращаться из одного контейнера к другому прямо по имени, создадим сеть с названием mynet типа bridge

Далее запустим redis и подключим его к ранее созданной сети. Благодаря параметру -d процесс в контейнере будет запущен в фоновом режиме

Далее с помощью Visual Studio 2019 создадим новый проект ASP.NET Core Web API, который будет использован для демонстрации отладки

Добавим для взаимодействия с Redis пакет StackExchange.Redis через Package Manager Console

Мы не будем акцентироваться на правильности и красоте дизайна, а быстро создадим рабочий пример

Добавим в проект файл RandomWeatherService.cs, где будет находится служба для выдачи не очень точного прогноза

Добавим файл RedisRepository.cs, где будет находится служба кеширования сформированных прогнозов

Зарегистрируем созданные службы в классе Startup

И наконец, изменим созданный автоматически единственный контроллер WeatherForecastController следующим образом

Помимо прочего в проект автоматически был добавлен файл Dockerfile с инструкциями для Docker. Оставим его без изменений

В результате получим следующую структуру проекта

Если по какой-то невероятной причине Вам понадобятся исходники, то они здесь

Запустим наше приложение в контейнере под отладкой

После того как контейнер будет запущен, также подключим его к сети mynet

После убедимся, что все необходимые контейнеры находятся в одной сети

Далее установим Breakpoint в единственном методе контроллера и пошлем запрос через Postman, или через любой браузер

Кстати, используемый порт в Вашем случае может отличаться и его можно посмотреть в окне Containers

Результат в окне Postman

Дополнительно убедимся, что значение зафиксировано в redis, подключившись с помощью консоли redis-cli

Docker под Windows для разработки, разбор подводных камней

Данная публикация является разбором особенностей контейнерной виртуализации Docker под системой Windows.

Она не претендует на роль исчерпывающей и по мере необходимости будет обновляться и дополняться.

За практическим руководством с нуля советую обратиться к этой публикации.

Содержание

Предварительные настройки

Контейнерная виртуализация или виртуализация на уровне операционной системы Docker нативно работает только на дистрибутивах Linux и FreeBSD (экспериментально).
На Windows вам понадобится гостевая Linux система либо специальная минималистичная виртуальная машина с ядром Linux от разработчиков Docker, которая и ставится из коробки.
Само собой разумеется, что вы включили виртуализацию у себя в BIOS/UEFI
Пункт настройки может называться по-разному: VT-x, VT-d, Intel VT, AMD-V, Virtualization Technology.

Еще одним минимальным системным требованием будет разрядность системы x64 и версия не ниже Windows 7 Pro.

Выбор между Docker Toolbox on Windows или Docker for Windows

Сборка включается в себя сам docker, утилиту docker-compose, утилиту для работы с виртуальной машиной docker-machine и клиент Kitematic.

Используется виртуальная машина (по умолчанию на VirtualBox) с минималистичным Linux окружением.

Позже для новых операционных систем выпустили Docker for Windows и Docker for Mac, которая на текущий момент является актуальной версией и продолжает развиваться.

Выбор между версиями не сложный:
— Если у вас Windows 10 x64 Pro, Enterprise или Education то включаем службу Hyper-V и ставим Docker for Windows.

Заметьте, что после включения службы Hyper-V пропадет возможность запускать и создавать x64 виртуальные машины на VirtualBox.

— Если же у вас другая версия Windows(7 Pro, 8, 8.1, 10 Home) то ставим VirtualBox и Docker Toolbox on Windows.

Несмотря на то, что Docker Toolbox разработчиками признан устаревшим работа с ним слабо отличается от Docker for Windows.

Вместе с установкой Docker Toolbox будет создана виртуальная машина.
В самом VirtualBox можно будет добавить оперативной памяти и ядер процессора на ваше усмотрение.

Windows контейнеры и Linux контейнеры

Docker for Windows предоставляет возможность переключать контейнеризацию между Linux и Windows версией.

В режиме Windows контейнеризации вы можете запускать только Windows приложения.
Замечу, что на май 2018 года в официальном Docker Hub существует всего 13 образов для Windows.

После включения Windows контейнеризации не забудьте добавить внешнюю сеть.

В конфигурационном файле docker-compose.yml это выглядит так:

Особенности монтирования папок

На примонтированных volume-ах не кидаются события файловой системы, поэтому inotify-tools не работает.
Спасибо пользователю eee

Если вы разрабатываете свой проект и пользуетесь docker-compose вне домашней папки то вам нужно будет проделать некоторые манипуляции.

Используя Docker for Windows для монтирования нового диска у вашего локального пользователя обязательно должен стоять пароль, который будет использоваться для доступа к shared папки.

Особенность заключается в том, что монтируемые внутрь контейнера диск будет монтироваться как от удаленной машины //10.0.75.1/DISK_DRIVE по протоколу SMB.

Для Docker Toolbox диски монтируются в самом VirtualBox на вкладке «Общие папки»
Пример для диска «D»:

Права доступа к монтируемым файлам и папкам

Как бы вам не хотелось, но для всех примонтированных из хост-машины файлов и папок будут стоять права 755 (rwx r-x r-x) и поменять их вы не сможете.

Остро встает вопрос при монтировании внутрь файла закрытого SSH ключа, права на который должны быть только у владельца(например 600).

В данном случае либо генерируют ключ при создании образа, либо прокидывают сокет ssh-agent с хост-машины.

Монтирование с хост-машины или volume

Монтирование внутрь контейнера происходит с использованием сети и протокола SMB, следовательно, внутри контейнера диск «D:\» будет примонтирован из источника //10.0.75.1/D
Использование volume внутри контейнера отображается как монтирование локального диска /dev/sda1, что влияет на скорость работы.

Простым тестом копирование файла на обычном HDD скорость работы получилась следующая:

50 МБ/с

Такая разница в скорости скорее всего связана с тем, что в volume данные сбрасываются на диск постепенно, задействуя кеш в ОЗУ.

Особенности разметки диска GPT и MBR

Данный пункт не является истинной так как опровергающей или подтверждающей информации в интернете найти не смог.

Если на хост-машине таблица разделов MBR, то контейнер с MySQL/MariaDB может упасть с ошибкой:

InnoDB: File ./ib_logfile101: ‘aio write’ returned OS error 122. Cannot continue operation

По умолчанию в базе данных включеён параметр innodb_use_native_aio, отвечающий за асинхронный ввод/вывод и его надо будет выключить.

Данная проблема также встречается на некоторых версиях MacOS.

Docker Toobox to Windows

Главное правило: начинать работу с запуска ярлыка на рабочем столе «Docker Quickstart Terminal», это решает 80% проблем.

— Бывает возникают проблемы с отсутствия переменных окружения, решается командой:

— Если все же возникают проблемы из разряда «docker: error during connect», необходимо выполнить:

Название Docker Machine по умолчанию default.

Docker Swarm

Ни в Docker for Mac, ни в Docker for Windows — нет возможности использовать запущенные демоны в качестве клиентов кластера (swarm members).
Спасибо пользователю stychos

Проблемы с кодировкой

Используя Docker Toolbox(на Docker for Windows не удалось воспроизвести) нашлась проблема с тем, что русские комментарии в docker-compose.yml файле приводили к ошибке:

Полезные ссылки

Заключение

Особенности работы с Docker контейнеризацией на системе Windows не отличается от работы на Linux за исключение разобранных выше.

В статье я умышленно не упомянул заметно низкую скорость работы контейнеров и overhead используя систему Windows как само собой разумеющееся.

Буду рад услышать ваши отзывы. Не стесняйтесь предлагать улучшения или указывать на мои ошибки.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Тип	Чтение	Запись
Монтирование
Volume