Google cloud mac os

Настраиваем VM Instance Google Cloud для задач машинного обучения

Решение тяжёлых задач машинного обучения на стационарных компьютерах дело неблагодарное и малоприятное. Представьте, что вы на домашнем ноутбуке делаете ансамбль из N нейронных сетей для изучения лесов Амазонки на ноутбуке. Сомнительное удовольствие, тем более, что сейчас есть прекрасный выбор облачных сервисов для этих целей — Amazon Web Services, Google Cloud Platform, Microsoft Azure и прочие. Некоторые даже относительно бесплатны и предоставляют видеокарты.

Мы будем настраивать VM на Google Cloud Platform с нуля. Бонусом — стартовые 300$ на год на один gmail аккаунт. Поехали.

1. Создание и настройка Virtual Machine Instances
2. Настройка сетевых параметров
3. Установка Anaconda и дополнительных пакетов
4. Настройка Jupyter Notebook
5. Настройка File Transfer

1. Создание и настройка Virtual Machine Instances

Создаем аккаунт

С первых шагов может ввести в заблуждение тот факт, что Гугл безапелляционно квалифицирует вас как юридическое лицо без права смены статуса. Это норма с недавних пор и с этим придется смириться. Далее бесстрашно указываем платежные данные, деньги без предупреждения не снимутся, даже когда будет исчерпан бесплатный лимит.

Создаем Virtual Machine и подбираем параметры

Здесь есть несколько интересных моментов. Графические процессоры есть не во всех зонах. В европейских и западно-азиатских я не нашел, в южно-американских искать не стал, поэтому выбрал восточно-американскую зону. Там их можно хоть восемь настроить с абонентской платой 5000 долларов в час. Усредняем данные и настраиваем восемь процессоров, двадцать гигабайт оперативной памяти и один графический процессор. Всё это удовольствие будет стоить 1 доллар в час.

Операционную систему можно выбрать на любой вкус. Берем понравившийся Linux дистрибутив и выставляем галочки «разрешить траффик». Настройку сети и SSH пропускаем. Их мы настроим дальше. И, наконец, один важный момент, снимите галочку с delete boot disk when instance is deleted. Это сохранит вам нервы, когда начнете создавать имейджи под разные задачи.

2. Настройка сетевых параметров

Настройка статического IP

По умолчанию внешний IP динамический. Сделаем его статическим и жить сразу станет гораздо проще. При привязке к проекту или виртуальной машине (как раз наш случай) — это бесплатно.

Настройка брандмауэра.

Jupyter Notebook — наш главный инструмент и ему будет нужен доступ к виртуальной машине. Создаем правило со следующими параметрами:

• Разрешить входящий трафик
• Указываем любой порт в разумных пределах. К примеру, 22-й не подойдет, на нем висит SSH.
• Диапазон адресов делаем по умолчанию 0.0.0.0/0 (можно поменять)

Мы создали чистую VM и в итоге у вас должно получиться примерно так:

И самое главное — не забывайте выключать VM, когда закончили работу!

3. Установка Anaconda и дополнительных пакетов

Запускаем созданный Instance, подключаемся через SSH и для установки дистрибутива Анаконды вводим в командной строке:

В конце установки не забудьте ввести «yes», чтобы прописать переменную PATH
Ставим любимые пакеты:

И переходим к настройке Jupyter Notebook.

4. Настройка Jupyter Notebook

Вводим в командную строку (порт — который вы указали в настройках брандмауэра):

И теперь один интересный момент. Если у вас всё прошло успешно, то после старта Jupiter Server в баше вы увидите примерно это:

Если перейти по ссылке, то в браузере вывалится ошибка авторизации, что совершенно очевидно. Для этого в строке браузера надо явно указать, созданный выше внешний статический IP:

Добро пожаловать на борт!

Теперь нам осталось только настроить File Transfer между нашей локальной системой и удаленной. Без этого леса Амазонки не изучить.

5. Настройка File Transfer

У нас загрузочный диск Linux и поэтому доступны четыре способа:

1. Использование командной строки gcloud (private SSH keys обязательно)
2. Через протокол SFTP в браузере. Это самый простой способ, не требующий SSH key и использующий нативный браузер. Обязательное условие — локальная система у вас Linux или Mac.
3. Использование командной строки SDC (private SSH keys обязательно)
4. Программа WinSCP для счастливых обладателей Windows (private SSH keys обязательно)

Подробно можно почитать здесь и выбрать наиболее понравившийся способ. У меня на ноутбуке Windows 10, поэтому выбор не богатый. Пойдём не самым простым путём и подробно рассмотрим четвёртый способ.

Для начала необходимо сгенерировать SSH ключи. Скачиваем дистрибутив PuTTY и устанавливаем. С его помощью будем генерить ключи.

1. Открываем puttygen.exe. Появится окно, где вы можете сгенерировать ключи.
2. Оставляем все параметры по умолчанию кроме поля key comment. В него вводим имя пользователя удаленной системы. Скорее всего это ваш gmail аккаунт. Важно — не вся почта, а только та часть, которая до знака @. Я сначала прочитал инструкцию по диагонали и в итоге убил полчаса на то, чтобы понять, почему WinSCP возвращал ошибку.
3. Сохраняем private key — его используем в WinSCP локально.
4. Копируем текстовое поле private key (убедитесь, что скопировали полностью весь текст! На скриншоте лишь его часть)

1. Идем в гугловские облака и там в «Метаданные —> SSH-ключи» добавляем скопированный ключ.

Осталось совсем немного, самая приятная часть — настроить файл-менеджер WinSCP.

1. Скачиваем его здесь
2. Настраиваем конфигурацию. Помним, что IP — это наш статический IP удаленной системы. Имя пользователя — аналогично PuTTY.

В дополнительных настройках указываем private key и выставляем галочки как на скриншоте.

Всё! Наша боевая система готова к перевариванию тяжелых сверточных нейросетей и объемных данных.

Дополнительно хочу заметить, что использовать один Instance не очень разумно экономически. Разные задачи требуют разных ресурсов. Можно создать двенадцать виртуалок с разными настройками процессоров, памяти и графики или работать с имейджами. Экспериментируйте и любите данные.

Источник

Commander One — file manager 4+

Эффективное управление файлам‪и‬

Electronic Team, Inc.

• • 3,9 • Оценок: 411

• • Бесплатно
  • Включает встроенные покупки

Снимки экрана

Описание

A high level of file management can be reached with the updated version of Commander One v3.0. The app is now fully compatible with macOS Big Sur, offers more efficiency, stability, and improved functionality.

Commander One is a free file manager created in Swift, has a dual-pane interface that helps you handle your files in the most efficient way. Besides being easy-to-use, the app is rather fast and powerful that offers necessary features for seamless and full control over your files and folders.

Cultofmac.com — “Commander One looks like a great app to have on your Mac if you’re frustrated with OS X’s built-in file management.”
Lifehacker.com — ”Once it’s installed, you get dual pane browsing, unlimited tabs, a variety of sorting options, an easy toggle for revealing hidden files, and more. It also adds a handful of new keyboard shortcuts to make moving files around a little less painful. If you’re not a fan of how Finder does things, Commander One’s a more than capable alternative.”

Dual-pane view:
-Classical dual-panel appearance that can be adjusted according to your taste (color theme, fonts);
-Support for the Dark Mode to be in tune with the times (available starting from 10.14 only);
-Multiple tabs for browsing as many folders as needed;
-Support for three view modes, namely Full, Brief, and Thumbs for convenient work with different types of files.

Slick navigation and display:
-Hidden files are revealed with one click;
-Support for file operations queuing including already in progress;
-Support for drag and drop functionality;
-Rename files and folders while moving.

Different search methods:
-Built-in search with support for Regex;
-Search by file contents;
-Spotlight search.

Commander One can offer more useful features that can simplify your work routine:
-Configure hotkeys for most frequently used operations;
-Brief mode to view and handle many files simultaneously;
-Process viewer;
-Support for Finder Tags;
-Archive and unarchive files and open ZIP as regular folders;
-Work with .ipa, .apk, .jar, .ear, .war files as with regular folders;
-Preview all types of files, including Hex and Binary, before opening them;
-Detect over the network and conveniently list computers that use NetBIOS protocol;
-Seamlessly obtain access to the folders that are open or you use the most through History and Favorites;
-Select the program to open the file using ‘Open with’ in the main menu — File or via the context menu;
-Choose UI language.

*PRO version of Commander One is available via in-app purchase*
Additional features available in Commander One Pro

Источник

OneDrive 4+

Protect and access your files

Microsoft Corporation

• • 3.4 • 2.5K Ratings

• • Free
  • Offers In-App Purchases

Screenshots

Description

Start with 5 GB of free cloud storage or upgrade to a Microsoft 365 subscription to get 1 TB of storage. Microsoft 365 includes premium Office apps, 1 TB cloud storage in OneDrive, advanced security, and more, all in one convenient subscription. With Microsoft 365, you get features as soon as they are released ensuring you’re always working with the latest.

Microsoft OneDrive keeps your files and photos backed up, protected, synced, and accessible on your Mac and across all your other devices. Easily share documents, photos, and other files with friends, family, and colleagues. Know that your files are safe with advanced security features that protect what’s important.

Protection and Security
• Your OneDrive files are backed up and available even if something happens to your Mac.
• Your files are encrypted in OneDrive.
• Keep important files secured with Personal Vault.**
• Restore documents with version history.
• Stay protected with ransomware detection & recovery.*

Access
• Access your files using Finder in Mac OS, OneDrive online or in the mobile app.
• Access files offline on your smartphone, Mac, or tablet.
• Save local space on your Mac with Files On-Demand.

File sharing
• Share docs, photos, videos, and albums with friends and family.
• Work in the same document with others in real time with Office apps.
• Get notifications when a shared document is edited.
• Set password-protected or expiring sharing links.*
• Keep files private in OneDrive unless your share them

Office Apps
• OneDrive works with Microsoft Word, Excel, PowerPoint, OneNote and Outlook.
• Access, back up, view, save. and share your Office documents.
• Collaborate in real time on Word, Excel, PowerPoint, and OneNote files stored in OneDrive.

*Requires a Microsoft 365 subscription
**Mac users can access and use Personal Vault by visiting onedrive.com on a browser.

Learn more about Microsoft 365
Microsoft 365 is a cloud-based subscription service that brings together premium versions of Word, Excel, PowerPoint, Outlook and OneDrive, with the best tools for the way people work today. Please visit: http://go.microsoft.com/fwlink/?linkid=2015120 for information on Licensing Terms.
Unlock the full Microsoft Office experience with a qualifying Microsoft 365 subscription for your phone, tablet, PC, and Mac.

Microsoft 365 annual subscriptions purchased from the app will be charged to your App Store account and will automatically renew within 24 hours prior to the end of the current subscription period unless auto-renewal is disabled beforehand. You can manage your subscriptions in your App Store account settings.

This app is provided by either Microsoft or a third-party app publisher and is subject to a separate privacy statement and terms and conditions. Data provided through the use of this store and this app may be accessible to Microsoft or the third-party app publisher, as applicable, and transferred to, stored, and processed in the United States or any other country where Microsoft or the app publisher and their affiliates or service providers maintain facilities.

Please refer to the Microsoft Software License Terms for Microsoft Office. See “License Agreement” link under Information. By installing the app, you agree to these terms and conditions.

Источник

FileZilla Pro — FTP and Cloud 4+

FTP Client FTPS SFTP WebDAV

Tim Kosse

• • 4.3 • 1.1K Ratings

• • Free
  • Offers In-App Purchases

Screenshots

Description

FileZilla Pro file transfers via Google Drive, OneDrive, Amazon S3, Microsoft Azure, Google Cloud, Backblaze B2, Dropbox, WebDAV, Box, OpenStack Swift, FTP, FTPS and SFTP

FileZilla Pro is a fast and reliable FTP, FTPS, SFTP, Amazon S3, Backblaze B2, Box, Dropbox, Google Cloud Storage, Google Drive, Microsoft OneDrive, Microsoft Azure Storage, OpenStack Swift (using Keystone v2) and WebDAV client with lots of useful features. FileZilla Pro comes with an intuitive tabbed user interface and is available in more than 50 languages.

You can use the Site Manager to organize your sites and bookmarks. FileZilla Pro lets you synchronize the Site Manager data securely so that you can access your stored sites from all your machines. Your credentials are stored securely, protected by strong cryptography.

Use powerful tools to quickly and easily navigate the server and locate your files: Directory listing filters hide irrelevant files from view. Compare local and remote directories and highlight the difference. Change both local and remote directories in lockstep. Or just use the the search dialog to find your files.

The transfer queue lets you manage your transfers, even if you queue millions of files. The size of your files does not matter, FileZilla Pro knows no size limit. Use drag&drop or the context menu to queue files. You can also directly transfer and open remote files in your favorite editor.

Configurable speed limits let you throttle FileZilla Pro if you need bandwidth for other purposes.

FileZilla Pro is ready for the Internet of the future with complete IPv6 support. Compatible with HTTP/1.1, SOCKS5 and FTP proxies.

The network configuration wizard guides you through configuring not just FileZilla Pro but also any firewall or NAT router you are using.

FileZilla Pro requires a subscription to use.

Subscribe to FileZilla Pro to begin your 7 days free trial. You can cancel during the free trial up to 24 hours before the end of your 7 days trial, and you won’t be charged.

After 7 days, you’ll automatically be billed 9.99 dollars/euros per year (or the equivalent in your country) through an auto-renewing subscription.

An active subscription entitles you to unlimited FileZilla Pro app updates, including minor and major updates. We include new features or improvements on a monthly basis, stay tuned!

You can cancel your subscription at any time. If you do, once you reach the end of your subscription period, the app will no longer function. Restart your subscription if you need it again, your data won’t be lost.

Источник