Как работать с dbeaver linux

Lets Analyse it!

Блог Владимира Степанова об аналитике. Публикую свои подходы и кейсы по анализу данных, визуализации и работе с дата-инструментами.

Быстрый импорт в базу данных с помощью DBeaver

• Получить ссылку
• Facebook
• Twitter
• Pinterest
• Электронная почта
• Другие приложения

Сегодня расскажу про небольшой лайфхак о том, как можно быстро загрузить вашу дату в базу данных используя минимум кодинга. Но сначала опишем суть проблемы, которую данный лайфхак решает. Итак, у нас есть некая дата, которая хранится во внешних файлах (например, в csv). Нам нужно загрузить дату в базу данных (далее БД), причем в самой БД нет таблиц предназначенных для загрузки.

Делаем по старинке

Классическим решением будет провести анализ содержимого таблиц, выписать названия полей и их формат. Затем создать с помощью SQL запроса сами таблицы. Это будет выглядеть примерно вот так:

А затем нужно будет сформировать INSERT запрос для каждой строки файла для вставки его в БД. Если в вашем файле 30 тысяч строк, то придется писать запрос для каждой строки. Здесь без Excel или Google Sheets не обойтись. Так как используется инструментарий таблиц для работы со строками можно ускорить процесс создания тела INSERT запроса. Итоговый запрос может выглядеть вот так:

Остается только подключиться к БД и запустить SQL запросы. В этом репозитарии на Гитхабе можно посмотреть на полный код самих запросов.

А что если вот совсем не хочется возиться с Excel и прописывать формулу для сцепки полей? А если в таблице 50-150 полей? Есть решение!

DBeaver приходит на помощь

Воспользуемся функцией импорта данных в БД, которая появилась в версии 7.2.1

Перед тем как заливать дату, все таки придется создать таблицу-приёмник хотя бы с 1 полем (пусть это будет тот же id c типом serial). Вот таким запросом:

Дальше выбираем сам файл.

В настройках импорта можно уточнить тип разделителя полей, формат отображения дат и кодировку (я все оставил по дефолту).

Теперь самое интересное. На шаге соответствия столбцов можно детально выбрать, куда какая информация будет копироваться. Для пустых таблиц будет предложен вариант create. Для таблиц, в которые уже была тестовая загрузка, или в которых структура была создана заранее, будет указано existing. А если вы хотите пропустить импорт определенного столбца, укажите skip, и DBeaver его пропустит.

На шаге параметров импорта можно включить опцию очистки существующих данных перед импортом (если вы тренировались и уже что-то в нее загружали), а также я рекомендую включить галочку «Выполнять Commit после вставки строк N» Где N -это шаг, через который будет выводится сообщение о статусе импорта. Так вы будете понимать примерно где сейчас импорт. Это актуально для больших таблиц размером от миллиона строк. Для таких больших таблиц удобный шаг — 100 000.

Затем переходим в окно подтверждения настроек и нажимаем старт.

Сразу после этого начнется импорт.

Скорость импорта зависит от размера файла-источника и удаленности таблицы-приемника. Мой импорт 0,5-миллиона строчек в облако Amazon занял примерно 10 минут.

Источник

Как установить DBeaver на Ubuntu 20.04 LTS

Как установить DBeaver на Ubuntu 20.04 LTS

В этом руководстве мы покажем вам, как установить DBeaver в Ubuntu 20.04 LTS. Для тех из вас, кто не знал, DBeaver — это клиент для менеджеров баз данных, который позволяет удобно управлять данными и параметрами экземпляра базы данных. DBeaver поддерживает любую базу данных с драйвером JDBC — MySQL / MariaDB, PostgreSQL , Oracle, DB2 LUW, Google BigQuery, Exasol, SQL Server, Sybase / SAP ASE, SQLite, Firebird, H2, HSQLDB, Derby, Teradata, Vertica, Netezza, Informix. и т. д. Если вам нужна поддержка источников данных, отличных от JDBC, таких как WMI, MongoDB, Cassandra, Redis, рассмотрите возможность использования DBeaver Enterprise Edition.

В этой статье предполагается, что у вас есть хотя бы базовые знания Linux, вы знаете, как использовать оболочку, и, что наиболее важно, вы размещаете свой сайт на собственном VPS. Установка довольно проста и предполагает, что вы работаете с учетной записью root, в противном случае вам может потребоваться добавить ‘ sudo ‘ к командам для получения привилегий root. Я покажу вам пошаговую установку DBeaver на Ubuntu 20.04 (Focal Fossa). Вы можете следовать тем же инструкциям для Ubuntu 18.04, 16.04 и любого другого дистрибутива на основе Debian, например Linux Mint.

Установите DBeaver на Ubuntu 20.04 LTS Focal Fossa

Шаг 1. Во-первых, убедитесь, что все ваши системные пакеты обновлены, выполнив следующие apt команды в терминале.

Шаг 2. Установка Java.

Теперь установите Java и установите ее как Java по умолчанию в вашем Ubuntu, используя следующую команду:

Шаг 3. Установка DBeaver в Ubuntu 20.04.

• Установите DBeaver из официального репозитория.

Выполните следующие команды, чтобы добавить репозиторий DBeaver:

Затем установите DBeaver, используя следующую команду:

• Установите DBeaver с официального сайта:

Мы вручную загрузим пакет Debian для Dbeaver, чтобы установить его в системе Ubuntu:

Далее запускаем установщик:

• Установите DBeaver через Snap.

Выполните следующую команду, чтобы установить пакеты Snap в вашу систему:

Чтобы установить dbeaver-ce, просто используйте следующую команду:

• Установите DBeaver, используя репозиторий Ubuntu PPA.

Выполните следующую команду, чтобы установить его:

Шаг 4. Доступ к DBeaver в Ubuntu.

После успешной установки вы можете либо запустить DBeaver из своего терминала, либо из программы запуска приложений для среды рабочего стола.

Поздравляю! Вы успешно установили DBeaver. Благодарим за использование этого руководства по установке DBeaver в системе Ubuntu 20.04 LTS Focal Fossa. Для получения дополнительной помощи или полезной информации мы рекомендуем вам посетить официальный сайт DBeaver .

Источник

DBeaver — свободный менеджер баз данных (MySQL, PostgreSQL, Firebird, SQLite, Oracle)

Обзор очень полезного инструмента для работы с различными базами данных — MySQL, PostgreSQL, Firebird, SQLite, ODBC, Oracle и другими. DBeaver — это свободный кроссплатформенный менеджер баз данных для Linux, Windows и MacOS. О DBeaver кратко: много возможностей, небольшой вес, портабельность, свободное ПО.

Предисловие

При работе под Linux рано или поздно у разработчика или администратора возникнет необходимость в использовании удобного и мультифункционального менеджера баз данных. Это должен быть многофункциональный и и удобный программный продукт, по возможности портабельный и желательно кроссплатформенный, принадлежать к категории свободного ПО — Open Source.

После недолгих поисков и перебрав несколько вариантов решил остановиться на DBeaver (Database Beaver, Бобер — повелитель Баз Данных). Такой себе универсальный зверек, который проникнет в любую структуру в базе данных и покажет вам что внутри, поможет навести порядок, внести изменения и предоставит прочие полезности и удобства.

Особенности DBeaver

Из основных особенностей программы можно выделить:

• Удобный структурированный интерфейс, основан на OpenSource фреймворке c большой подборкой мощных плагинов;
• Небольшой вес — 50Мб;
• Свободное программное обеспечение;
• Мультиплатформенность (работает под Linux, MacOS, Windows, Solaris, AIX, HPUX);
• Поддержка большого количества разных Баз Данных;
• Умеет делать туннелирование через SSH (встроенный функционал, очень удобно);

Список поддерживаемых баз данных:

• MySQL;
• Oracle;
• PostgreSQL;
• IBM DB2;
• Microsoft SQL Server;
• Sybase;
• ODBC;
• Java DB (Derby);
• Firebird (Interbase);
• HSQLDB;
• SQLite;
• Mimer;
• H2;
• IBM Informix;
• SAP MAX DB;
• Cache;
• Ingres;
• Linter;
• Teradata;
• Vertica;
• MongoDB;
• Cassandra;
• Любой JDBC совместимый источник.

Небольшой список того что умеет DBeaver:

1. Обзор и правка метаданных: таблички, колонки, ключи, индексы;
2. Выполнение SQL запросов и скриптов;
3. Подсветка синтаксиса для SQL (специфичная для разных типов БД);
4. Функция авто-дополнения в SQL редакторе;
5. Просмотр и редактирование данных в таблицах;
6. Поддержка BLOB/CLOB (просмотр и редактирование);
7. Экспорт данных (таблици, результаты запросов);
8. Менеджмент транзакций;
9. Поиск объектов в базе данных (таблици, колонки, процедуры и т.п.);
10. Генерация диаграмм для структур БД;
11. Закладки для запросов и объектов в БД;
12. Менеджмент удаленных и локальных подключений;
13. Экспорт и Импорт в/из БД/файл;
14. Поиск данных в базе;
15. И многие другие возможности.

Установка

Программу DBeaver можно скачать и установить с официального сайта: https://dbeaver.io/download/

На странице вы найдете ссылки для скачивания под разные платформы, а также для скачивания исходного кода программы. Есть две версии DBeaver:

1. Community Edition;
2. Enterprise Edition.

Обе они являются бесплатными, разница лишь в том что у Enterprise Edition есть поддержка NoSQL баз данных, таких как MongoDB и Cassandra.

Для использования программы в портабельном режиме с помещением ее на переносной носитель, лучше всего ее скачать в виде архива. Например для Линукс жмем по ссылке — «Linux 64 bit (zip archive)».

Использование программы

Приведу пример запуска под Linux. Скачиваем файл по ссылке «Linux 64 bit (zip archive)» браузером или при помощи Wget. Вес архива получился примерно

Распаковываем его при помощи Dolphin’а, файлового менеджера Krusader или в консоли используя unzip, 7zip (команда «7z x имя_файла.zip»).

Запускаем бинарный файл «dbeaver». После того как программа загрузится будет предложено создать новое подключение к нужной вам базе данных.

Вот как выглядит DBeaver при работе с базой данных в Linux:

Все окна можно расположить в удобном вам порядке, для этого их нужно просто перетащить в нужную вам позицию. На примере ниже я выполнил небольшую реорганизацию окон интерфейса DBeaver, а потом в автоматическом режиме сгенерировал диаграмму для базы данных «wordpress»:

Для выполнения запросов нужно выбрать активную БД и вызвать редактор SQL-кода, ввести нужный запрос и клацнуть иконку «Execute statement» на панели инструментов или же нажать сочетание клавиш Ctrl+Enter:

Если в окне редактора SQL-кода поместить несколько команд и попробовать их запрустить также как выше — то это не сработает. Для запуска нескольких команд (скрипта) нужно нажать другую кнопочку на панели инструментов — «Execute Script».

Немного поигравшись с интерфейсом вы быстро разберетесь что и к чему, все очень удобно.

Как изменить язык интерфейса программы

Для своего интерфейса программа DBeaver автоматически использует тот язык, который установлен у вас по умолчанию в системе. К примеру, если у вас установлена англоязычная версия Debian GNU/Linux, то интерфейс программы будет также на английском.

Как сменить язык интерфейса в DBeaver на русский или другой язык? — как оказалось все очень просто, нужно передать название предпочитаемой локали как параметр при запуске бинарного файла ‘dbeaver’. Вот пример запуска программы с интерфейсом на русском языке:

Здесь предполагается что вы находитесь в консоли в каталоге, где распакован DBeaver. Вот что получим в результате:

Для удобства запуска с русскоязычным интерфейсом — создайте ярлык с командой запуска и опцией как приведено выше.

Заключение

Разобравшись с DBeaver вы получите верного помощника для всех дел, касающихся работы с базами данных. Эта программа будет служить и одинаково выполнять свои функции под разными операционными системами, справляться с задачами для различных типов баз данных, предоставляя все свои возможности в удобном и интуитивно-понятном интерфейсе.

А еще эта прекрасная программа является свободным ПО! Вы можете свободно пользоваться ею, делиться с друзьями, а также помогать разработчикам в ее развитии.

Источник