Ctypes python 3 linux

Классы для загрузки C-библиотек модулем ctypes.

Существует несколько способов загрузки общих библиотек в процесс Python. Один из способов-создать экземпляр одного из следующих классов:

Содержание:

• Класс ctypes.CDLL() загружает библиотеку в ОС Unix,
• Класс ctypes.OleDLL() загружает библиотеку в ОС Windows,
• Класс ctypes.WinDLL() загружает библиотеку в ОС Windows,
• Класс ctypes.PyDLL() загружает библиотеку API Python C,
• Описание аргументов классов-загрузчиков,
• Альтернативный способ загрузки C-библиотек,
• Пример загрузки DLL библиотек в Windows,
• Пример загрузки C-библиотек в Linux.

ctypes.CDLL(name, mode=DEFAULT_MODE, handle=None, use_errno=False, use_last_error=False, winmode=0) :

Экземпляры класса ctypes.CDLL() представляют собой загруженные библиотеки DLL. Функции в этих библиотеках используют стандартное соглашение о вызовах языка C и, как предполагается, возвращают число int .

В Windows создание экземпляра CDLL может завершиться ошибкой, даже если имя DLL существует. Когда зависимая DLL, загруженной DLL не найдена, то возникает ошибка OSError с сообщением «[WinError 126] The specified module could not be found«. Это сообщение об ошибке не содержит имени отсутствующей библиотеки DLL библиотеки, т.к. Windows API не возвращает эту информацию, что затрудняет диагностику этой ошибки. Чтобы устранить эту ошибку и определить, какая DLL не найдена, необходимо с помощью средств отладки и трассировки Windows найти список зависимых DLL и определить, какая из них не найдена.

ctypes.OleDLL(name, mode=DEFAULT_MODE, handle=None, use_errno=False, use_last_error=False, winmode=0) :

Класс ctypes.OleDLL() используется только в Windows. Экземпляры этого класса представляют собой загруженные общие библиотеки DLL, функции в этих библиотеках используют соглашение о вызовах stdcall и, как предполагается, возвращают специфичный для Windows код HRESULT .

Значения HRESULT содержат информацию, определяющую, завершился ли вызов функции успешно или неудачно, вместе с дополнительным кодом ошибки. Если возвращаемое значение сигнализирует об ошибке, то автоматически возникает исключение OSError .

ctypes.WinDLL(name, mode=DEFAULT_MODE, handle=None, use_errno=False, use_last_error=False, winmode=0) :

Класс ctypes.WinDLL() используется только в Windows. Экземпляры этого класса представляют собой загруженные библиотеки DLL, функции в этих библиотеках используют соглашение о вызовах stdcall и, как предполагается, по умолчанию возвращают число int .

В Windows CE используется только стандартное соглашение о вызовах, для удобства WinDLL и OleDLL используют стандартное соглашение о вызовах на этой платформе.

Глобальная блокировка интерпретатора Python снимается перед вызовом любой функции, экспортируемой этими библиотеками, а затем запрашивается повторно.

ctypes.PyDLL(name, mode=DEFAULT_MODE, handle=None) :

Экземпляры класса ctypes.PyDLL() ведут себя как экземпляры ctypes.CDLL() , за исключением того, что Python GIL не освобождается во время вызова функции, а после выполнения функции проверяется флаг ошибки Python. Если установлен флаг ошибки, то возникает исключение Python.

Таким образом, класс ctypes.PyDLL() полезен только для прямого вызова функций API Python C.

Описание аргументов классов-загрузчиков.

Все эти классы можно создать и вызвав используя только один обязательный аргументом name — путь к DLL библиотеке. Если имеется уже существующий дескриптор загруженной библиотеки, то его можно передать как параметр name , в противном случае для загрузки библиотеки и для получения дескриптора используется функция dlopen() или LoadLibrary() базовой платформы.

Аргумент mode можно использовать, для указания режима загрузки библиотеки. За подробностями обращайтесь к странице руководства dlopen(3) , можно посмотреть консольной командой $ man dlopen . В Windows режим mode игнорируется. В системах posix всегда добавляется RTLD_NOW , и его нельзя настроить.

Аргумент use_errno , если он установлен в значение True , то он включает механизм ctypes , который позволяет безопасно получить доступ к системному номеру ошибки errno . Модуль ctypes поддерживает локальную для потока копию системной переменной errno ; Если вызывать внешние функции, созданные с помощью use_errno=True , то тогда значение errno перед вызовом функции заменяется частной копией ctypes , то же самое происходит сразу после вызова функции.

Функция ctypes.get_errno() возвращает значение частной копии ctypes , а функция ctypes.set_errno() изменяет частную копию ctypes на новое значение и возвращает прежнее значение.

Аргумент use_last_error , если ему задано значение True , то он включает тот же механизм, только для кода ошибки Windows, которым управляют функции Windows API GetLastError() и SetLastError() . Функции модуля ctypes.get_last_error() и ctypes.set_last_error() используются для запроса и изменения частной копии ctypes кода ошибки Windows.

Изменено в Python 3.8: добавлен параметр winmode .

Экземпляры этих классов не имеют общедоступных методов. Функции, экспортируемые из C-библиотек, могут быть доступны как их атрибуты или по индексу. Обратите внимание, что доступ к функции через атрибут кеширует результат и поэтому повторный доступ к нему каждый раз возвращает один и тот же объект. С другой стороны, доступ к нему через индекс каждый раз возвращает новый объект:

Альтернативный способ загрузки DLL библиотек.

Общие DLL библиотеки также могут быть загружены с помощью одного из готовых объектов, которые являются экземплярами класса ctypes.LibraryLoader , либо путем вызова метода .LoadLibrary() , либо путем получения библиотеки как атрибута экземпляра загрузчика.

ctypes.LibraryLoader(dlltype) :

Класс загружающий библиотеки языка C. Аргумент dlltype должен быть одним из типов ctypes.CDLL , ctypes.PyDLL , ctypes.WinDLL или ctypes.OleDLL .

Магический метод __getattr__() в этом классе имеет особое поведение: он позволяет загружать библиотеку языка C, обращаясь к ней как к атрибуту экземпляра загрузчика библиотеки. Результат кэшируется, поэтому повторные обращения к атрибутам каждый раз возвращают одну и ту же библиотеку.

• Метод LoadLibrary(name) загружает библиотеку языка C в процесс Python и возвращает ее объект. Этот метод всегда возвращает новый экземпляр библиотеки.

Модуль ctypes имеет сборные библиотечные погрузчики:

ctypes.cdll :

ctypes.windll :

• создает экземпляр класса ctypes.WinDLL . Используется только в Windows!

ctypes.oledll :

• создает экземпляр класса ctypes.OleDLL . Используется только в Windows!

ctypes.pydll :

Пример загрузки общих DLL библиотек в Windows.

Для загрузки общих библиотек в Windows, модуль ctypes автоматически экспортирует windll и oledll .

Обратите внимание, что msvcrt — это стандартная библиотека C MS, содержащая большинство стандартных функций языка C и использующая соглашение о вызовах cdecl :

Windows автоматически добавляет суффикс файла .dll .

Примечание. Для доступа к стандартной библиотеке C через cdll.msvcrt будет использоваться устаревшая версия библиотеки, которая может быть несовместима с той, которая используется Python. По возможности используйте встроенные функции Python или импортируйте и используйте модуль msvcrt .

Пример загрузки общих C-библиотек в Linux.

Для загрузки общих библиотек в Linux, модуль ctypes автоматически экспортирует cdll .

Источник

Модуль ctypes

Введение

Примеры

Основное использование

Допустим, мы хотим использовать libc «s ntohl функцию.

Во- первых, мы должны загрузить libc.so :

Затем мы получаем объект функции:

И теперь мы можем просто вызвать функцию:

Что делает именно то, что мы ожидаем.

Общие подводные камни

Не удалось загрузить файл

Первая возможная ошибка — не удается загрузить библиотеку. В этом случае обычно возникает OSError.

Это либо потому, что файл не существует (или не может быть найден в ОС):

Как видите, ошибка ясна и довольно показательна.

Вторая причина в том, что файл найден, но имеет неправильный формат.

В этом случае файл представляет собой файл сценария , а не .so файл. Это может также произойти при попытке открыть .dll — файл на компьютере Linux или 64 — битный файл на переводчике 32bit питона. Как вы можете видеть, в этом случае ошибка немного более расплывчата и требует некоторого изучения.

Неспособность получить доступ к функции

Предположим , что мы успешно загрузили .so файл, затем мы должны получить доступ к нашей функции , как мы сделали на первом примере.

Когда несуществующая функция используются, AttributeError поднимаются:

Базовый объект ctypes

Самый основной объект — это int:

Теперь, obj относится к кусок памяти , содержащей значение 12.

К этому значению можно получить прямой доступ и даже изменить его:

Поскольку obj относится к кусок памяти, мы также можем узнать это размер и расположение:

массивы типов

Как знает любой хороший программист на Си, одно значение не поможет вам так далеко. Что действительно заставит нас работать, так это массивы!

Это не фактический массив, но это чертовски близко! Мы создали класс , который обозначает массив 16 int с.

Теперь все, что нам нужно сделать, это инициализировать его:

Теперь arr является актуальной массив, содержащий числа от 0 до 15.

К ним можно получить доступ, как и к любому списку:

И точно так же , как любые другие ctypes объекта, он также имеет размер и расположение:

Функции обтекания для ctypes

В некоторых случаях функция C принимает указатель на функцию. Как алчный ctypes пользователи, мы хотели бы использовать эти функции, и даже передать функции питона в качестве аргументов.

Давайте определим функцию:

Теперь эта функция принимает два аргумента и возвращает результат того же типа. Для примера давайте предположим, что тип — это int.

Как и в примере с массивом, мы можем определить объект, обозначающий этот прототип:

Это прототип обозначает функцию , которая возвращает c_int (первый аргумент), и принимает два c_int аргумента (другие аргументы).

Теперь давайте обернем функцию:

Функциональные прототипы имеют на более частом использовании: они могут обернуть ctypes функции (например , libc.ntohl ) и убедитесь , что используется правильные аргументы при вызове функции.

Комплексное использование

Давайте объединить все из примеров выше , в один сложный сценарий: с помощью libc «ы lfind функции.

Для получения более подробной информации о функции, прочитать страницу человека . Я призываю вас прочитать это, прежде чем продолжить.

Сначала мы определим правильные прототипы:

Затем давайте создадим переменные:

И теперь мы определяем функцию сравнения:

Обратите внимание на то, что x и y являются POINTER(c_int) , так что мы должны разыменовать их и принимать их значения для того , чтобы реально сравнить значение , хранящееся в памяти.

Теперь мы можем объединить все вместе:

ptr является возвращаемым недействительным указателем. Если key не был найден в arr , значение не будет None , но в данном случае мы получили действительное значение.

Теперь мы можем преобразовать его и получить доступ к значению:

Кроме того , мы можем видеть , что ptr указывает на правильное значение внутри arr :

Синтаксис

Параметры

Примечания

Научим основам Python и Data Science на практике

Это не обычный теоритический курс, а онлайн-тренажер, с практикой на примерах рабочих задач, в котором вы можете учиться в любое удобное время 24/7. Вы получите реальный опыт, разрабатывая качественный код и анализируя реальные данные.

Источник

ctypes 1.0.2

Released: May 15, 2007

create and manipulate C data types in Python, call functions in shared libraries

Navigation

Project links

Statistics

View statistics for this project via Libraries.io, or by using our public dataset on Google BigQuery

License: MIT License (MIT License)

Maintainers

Classifiers

• Development Status
  • 4 — Beta
  • 5 — Production/Stable
• Intended Audience
  • Developers
• License
  • OSI Approved :: MIT License
• Operating System
  • MacOS :: MacOS X
  • Microsoft :: Windows
  • POSIX
• Programming Language
  • C
  • Python
• Topic
  • Software Development :: Libraries :: Python Modules

Project description

ctypes is a Python package to create and manipulate C data types in Python, and to call functions in dynamic link libraries/shared dlls. It allows wrapping these libraries in pure Python.

Project details

Project links

Statistics

View statistics for this project via Libraries.io, or by using our public dataset on Google BigQuery

License: MIT License (MIT License)

Источник

Оптимизация кода на Python с помощью ctypes

Перевод статьи подготовлен специально для студентов курса «Разработчик Python».

Внимание: код в этой статье лицензирован под GNU AGPLv3.

Я написал это руководство, поскольку не смог найти такого, которое будет объединять в себе все полезное о ctypes. Надеюсь, эта статья сделает чью-то жизнь намного легче.

1. Базовые оптимизации
2. сtypes
3. Компиляция под Python
4. Структуры в Python
5. Вызов вашего кода на С
6. PyPy

Базовые оптимизации

Перед переписыванием исходного кода Python на С, рассмотрим базовые методы оптимизации в Python.

Встроенные структуры данных

Встроенные структуры данных в Python, такие как set и dict, написаны на С. Они работают гораздо быстрее, чем ваши собственные структуры данных, написанные как классы Python. Другие структуры данных, помимо стандартных set, dict, list и tuple описаны в документации модуля collections.

Списочные выражения

Вместо того, чтобы добавлять элементы к списку стандартным методом, воспользуйтесь списочными выражениями.

ctypes

Модуль ctypes позволяет вам взаимодействовать с кодом на С из Python без использования модуля subprocess или другого подобного модуля для запуска других процессов из CLI.

Тут всего две части: компиляция кода на С для загрузки в качестве shared object и настройка структур данных в коде на Python для сопоставления их с типами С.

В этой статье я буду соединять свой код на Python с lcs.c, которая находит самую длинную подпоследовательность в двух списках строк. Я хочу, чтобы в Python работало следующее:

Одна из проблем заключается в том, что эта конкретная функция на С — это сигнатура функции, которая принимает списки строк в качестве типов аргументов, и возвращает тип, у которого нет фиксированной длины. Я решаю эту задачу с помощью структуры последовательности, содержащей указатели и длину.

Компиляция кода на С под Python

Сначала, исходный код на С (lcs.c) компилируется в lcs.so , чтобы загружаться в Python.

• —Wall отобразит все предупреждения;
• —Werror обернет все предупреждения в ошибки;
• —fpic сгенерирует независимые от положения инструкции, которые понадобятся, если вы захотите использовать эту библиотеку в Python;
• —O3максимизирует оптимизацию;

А теперь мы начнем писать код на Python, используя полученный файл shared object.

Структуры в Python

Ниже представлены две структуры данных, которые используются в моем коде на С.

А вот перевод этих структур на Python.

• Все структуры – это классы, наследуемые от ctypes.Structure .
• Единственное поле _fields_ представляет из себя список кортежей. Каждый кортеж это ( , ).
• В ctypes есть похожие типы c_char (char) и c_char_p (*char).
• В ctypes также есть POINTER() , который создает указатель типа из каждого типа ему переданного.
• Если у вас есть рекурсивное определение, как в CELL , вы должны передать начальное объявление, а затем добавить поля _fields_ , чтобы позже получить ссылку на себя же.
• Поскольку я не использовал CELL в своем коде на Python, мне не нужно было писать эту структуру, но у нее есть интересное свойство в рекурсивном поле.

Вызов вашего кода на С

Кроме того, мне нужен был какой-нибудь код для преобразования типов Python в новые структуры на С. Теперь вы можете использовать свою новую функцию на С, чтобы ускорить работу кода на Python.

• **char (список строк) проводит сопоставление напрямую в список байт в Python.
• В lcs.c есть функция lcs() с сигнатурой struct Sequence *lcs(struct Sequence *s1, struct Sequence *s2). Чтобы настроить возвращаемый тип, я использую lcsmodule.lcs.restype = ctypes.POINTER(SEQUENCE) .
• Чтобы сделать вызов с ссылкой на структуру Sequence, я использую ctypes.byref() , который возвращает «легкий указатель» на ваш объект (быстрее, чем ctypes.POINTER() ).
• common.items – это список байт, они могут быть декодированы для получения ret в виде списка str .
• lcsmodule.freeSequence(common) просто освобождает память, ассоциированную с common. Это важно, поскольку сборчик мусора (AFAIK) его не соберет автоматически.

Оптимизированный код на Python – это код, который вы написали на С и обернули в Python.

Кое-что еще: PyPy

Внимание: Сам я никогда PyPy не пользовался.
Одна из самых простых оптимизаций заключается в запуске ваших программ в среде выполнения PyPy, которая содержит в себе JIT-компилятор (just-in-time), который ускоряет работу циклов, компилируя их в машинный код при многократном выполнении.

Источник