Оглавление

• Введение
• Установка
• Использование Fabric
• Файл fabfile.py
  • Структура файла
  • Документирование задач
  • Передача параметров
• Использование Fabric на локальном компьютере
• Использование Fabric для взаимодействия с удаленным сервером
  • Настройка удаленного интерпретатора
  • Способы ввода адресов удаленных хостов
  • Избавляемся от ввода пароля
  • Параллельное выполнение задач
• Обработка ошибок
• Расширенные возможности запуска задач. Декоратор task
  • Новый стиль задач
  • Задачи по умолчанию
  • Псевдонимы
• Заключение
• Коментарии

Введение

Как известно, то, что обычный пользователь делает мышкой, повторяя одни и те же действия по 10 раз, программисты и, особенно, админы, делают скриптами. Инструментов и языков для написания скриптов существует огромное количество. Некоторые из них предназначены для определенных задач, например, на сборку и компиляцию программ, как Makefile и его последователи, другие являются более низкоуровневыми, например тот же bash. Промежуточное место я бы отвел для таких скриптовых языков как Python, Perl, Ruby. Преимущество последних в первую очередь в читаемости кода, когда нужно писать что-то большое, но в то же время, например, для работы с файлами, при работе с этими языками приходится писать больше кода, чем на том же bash.

В этой статье мы поговорим о Fabric - библиотеке для Python (в данный момент поддерживаются версии 2.5 - 2.7), которую можно использовать для многих задач автоматизации, при этом она позволяет легко вызывать команды того же bash, где это необходимо или оправдано.

Если мельком взглянуть на документацию Fabric, то складывается впечатление, что эта библиотека предназначена в первую очередь для работы на удаленном сервере при подключении к нему через SSH, однако, ее можно использовать и для локальных задач.

Лично я на данный момент Fabric использую для трех типов задач:

1. В качестве замены Makefile для сборки программы OutWiker.
2. Для создания резервных копий на сетевом хранилище.
3. Для управления сайтами через SSH (развертывание, создание резервных копий, перезапуск сервера и т.д.)

Разбираться с Fabric мы начнем с самого начала, т.е. с установки.

Установка

Установка под Linux не должна вызывать никаких затруднений. Достаточно написать в консоли

или

кому что больше нравится. И Fabric будет установлен вместе с необходимыми зависимостями.

А вот под Windows с установкой зависимостей могут возникнуть затруднения. Fabric использует библиотеку шифрования PyCrypto, которая, как правило, распространяется в исходных кодах и компилируется на месте при установке. Компиляция ее под Linux проблем не возникает, потому что редкая Linux-система (особенно система админа или программиста) не имеет компилятора C/C++.

Под Windows его может и не быть. Но, к счастью, можно найти готовые сборки PyCrypto под Windows. Доверять им или нет - ваше дело. Однако, если PyCrypto установить, то затем установка Fabric завершится без проблем.

Чтобы убедиться, что Fabric установлен, наберем в консоли команду

Если вы получите сообщение вида:

То значит, что все нормально и можно двигаться дальше.

Если вы пользуетесь Windows и вы получите сообщение о том, что команда fab не найдена, то убедитесь, что у вас добавлен путь до папки C:\Python27\Scripts\ или ее аналога для той версии Python, который вы используете, в переменную окружения PATH. В крайнем случае, вы всегда можете писать команду в виде

но просто fab писать удобнее.

Использование Fabric

Использование Fabric во многом напоминает использование Makefile, т.е. вы создаете в какой-то папке файл fabfile.py, в котором описываете задачи (как они описываются, мы рассмотрим чуть позже). Например, там может быть задача backup (для создания резервной копии) или deploy (для развертывания сайта) и т.д.

Затем в консоли вы запускаете команду

или

И Fabric выполняет нужные задачи. Можно указать несколько задач, тогда они будут выполнены последовательно, например, сначала создать резервную копию, а потом развернуть приложение:

В задачи можно передавать параметры. Параметры передаются после символа ":" после имени задачи. Пусть, например, мы можем указать путь до папки, куда делать резервную копию:

Если в параметрах нет пробелов, то кавычки можно не писать. Если параметров несколько, то они перечисляются через запятую. Но про передачу параметров мы еще поговорим.

Файл fabfile.py

Структура файла

Библиотека Fabric замечательна тем, что для ее использования не нужно разбираться с новым языком описания задач или каким-то новым синтаксисом, все задачи описываются на языке Python, возможно, с использованием вспомогательных средств Fabric. Так, например, для создания двух задач, которые были приведены выше в качестве примера, достаточно создать файл с именем fabfile.py (имя важно, хотя при желании его можно изменить, о чем будет сказано ниже) со следующим содержимым:

В данном случае у нас задачи backup и deploy не принимают никаких параметров. Как вы видите, описание задачи - это просто функция на языке Python. Мы можем выполнить описанные выше команды в консоли (в качестве рабочей папки у нас должна быть папка с файлом fabfile.py):

По умолчанию Fabric ищет задачи в файле с именем fabfile.py, но при желании вы можете назвать этот файл по-другому, но в этом случае вам надо будет явно указывать имя файла с задачами с помощью с помощью одного из параметров -f или --fabfile. Например, если наш файл с задачами имеет имя my_fabfile.py, то мы можем запустить задачи так, как показано ниже:

или

Кроме того, в файле профиля пользователя можно создать файл .fabricrc (под Linux путь будет выглядеть как ~/.fabricrc), в котором задаются различные настройки по умолчанию. Если в этот файл добавить строку

то по умолчанию Fabric будет искать не файл fabfile.py, а файл my_fabfile.py.

Документирование задач

Команда fab имеет множество параметров, один из самых полезных параметров - это параметр -l или --list. Этот параметр показывает, какие задачи есть в fabfile.py. Вот, например, результат работы параметра --list для приведенного выше fabfile.py.

В таком виде подсказка уже полезна, но лучше все-таки еще добавить комментарии к каждой задаче. Чтобы их добавить, достаточно для каждой функции добавить описание в виде docstring:

В этом случае параметр --list выведет список задач следующим образом:

На самом деле лучше не использовать в описаниях русские символы, поскольку в консоли под Windows они превратятся в кракозяблы (под Linux все будет работать нормально). Кроме того, не стоит писать очень длинные описания, поскольку они будут обрезаны до чуть больше чем 70 символов.

Понятно, что одни задачи могут вызывать другие задачи, кроме того внутри fabfile.py могут быть функции для внутреннего использования, попадание которых в список задач, выводимых с помощью параметра --list, нежелательно. Такие "внутренние" функции должны начинаться с символа "_". Так, например, функция _internal() из следующего прмиера fabfile.py не будет видна как задача:

Передача параметров

Выше мы уже говорили о том, что в задачи для Fabric мы можем передавать параметры, приведем несколько примеров. Для демонстрации мы будем использовать простую функцию, которая просто выводит переданный параметр:

Если мы забудем передать параметр, то вызов команды fab task приведет к ошибке:

Если мы укажем значение параметра, то все будет работать, как положено:

Аналогичного результата мы добьемся, если будем указывать имя параметра:

Как и везде в языке Python, можно использовать значения параметров по умолчанию:

В этом случае значение параметра можно не передавать:

Если же задача функция принимает два и более значений, то параметры передаются через запятую. Например:

Главное тут не ошибиться и не добавить после запятой пробел, иначе второй параметр будет воспринят, как имя другой команды:

Как видно из предыдущей ошибки, Fabric позволяет одной командой запускать сразу несколько задач, которые будут выполняться последовательно.

Но если одна из них завершится с ошибкой, то следующая задача выполнена не будет.

Теперь, когда мы рассмотрели способы запуска задач, перейдем к рассмотрению того, какие возможности нам предоставляет библиотека Fabric и ее модули. Внутри функций-задач мы можем использовать любые функции Python, в том числе и для копирования, удаления, переименования файлов и т.д. Также в Python есть средства для запуска программ. Но давайте посмотрим, какие функции нам предоставляет Fabric для облегчения работы на локальной компьютере и на удаленном сервере.

Использование Fabric на локальном компьютере

Знакомство с Fabric у меня началось с того, что я начал использовать эту библиотеку в качестве замены команды make и Makefile. Когда-то давно для сборки OutWiker использовался обычный Makefile. Например, команда make win собирала версию под Windows, а команда make deb делала deb-пакет под Linux'ы на основе Debian.

В целом такая система работала, но была одна вещь, которая ужасно раздражала - это плохая переносимость Makefile между Windows и Linux. Как известно, под Windows команды make могут выполнены различными версиями интерпретатора (например, той версией, что прилагается к cygwin или отдельно скачанной сборкой make или make, идущий вместе с Visual Studio). Я уже даже не помню, какие версии у меня стояли, но внезапно после установки какого-то софта make по-другому стал воспринимать переводы строк и то ли вместо написания команд на разных строках пришлось писать команды через &&, то ли наоборот, не суть важно. Главное, что Makefile не работал под разными сборками make. Тогда я понял, что надо искать замену, причем желательно, чтобы сборщик описывал бы задачи на любимом языке, т.е. на Python. Путем поверхностного осмотра кандидатов (одним из них был waf), я остановился на Fabric. В первую очередь на это решение повлияло то, что Fabric позволяет писать не только на Python, но и где нужно, вставлять команды bash, благодаря чему makefile был переписан под Fabric буквально за час. После этого уже можно было его доводить до ума заменой некоторых команд bash на Python, где это улучшало читаемость кода.

В результате Makefile по-прежнему используется, но только как часть сборки deb-пакетов под Linux, в остальном везде используется Fabric.

Многие полезные функции из Fabric содержатся в модуле fabric api. Первые две функции, которые мы рассмотрим будут lcd и local. Первая из них - аналог команды cd консоли, вторая позволяет выполнять произвольные команды, как будто мы их запускаем в консоли. Главное удобство команды lcd перед стандартной для Python функции os.chdir(), которая выполняет, на первый взгляд, аналогичные действия (т.е. устанавливает рабочую директорию) в том, что функцию lcd можно использовать вместе с оператором with, при выходе из которого рабочая директория будет изменена на прежнее значение. Если рассмотреть работу функции lcd подробнее, то окажется, что она на самом деле не изменяет текущую рабочую директорию с точки зрения скрипта Python.

Рассмотрим пример, в котором будут выводиться рабочие директории с помощью функции стандартной библиотеки os.getpwd() и с помощью команды pwd консоли (для выполнения команды pwd будет использоваться вышеупомянутая функция local:

Результат в моем случае выглядит так (понятно, что у вас директории будут называться иначе):

Разумеется, внутри функции local можно выполнять что-то более полезное. Например, в fabfile проекта OutWiker в задаче win, с помощью которой создается сборка OutWiker под Windows, можно найти такие строки:

На момент написания этих строк fabfile проекта OutWiker из модуля fabric.api используются только функции lcd и local.

Использование Fabric для взаимодействия с удаленным сервером

Настройка удаленного интерпретатора

Fabric удобно использовать на локальном компьютере, но больше всего возможностей эта библиотека предоставляет для работы по сети на удаленных серверах. Все возможности библиотеки в этой статье мы не рассмотрим, но, чтобы понять принцип работы, поговорим о некоторых из них.

Для работы на удаленном сервере существуют аналоги локальных функций lcd и local, это функции cd и run соответственно. Чтобы научиться подключаться к серверу, сделаем fabfile с одной задачей, которая просто выполняет команду ls на сервере, чтобы вывести список файлов в домашней директории.

В простейшем случае скрипт будет такой, но нужно заранее предупредить, что он может не сработать:

Как видите, в скрипте мы не задаем никакого адреса (хотя мы может это сделать, и воспользуемся этой возможностью позже). Если мы теперь выполним команду fab runls, то Fabric сначала попросит ввести адрес, куда мы должны подключиться, а затем результат уже будет зависеть от настроек удаленного сервера. Далее приведен вывод команды fab runls при подключении к удаленному хранилищу по локальной сети:

Но вполне может случиться и такая ошибка:

Здесь нет ничего страшного, это довольно частая ошибка, возникающая из-за того, что по умолчанию команда run на удаленном сервере пытается выполнить команду с помощью строки "/bin/bash -l -c "<Команда>"". Здесь можно обратить внимание на то, что явно указан путь до интерпретатора bash и то, что используется параметр -c, говорящий о том, что команды передаются далее в качестве строкового параметра. На удаленном сервере может не быть интерпретатора bash или он может быть расположен в другом месте.

Указать путь до интерпретатора можно разными способами. Во-первых, можно воспользоваться параметром командной строки --shell:

Поскольку на данном сервере не установлен интерпретатор bash, я воспользовался интерпретатором sh.

Второй способ задания параметров подключения состоит в том, чтобы воспользоваться классом env из fabric.api. Класс env содержит различные настройки, в том числе и для подключения к удаленному серверу. Для этого нам надо изменить скрипт:

Теперь нам не нужно использовать параметр --shell:

Способы ввода адресов удаленных хостов

Теперь сделаем так, чтобы нам не нужно было каждый раз вводить адрес сервера. Эту проблему можно решить также двумя способами: воспользоваться параметром командной строки -H или --hosts или добавить хосты с помощью свойства env.hosts. Для начала воспользуемся параметром командной строки. Обратите внимание, что параметр (как и свойство в классе env) называется hosts во множественном числе. Дело в том, что одну и ту же задачу можно одновременно запускать сразу на нескольких серверах (последовательно или параллельно). Поэтому при использовании параметра --hosts мы можем задать список хостов, разделенных запятой, а свойство env.hosts - это список строк.

Сначала воспользуемся предыдущим примером с использованием параметра --hosts:

Теперь изменим скрипт, чтобы адрес хоста задавался в нем:

Теперь мы можем запускать эту задачу без дополнительных параметров:

Чтобы продемонстировать работу сразу с несколькими хостами, добавлю в env.hosts адрес еще одного сервера:

Результат работы будет выглядеть следующим образом:

Избавляемся от ввода пароля

В приведенных выше примерах при каждом запуске приходилось вводить пароли. Это сравнительно безопасно, но не удобно, особенно если вы используете Fabric для запуска скриптов сразу на нескольких серверах. С помощью класса env мы можем записать пароли в скрипт, воспользовавшись словарем env.passwords. В этом словаре ключ - полный адрес сервера, обязательно включающий имя пользователя и порт, а значение - пароль. Например, предыдущий скрипт может выглядеть следующим образом (разумеется, все пароли вымышленные, любые совпадения случайны :) ):

Теперь, если все задано правильно, то вводить пароль просить не будут:

Параллельное выполнение задач

Поскольку мы полностью избавились от ввода текста в консоль, теперь мы можем воспользоваться еще одной особенностью Fabric - мы можем запустить задачу на двух серверах параллельно. Для этого достаточно добавить параметр --parallel или -P. Результат будет выглядеть примерно таким образом:

Подобного результата мы можем добиться без использования параметров командной строки, для этого нужно обернуть функцию runls в fabfile.py декоратором paralell из fabric.api:

Запускаем и проверяем результат:

Еще раз отмечу, что задачи можно запускать параллельно только если они не требуют ввода текста в консоли. В противном случае возникнет ошибка.

Обработка ошибок

Теперь посмотрим, как мы можем отслеживать ошибки, возникающие на удаленном сервере во время выполнения команды. Для демонстрации мы изменим предыдущий пример, чтобы команда ls выводила содержимое не домашней директории, а директории, имя которой будет передаваться в качестве параметра:

Если мы передадим существующую на удаленном хосте директорию, то все будет работать хорошо, и мы увидим сообщение о том, что выполнение задачи доведено до конца:

Если же возникнет какая-то ошибка, то сразу после нее выполнение скрипта прервется, даже если мы могли бы обработать возникшую ошибку:

Как быть? Мы можем указать Fabric, чтобы при возникновении ошибки, выполнение скрипта не прерывалось, а, например, только выводился текст ошибки, после чего выполнение скрипта продолжалось. Это можно сделать глобально, установив env.warn_only=True, но можно сделать более красиво, обернув команду, которая может ожидаемо вызвать ошибку, в блок with. Для этого мы воспользуемся функцией settings. Эта функция может принимать большое количество параметров, мы пока воспользуемся только одним - warn_only. Также мы воспользуемся тем, что функция run, возвращает объект, из которого можно извлечь код ошибки и текст, который команда выводила в консоль:

Если мы передадим в задачу существующую директорию, то результат будет напоминать предыдущий, с той лишь разницей, что еще будет выведен нулевой код ошибки:

Если же переданной директории не существует, то выполнение задачи все равно будет доведено до конца. Мы могли бы как-то обработать ошибку, но в данном случае мы ее просто проигнорируем:

Мы могли бы указать, что не нужно писать даже предупреждения. Для этого в качестве первого параметра функции settings нужно передать менеджер контекста, который можно создать с помощью функции hide. Эта функция принимает текстовые параметры, описывающие, что именно нужно скрыть, это могут быть строки вида 'running', 'stdout', 'stderr', 'warnings'. Мы скроем только предупреждения:

Теперь в случае ошибки вывод будет таким:

Расширенные возможности запуска задач. Декоратор task

Новый стиль задач

До сих пор мы создавали задачи, используя просто функции верхнего уровня в файле fabfile.py (или его аналоге), однако, начиная с Fabric 1.1 появились так называемые задачи нового стиля (new-style tasks), позволяющие еще более гибко их настраивать. Главное нововведение Fabric 1.1 - это декоратор task и класс Task, наследуя который можно создавать новые задачи. В этой статье мы рассмотрим только декоратор. Ранее все функции, не начинающиеся с символа "_", считались задачей. С новым стилем мы можем создавать функции с любыми именами, но снаружи видны будут только те из них, кто помечен декоратором task. Это правило работает, если есть хотя бы одна функция, отмеченная этим декоратором.

Например, пусть у нас есть такой fabfile.py:

С помощью параметра --list посмотрим список всех задач в этом файле:

Как видно, функция internal_func не отображается, хотя она и не начинается с символа "_".

Задачи по умолчанию

С помощью декоратора task можно указать задачу, которая будет выполняться в случае, если команде fab не будет передано имя задачи. Для этого в качестве параметра декоратора нужно задать default=True:

Теперь нам не нужно использовать команду fab task1, чтобы выполнить первую задачу, достаточно просто запустить команду fab:

Разумеется, если мы выполним только команду fab task2, то будет выполнена только она:

Псевдонимы

С помощью декоратора task можно создавать псевдонимы для задач. В этом случае у задачи будет два имени, вызывать ее можно по любому из них. Чтобы создать псевдоним, в декоратор task нужно добавить параметр alias="псевдоним". Изменим предыдущий пример:

Если мы теперь выполним команду fab --list, то в списке будет показаны три задачи:

Если мы выполним команду fab mytask, то это будет равносильно выполнению команды fab task1:

Заключение

В этой статье мы рассмотрели основные, но далеко не все возможности библиотеки Fabric. Эта библиотека позволяет легко автоматизировать рутинные задачи как при работе на локальном компьютере, так и на удаленном сервере. С помощью Fabric можно создавать резервные копии, развертывать веб-приложения и даже использовать его для сборки программ. Преимущество Fabric в том, что эта библиотека не будет требовать от вас изучения нового синтаксиса, все скрипты пишутся на Python.

Спасибо за внимание, жду ваших отзывов и комментариев. Интересно, многие ли из вас дочитают эту большую статью до конца. :)

Другие статьи на тему программирования на Python

---

	Подписаться на комментарии
Автор:
Тема:
	Ваш комментарий
Введите код 608