Есть у нас пара внешних HTTP сервисов, которые работают довольно нестабильно. Да, мы должны были об этом подумать на этапе разработки, но мы все время откладывали в длинный ящик, аккуратно писали logging.error и двигались по другим направлениям.
Рубрика «python» - 416
Нестабильные внешние сервисы: способ решения проблемы
2012-07-09 в 9:39, admin, рубрики: decorator, python, декораторы, ПитонМысли о Python 3
2012-07-09 в 6:21, admin, рубрики: python, python3, переводы, Программирование, метки: python, python3Предлагаю вашему вниманю пересказ замечательной статьи автора Jinja2, Werkzeug и Flask, соавтора Sphinx и Pygments Армина Ронаха. Я получил огромное удовольствие разбирая исходные коды его творений и очень многое для себя почерпнул. Армин пишет отличные фреймворки, и как никто другой может разъяснить, чем чреват переход с Python 2 на Python 3 и почему его не так легко осуществить.
Автоматическое построения диаграмм сущность-связь
2012-07-08 в 5:19, admin, рубрики: ER-диаграммы, postgresql, python, sql, Регулярные выражения, метки: ER-диаграммы, python, sql, регулярные выражения Я не люблю всякие визуальные редакторы для создания ER-моделей. Предпочитаю писать SQL код вручную, но для всяких отчетов и обсуждений хотелось иметь графическое представление и желательно в векторном формате.
Читать полностью »
Автоматическое построение диаграмм сущность-связь
2012-07-08 в 5:19, admin, рубрики: ER-диаграммы, postgresql, python, sql, Регулярные выражения, метки: ER-диаграммы, python, sql, регулярные выражения Я не люблю всякие визуальные редакторы для создания ER-моделей. Предпочитаю писать SQL код вручную, но для всяких отчетов и обсуждений хотелось иметь графическое представление и желательно в векторном формате.
Читать полностью »
Используем OpenCL в Python
2012-07-03 в 6:45, admin, рубрики: gpgpu, opencl, python, метки: gpgpu, opencl, pythonВ последнее время параллельные вычисления прочно входят в жизнь, в частности, с использованием GPU.
Здесь было много статей на эту тему, поэтому ограничусь лишь поверхностным описанием технологии. GPGPU — использование графических процессоров для задач общего назначения, т.е. не связанных напрямую с рендерингом. Пример — библиотека Nvidia PhysX для расчёта физики в некоторых современных играх. Эта технология выгодна тем, что GPU хороши на параллельном выполнении с множеством потоков. Правда, потоков должно быть много, иначе производительность сильно упадет. Ещё из-за особенностей работы с памятью приходится несколько хитрить с передачей данных из оперативной памяти в видеопамять. Известные реализации: CUDA (Nvidia, только для видеокарт), OpenCL (Khronos Group, для гетерогенных систем) и AMD FireStream. Здесь будет обсуждаться только OpenCL.
Итак, приступим к практике. В качестве языка основной программы выберем Python. Он, конечно, не очень быстр сам по себе, зато отлично работает как «клей» — во многих применениях основной расчёт идёт в OpenCL, а код на Python только «подносит патроны». Существует отличная библиотека PyOpenCL, которой и будем пользоваться.
Экспорт избранного Хабра в FB2
2012-06-29 в 22:02, admin, рубрики: beautiful soup, fb2, python, избранное, хабрахабр, экспорт, электронные книги, метки: beautiful soup, fb2, python, избранное, Хабрахабр, экспорт- Что?
- Сабж.
- Зачем?
- Читать в оффлайне на электронных книгах.
- Моя книга не поддерживает FB2!
- Хочу!
- Обзаводимся Python 2.6+. Тестировалось на Python 2.7.3.
- Ставим библиотеку BeautifulSoup 4. Вкратце варианты:
apt-get install python-beautifulsoup4easy_install beautifulsoup4pip install beautifulsoup4- Исходники и
python setup.py install
- Качаем код из репозитория. (прямая ссылка на последнюю версию на момент написания)
- Открываем файл
habrafav.pyи в строкеusername = ...прописываем свой логин. python habrafav.py(или простоhabrafav.pyпод Windows)- Ждём. У меня с кэшированными данными экспорт ~150 статей занимает около 6 минут и 600 Мб оперативной памяти.
- Забираем
habrahabr_favorites.fb2. Мой занимает примерно 62 Мб.
Django своими руками часть 2: Интернационализация
2012-06-29 в 18:07, admin, рубрики: framework, jinja2, python, интернационализация, метки: framework, jinja2, python, интернационализацияВведение.
Изначально хотелось написать побольше упомянув в статье роуты и борьбу с ошибками, но тема интернационализации довольно обширна оказалась поэтому было решено посвятить пост исключительно ей. Мы будем пользоваться распространенным инструментом gettext в рамках фреймворка.
Все переводы можно разделить на две части:
a) Те что непосредственно в файлах с расширением .py — с ними все просто.
b) И те что в шаблонах — к ним придется написать небольшой велосипед :).
Ну и далее нужно автоматизировать процесс управления переводами.
Итак добро пожаловать под кат.
Кастомизация Skype для Linux. Оповещение о появлении «избранных» контактов в сети
2012-06-29 в 17:05, admin, рубрики: customization, linux, python, skype, кастомизация, метки: customization, linux, python, skype, кастомизация Основное средство общения в нашей компании — это шашлыки чат Skype. Статус «в сети» означает присутствие на рабочем месте. Иногда ждёшь кого-то, начальству не напишешь «зайди плиз срочно» — в общем, уведомление о появлении в сети определённого человека было бы полезно.
В Skype для Linux нет такой «галочки» для отдельных контактов (думаю, что и пользователи других ОС с этим знакомы). Зато есть неоспоримое преимущество — почти безграничные возможности командной строки:
Читать полностью »
Pynba — pinba for python
2012-06-29 в 10:06, admin, рубрики: pinba, python, Веб-разработка, статистикаПримечание переводчика:
Тихо и незаметно вышла pynba. Странно, что на хабре об этом еще не писали :)
Что это:
Pynba — это WSGI прослойка для pinba. С ее помощью вы можете собирать статистику / производить мониторинг сервера, используя интерфейс MySQL для чтения данных.
Она аккумулирует данные от Python процессов, отправляет их по UDP прототоколу и показывает статистику в красивом человекопонятном виде простых отчетов. Так же она предоставляет доступ только для чтения к сырым данным, что позволяет, например, создавать более детализированные отчеты.
Пользователи так же могут проводить измерения работы важных участков кода, используя таймеры с произвольными метками.
Почему не другой обработчик статистики?
Потому что Pinba — это круто!
Читать полностью »
Массовое добавление/удаление хостов в Zabbix при помощи API
2012-06-29 в 9:18, admin, рубрики: linux, python, zabbix, zabbix api, Серверная оптимизация, Серверное администрирование, метки: python, zabbix, zabbix api На одном из проектов часто разворачивались/удалялись новые ноды в облаке, соответственно, появилась задача добавления/удаления новых хостов в Zabbix для мониторинга доступности и снятия статистики. Для саморазвития было решено использовать библиотеку zabbix API на питоне. Это был первый опыт написания скриптов, поэтому буду благодарен за отзывы и замечания по коду.
Читать полностью »
