Всем привет!
Три года наша команда проводила PyCon Russia в Екатеринбурге, а в этом году мы готовы начать путешествие по городам России.
Рубрика «python» - 326
PyCon Russia переезжает в Москву
2016-04-01 в 11:19, admin, рубрики: django, python, Блог компании IT-People, екатеринбург, конференция, ПрограммированиеСтеганография в акроконструкциях. Алгоритм DANTSOVA
2016-04-01 в 7:04, admin, рубрики: dantsova, just4fun, python, акроконструкции, акростихи, борщ!, день дурака, Донцова, информационная безопасность, криптография, машинное обучение, ненормальное программирование, Стеганография, метки: dantsova, акроконструкции, акростихи, Донцова, стеганография— Потом решила избавиться. Во!
— Ей!.. так хорошо?
— А, без разницы...
Давно хотел опубликовать этот just4fun проектик по стеганографии, но что-то не было времени.
И вот и время и повод нашелся.
К тому же пятница!
Решил я как-то раз реализовать стеганографию в акроконструкциях.
Для наглядности сделать, как в акростихах, только автоматизировать процесс и строить акропредложения автоматически. Короче говоря, повторить задумку Тритемия, только программным способом ;)
Интерфейс итоговой программы прост:
- пользователь вводит сообщение на русском языке;
- программа выдает акротекст. (Это текст, по первым буквам каждого слова которого можно собрать исходное сообщение).
Например на запрос "привет хабр!" программа написала текст: "потом решила избавиться во ей так хорошо а без разницы". Знаки препинания программа пока не расставляет — это делает пользователь на свое усмотрение.
Конечно далеко до naitive русского языка, но для just4fun проекта, написанного на коленке за пару вечеров, я думаю сгодиться…
Алгоритм обучается на бесчисленных романах Дарьи Донцовой. Именно поэтому он в честь нее и назван — DANTSOVA.
Кому интересно, как все это работает, прошу под кат!
В помощь DevOps: сборщик прошивок для сетевых устройств на Debian за 1008 часов
2016-03-31 в 14:40, admin, рубрики: Debian, edisonsoftware, python, web-разработка, Блог компании Edison, проектирование, разработка, Разработка под Linux, Сетевые технологии, телекоммуникация, тестированиеСегодня мы расскажем об успешно реализованном проекте для крупного немецкого производителя телекоммуникационного оборудования (хабы, роутеры, сетевые серверы и пр.)

Задача
Embedded Debian не предоставляет готовой к использованию среды для сборки произвольных образов системы. Чтобы ее подготовить, требуется использовать стандартный дистрибутив Debian, обладать навыками системного администрирования, подобрать и настроить набор утилит, написав при этом ряд shell скриптов для автоматизации процедуры кросс-компиляции пакетов. Проделав всю ручную работу, вы получите консольный инструмент, пользоваться которым может исключительно технический персонал с определенным уровнем навыков работы с ОС Linux, а это не удобно, встает вопрос по организации многопользовательского доступа к этой среде и ограничению прав, а также постоянной поддержки среды в актуальном состоянии.
Выбор производителя телекоммуникационного оборудования пал на дистрибутив Embedded Debian благодаря большому количеству пакетов входящих в состав ОС, позволяющих решать самые разнообразные задачи, и обилию поддерживаемых платформ.
Перед разработчиками EDISON была поставлена задача разработать веб-сервис с интуитивно понятным веб-интерфейсом в виде мастера, позволяющего подготовить произвольный образ системы на базе Embedded Debian на целевую платформу в несколько шагов, который также решает ряд смежных задач.
- Многопользовательский доступ к системе сборки образов Debian.
- Хранение подготовленных образов и предоставление доступа к ним.
- Модификация и повторная сборка подготовленных ранее образов.
- Клонирование и модификация подготовленных ранее образов.
- Возможность делится созданным образом с другими пользователями.
- Зеркалирование дистрибутива Embedded Debian, поддержка его в актуальном состоянии.
- Предварительная сборка пакетов дистрибутива на различные платформы по расписанию.
- Предоставление статистики по итогам сборки пакетов на различные платформы.
- Поддержка классических img образов, а также iso образов, в том числе с поддержкой Live CD.
Дополнительным пожеланием была возможность включения в систему пакетов, разработанных производителем оборудования непосредственно для выпускаемых устройств.
Реализация и технологии.
- Python 2 / Django.
- Bash shell scripts.
- MySQL.
- Debian 5.0 (Lenny).
- Embedded Debian 1.0 (Grip / Crush).
16 ядер и 30 Гб под капотом Вашего Jupyter за $0.25 в час
2016-03-31 в 11:33, admin, рубрики: Amazon EC2, Amazon Web Services, data mining, jupyter notebook, python, scikit-learn, виртуализация, хостингЕсли Вам не очень повезло, и на работе нет n-ядерного монстра, которого можно загрузить своими скриптами, то эта статья для Вас. Также если Вы привыкли запускать скрипты на всю ночь (и утром читать, что где-то забыли скобочку, и 6 часов вычислений пропали) — у Вас есть шанс наконец познакомиться с Amazon Web Services.

В этой статье я расскажу, как начать работать с сервисом EC2. По сути это пошаговая инструкция по полуавтоматической аренде спотового инстанса AWS для работы с Jupyter-блокнотами и сборкой библиотек Anaconda. Будет полезно, например, тем, кто в соревнованиях Kaggle все еще пользуется своим игрушечным маком.
Отчёт с Android Devs Meetup 17 марта
2016-03-30 в 13:40, admin, рубрики: mail.ru, meetup, python, Блог компании Mail.Ru Group 
17 марта в нашем офисе прошла новая встреча Android-разработчиков — Android Devs Meetup, на которой выступили аж четыре докладчика. И по уже сложившейся традиции предлагаем всем желающим посмотреть видеозаписи и презентации выступлений.
Читать полностью »
Автоматизация оформления документации
2016-03-30 в 10:44, admin, рубрики: csv, ERP-системы, jinja2, latex, python, XML, визуализация данных, документация, документированиеРаботая над проектами связанными с авионикой мне потребовалось оформить несколько комплектов документации с полным описанием проекта. Также следовало учитывать требования многих ГОСТов на оформление и на содержание документации, таких как ЕСПД, КТ-178B и других.
Описание должно было в себя включать:
- Планы разработки ПО
- Требования к ПО
- Описание реализации требований к ПО
- Таблицы трассируемости(соответствия) требований к ПО и реализации
- Описание тестов на ПО (Примеры и процедуры верификации ПО)
- Таблицы трассируемости(соответствия) требований к ПО и тестов
- Отчет об обнаруженных проблемах
- Указатель конфигурации(описание версии ПО и совместимости со сторонним ПО и оборудованием)
Объем документирования очень большой. Данные во всех документах связаны друг с другом, поэтому при изменении проекта (например добавления нового требования), приходится редактировать практически все документы. Плюс к этому можно где-то ошибиться или забыть поправить, что приводит к ошибкам в документации.

Далее в статье я расскажу как я решил эту проблему.
Видео-туториалы запуска вычислительных задач на Python, R, С++, Octave и Blender во FlyElephant
2016-03-29 в 15:30, admin, рубрики: blender, c++, data mining, FlyElephant, gcc, gromacs, HPC, java, Julia, octave, OpenFOAM, openmp, python, R, SciLab, Блог компании FlyElephant, научные расчёты, Облачные вычисления, параллельное программирование, стартапыПару недель назад, наша команда выпустила свежий релиз FlyElephant — платформа для ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения расчетов, помогает находить партнеров и совместно работать над проектами, а также управлять всеми данными из одного места.
В качестве вычислительного ресурса сейчас используется облако Azure, а пользователи могут запускать вычислительные задачи, написанные с помощью С++ (с поддержкой OpenMP), R, Python, Octave, Scilab, Java, Julia, OpenFOAM, GROMACS, Blender на серверах с количеством ядер от 1 до 32 и оперативной памятью до 448 ГБ.
Сегодня мы хотим поделиться видео-туториалсами запуска задач во FlyElephant. Под катом вы найдете видео, как запускать вычислительные задачи, написанные с помощью С++, R, Python, Octave и рендерить изображения с помощью Blender, а также промо-код для получения бесплатных дополнительных часов работы ваших задач.
Читать полностью »
Программирование на Python — курс для желающих узнать о нём больше или изучить ещё один язык программирования
2016-03-29 в 12:56, admin, рубрики: cs центр, python, Блог компании СПБАУ, Программирование"The joy of coding Python should be in seeing short, concise, readable classes that express a lot of action in a small amount of clear code — not in reams of trivial code that bores the reader to death."
Guido van Rossum

Python — язык программирования, на котором приятно писать и который приятно читать. Мы предлагаем тринадцать лекций осеннего курса CS центра, чтобы посмотреть вглубь языка и попробовать понять, как пользоваться всеми его возможностями. Лекции читает Сергей Лебедев, разработчик в компании JetBrains и преподаватель в Computer Science Center.
Мало освоить синтаксис, чтобы узнать язык программирования: нужно осознать идиомы языка и научиться их применять. В течение курса Сергей знакомит слушателей с идиомами и возможностями языка Python.
Фотография сделана осенью 2014 года в Страсбурге, за две недели до начала первого прочтения этого курса.
Читать полностью »
Отчёт с Moscow Python Meetup 18 марта
2016-03-28 в 14:46, admin, рубрики: mail.ru, meetup, python, Блог компании Mail.Ru Group 
18 марта в московском офисе Mail.Ru Group прошла очередная встреча «питонистов» — Moscow Python Meetup. В рамках традиционного однодневного формата было три выступления, с видеозаписями и презентациями которых вы теперь можете ознакомиться.
Читать полностью »
Web Scrapping с помощью python
2016-03-26 в 20:43, admin, рубрики: beautiful soup, data mining, lxml, python, xpathВведение
Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков?
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать.
Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.Читать полностью »


