Привет! Data Engineering становится все более популярным, многие компании постепенно открывают соответствующие вакансии. В связи с этим мы взяли интервью у дата инженера и преподавателя на программах “Специалист по большим данным” и “Data Engineer” Николая Маркова о том, что должны уметь data scientist-ы и data engineer-ы, чего им чаще всего не хватает и как найти свое место в анализе данных.
Рубрика «python» - 262
“Без data engineer-а ценность модели аналитика стремится к нулю” — интервью с дата инженером Николаем Марковым
2017-10-20 в 12:43, admin, рубрики: big data, data engineering, data mining, data science, data scientist, machine learning, python, Блог компании New Professions Lab, машинное обучениеОпределение устойчивости систем автоматического управления промышленными роботами
2017-10-20 в 8:05, admin, рубрики: python, sympy, Анализ и проектирование систем, годограф Михайлова, математика, разработка под windows, устойчивость САУВведение
Необходимым условием работоспособности системы автоматического управления (САУ), является её устойчивость. Под устойчивостью принято понимать свойство системы восстанавливать состояние равновесия, из которого она была выведена под влиянием возмущающих факторов после прекращения их воздействия [1].
Постановка задачи
Получение простого, наглядного и общедоступного инструмента для решения задач расчёта устойчивости систем автоматического управления, что является обязательным условием работоспособности любого промышленного робота и манипулятора.
Читать полностью »
Code review по-человечески (часть 1)
2017-10-20 в 7:34, admin, рубрики: code review, python, код ревью, неправильные пробелы, отладка, Программирование, просмотр кода, психология, Совершенный код, эго
В последнее время я читал статьи о лучших практиках code review и заметил, что эти статьи фокусируются на поиске багов, практически игнорируя другие компоненты ревью. Конструктивное и профессиональное обсуждение обнаруженных проблем? Неважно! Просто найди все баги, а дальше само сложится.
Так что у меня случилось откровение: если это работает для кода, то почему не будет работать в романтичных отношениях? Итак, встречайте новую электронную книгу, которая поможет программистам в отношениях со своими возлюбленными (обложка на иллюстрации слева).
Моя революционная книга обучит вас проверенным техникам по выявлению максимального количества недостатков в своём партнёре. Книга не затрагивает следующие области:
• Обсуждение проблем с сочувствием и пониманием.
• Помощь партнёру в устранении недостатков.
Насколько я могу понять из чтения литературы по code review, эти части отношений настолько очевидны, что вообще не стоят обсуждения.
Как вам нравится такая книжка? Предполагаю, что она вам не очень по душе.
Читать полностью »
Руководство по созданию расширений для Jinja2
2017-10-19 в 9:56, admin, рубрики: flask, jinja, jinja2, python, если тебя заставляют читать теги, мигни, Программирование, расширения, шаблоны
Jinja2 — Python-библиотека для рендеринга шаблонов, являющаяся де-факто стандартом при написании веб-приложений на Flask и довольно популярной альтернативой встроенной системе шаблонов Django. Хотя и будучи сильно привязана к языку, Jinja2 позиционирует себя как инструмент для дизайнеров и верстальщиков, упрощающий вёрстку и отделяющий её от разработки, и пытающийся по мере возможностей изолировать не-разработчиков от Python. Вёрстка, впрочем, не единственное возможное её применение; например, в своей работе я использую шаблоны Jinja2 для генерации SQL-запросов.
Jinja2 расширяема, и многие возможности (например, интернационализация и управление циклами) реализованы именно как расширения. Однако, документация по написанию расширений, как мне кажется, несколько неполна; от примера несложного (но тщательно прокомментированного) расширения она перескакивает сразу к описанию API некоторых классов Jinja2, которое довольно трудно читать подряд. В этой статье я попытаюсь исправить это упущение и создать в голове читателя полную и ясную картину того, как работает Jinja2, как устроены её расширения и как с помощью расширений модифицировать разные этапы обработки шаблонов.
Читать полностью »
5 причин, по которым Python достаточно мощный для Google
2017-10-19 в 9:41, admin, рубрики: python, перевод, разработка на pythonПеревод статьи 5 Reasons why Python is Powerful Enough for Google
Вы готовитесь начать новый проект. Какой язык вам выбрать для разработки?
Или, если переформулировать данный вопрос: вы ищите работу, какой язык вам нужно учить?
По названию данной статьи вы можете догадаться, что правильным ответом я считаю Python. Но почему?
Ответ заключается в том, что Python — это мощный язык. Но что это значит? Что делать язык программирование мощным?
Python эффективный
В наши дни тонны интеллектуальной энергии уходит на Большие данные (как на их анализ, так и на их обработку). Чем больше данных вам необходимо обрабатывать, тем важнее управлять используемой вами памятью.
Python предоставляет генераторы как выражений, так и функций.
До конференции Moscow Python осталось два дня. Что интересного в программе?
2017-10-18 в 13:21, admin, рубрики: moscow python conference, moscow python meetup, python, voximplant, Блог компании Voximplant, Программирование, Разработка веб-сайтов
Мы в Voximplant не только создаем платформу телефонии для JavaScript разработчиков и организуем раз в год собственную конференцию INTERCOM, но и поддерживаем коллег по индустрии. В свободное от продвижения Voximplant время я помогаю сообществу Moscow Python: мы делаем митапы, обучающие курсы, ежегодную конференцию — всю вот эту веселую движуху вокруг самого сообществообразующего языка программирования. Послезавтра, в пятницу 20-го октября, состоится большая конференция Moscow Python Conf, для которой я помогал выбирать спикеров, делать программу, и во время которой я буду вести один из двух потоков. Два дня до начала — самое время, чтобы вспомнить о конференции, еще раз заценить программу и потребовать у меня в личку скидку для Хабрапользователей. Скидок я из остальных организаторов выбил десять штук, кто первый — того и тапки.
Читать полностью »
Сравнение и создание морфологических анализаторов в NLTK
2017-10-18 в 10:47, admin, рубрики: NLTK, pythonЗдравствуйте. Это статья о сравнении существующих и создании своих морфологических анализаторов в библиотеке NLTK.
Введение
NLTK — пакет библиотек и программ для символьной и статистической обработки естественного языка, написанных на языке программирования Python. Отлично подходит для людей, изучающих компьютерную лингвистику, машинное обучение, информационный поиск [1].
В данной статье я буду сопровождать примеры кодом на языке Python (версии 2.7).
Читать полностью »
Символьное решение задач нелинейного программирования
2017-10-17 в 21:13, admin, рубрики: python, sympy, математика, разработка под windows, символьные вычмсленияВведение
С появлением библиотеки SymPy для решения математических задач появились дополнительные возможности, позволяющие отображать результаты в символьной форме.
Подробное описание использования символьных вычислений приведено в публикации [1] под названием «Введение в научный Python» в разделе «Символьные вычисления».
Расширение области применения символьных вычислений на решение отдельных задач нелинейного программирования надеюсь будет способствовать популяризации Python в том числе и как альтернатива дорогостоящих математических пакетов.
Постановка задачи
Привести примеры символьных вычислений для безусловного экстремума дифференцируемой нелинейной функции цели с определением достаточных условий существования экстремума по матрице Гессе. Рассмотреть так же задачу условного нелинейного программирования с линейными ограничениями при помощи множетелей Лагранжа.
Для того, чтобы определиться с терминологией приведу следующее определение [2]. Задачей нелинейного программирования (задачей НП) называется задача нахождения максимума (минимума) нелинейной функции многих переменных, когда на переменные имеются (не имеются) ограничения типа равенств или неравенств.
Символьное вычисление безусловного экстремума дифференцируемой функции трёх переменных
Несмотря на сложность решаемых задач при символьном решении всё становится простым и наглядным. Рассмотрим листинг первого примера.Читать полностью »
Вышла Odoo 11 — открытая система для автоматизации бизнеса
2017-10-17 в 17:54, admin, рубрики: odoo, python, я пиарюсьВ академ-городке Лувэн-ла-Нёв (Louvain-la-Neuve) недалеко от Брюсселя около недели назад прошла 3-х дневная конференция Odoo Experience 2017, которая собрала разработчиков и пользователей Odoo со всего мира.
Я там был, пиво пил, и про Odoo говорил. А этот пост пишу для тех, кто про Odoo ничего не слышал, или до сих пор не пробовал эту прекрасную платформу.
Odoo — это самая популярная в мире открытая платформа для бизнес-приложений, которая развивается с 2005 года (TinyERP -> OpenERP -> Odoo).
Среди пользователей Odoo такие компании, как Toyota, Hyundai, Danone, и другие.
Бизнес-приложения для Odoo доступны как на Odoo маркете, так и в бесчисленных репозиториях на Github.
Всего на Odoo маркете зарегистрировано более 10,000 бизнес-приложений, что делает Odoo маркет самым большим магазином приложений для предприятий.
Вокруг Odoo сложилась большая эко-система, включающая более 5000 тыс. разработчиков из 23 стран, публикующих более 300 новых приложений каждый месяц.
Развитием Odoo занимается бельгийская компания Odoo SA, включенная в список самых быстрорастущих компаний Европы.
Платформа Odoo регулярно получает самые разные награды от авторитетных изданий отрасли бизнес-автоматизации, начиная от The best open source application до
Great User Experience Award и The Rising Star for the ERP software.
Читать полностью »
ScadaPy возможности применения modbus протокола
2017-10-16 в 11:35, admin, рубрики: python, scada разработка программированиеВ продолжение статей здесь, здесь, здесь и здесь., хочу привести примеры простого использования python скриптов из серии ScadaPy, как в сфере домашней автоматизации, так и на производственных предприятиях.
1. Модули ADAM от Advantech и ScadaPy.
Простой пример использования python для опроса модулей Advantech Серии 4000.
Для считывания данных и передачи команд управления используется собственный протокол DCON. Когда-то давно была распространена программа от этого производителя и называлась, если не ошибаюсь, Adam View или GeniDAQ. Мы в свое время с нее начинали, было очень интересно. На сегодняшний день мне достались несколько модулей, которые вполне еще работоспособны.

