Две недели назад закончился проходивший в офисе Mail.Ru Group хакатон для студентов SmartMailHack. На хакатоне предлагался выбор из трех задач; статья от победителей во второй задаче уже есть на хабре, я же хочу описать решение нашей команды, победившей в первой задаче. Все примеры кода будут на Python & Keras (популярный фреймворк для deep learning).

Рубрика «python» - 244
SmartMailHack. Решение 1-го места в задаче классификации логотипов
2018-05-06 в 19:29, admin, рубрики: cnn, data mining, deep learning, machine learning, python, классификация изображений, машинное обучение, хакатонКросс-языковая разработка ПО
2018-05-05 в 18:02, admin, рубрики: .net, java, python, конвертер C# в Java, конвертер C# в Python, ненормальное программированиеЗадача
Вот бы, разрабатывая программу на одном языке, сразу получать исходники на других языках программирования… Я пишу на C# .NET, но в последнее время всё больше требуется интегрироваться с Java. Одно из решений — оформление web-сервисов для взаимодействия, но не то это, не то. Вроде и существуют конвертеры C# в Java, но эксперимент показал, что для реального проекта они (те, что удалось попробовать) не работают, хотя на «hello world» отрабатывают отлично. Переписать с нуля на Java весь проект нереально — он активно разрабатывается более 6 лет (Pullenti — обработка естественного языка), да и на C# он нужен. Пришлось мобилизоваться и в прошлом году написать этот конвертер, а в этом году и конвертер C# в Python.
Читать полностью »
Экскурсия по PyTorch
2018-05-04 в 15:08, admin, рубрики: deep learning, python, pytorch, TensorFlow, Алгоритмы, Блог компании Издательский дом «Питер», глубокое обучение, машинное обучение, нейронные сети, оптимизация, ПрограммированиеПривет!
Еще до конца мая у нас выйдет перевод книги Франсуа Шолле "Глубокое обучение на Python" (примеры с использованием библиотек Keras и Tensorflow). Не пропустите!

Но мы, естественно, смотрим в надвигающееся будущее и начинаем присматриваться к еще более инновационной библиотеке PyTorch. Сегодня вашему вниманию предлагается перевод статьи Питера Голдсборо, готового устроить вам долгую прогулку ознакомительную экскурсию по этой библиотеке. Под катом много и интересно.
Читать полностью »
Как я писал графического бота и во что это превратилось
2018-05-04 в 13:03, admin, рубрики: java, python, автоматизация, тестирование, Тестирование IT-системВ этой статье разберем опыт написания инструмента, который позволяет прилагая минимум усилий и времени автоматизировать большой спектр рутинных задач.
Предисловие
Понадобилось мне сделать бота для выполнения нескольких задач, требовательных к логике и скорости реакции. Лезть в API и ковырять бинарники программ не хотелось. Было решено пойти путём визуальной автоматизации. Нашел несколько ботов, но ни один из них так и не подошел под мои требования, оказавшись или слишком медленным, или скриптовая часть была сильно урезана или был недостаточный функционал для работы с визуальной составляющей. Так как у меня был успешный опыт использования визуального бота в прошлом (хоть и медленного и сильно урезанного в скриптовой части) – решил сделать свою реализацию.
Требуемый в начале функционал
Были необходимы следующие возможности:
- Cимуляция мыши, передвижение курсора, нажатие кнопок.
- Cимуляция нажатий клавиш клавиатуры.
- Возможность искать на экране заранее заготовленный кусочек картинки, например иконку или букву, а если нашло – пусть сделает что угодно с этой информацией.
- Скриптовый интерпретатор, чтобы можно было просто описывать алгоритм действий и не требовалось компилировать раз за разом.
Существующие аналоги
Есть целый ряд аналогов, но каждый из них имеет как свои плюсы, так и минусы. Рассмотрим наиболее функциональные:
Читать полностью »
Backend United #1. Винегрет — видео, фотоотчёт, презентации и отзывы слушателей
2018-05-04 в 7:28, admin, рубрики: backend, Go, php, python, Блог компании Avito, винегрет, Программирование18 апреля у нас в офисе прошел первый митап, посвященный кросс-языковым решениям для разработки серверной части. «Винегрет», судя по нашим впечатлениям и отзывам гостей митапа, удался. Значит, будем продолжать практику объединения бэкендеров, чаще встречаться и обсуждать общие подходы и инструменты для разных языков. Ну а пока публикуем видео, слайды, отзывы и фото. Всё это — под катом.

Как заставить государство открываться, ч.1: Качаем статистику ДТП своими руками
2018-05-02 в 20:07, admin, рубрики: Postman, python, python 3, Гибдд, ДТП, открытые данныеЕсли хорошо поискать, можно обнаружить довольно много полезной, приличного качества, государственной информации. Но к сожалению, это все еще не: ЕГЭ и образование, погода, картография, данные о преступлениях… и ДТП.
Поэтому у меня как бы две жизни: в одной помогаю чиновникам открывать данные, которые просят люди или организации, а в другой — пишу парсеры, которые превращают общедоступные базы особо «упрямых» госорганов в открытые данные и учу этому других, в надежде, что таких проектов станет много, государство смирится с неизбежным и все выложит в удобном нам виде.
Эта статья станет первым мануалом в серии «как получать машиночитаемые данные с госсайтов». Итак, сегодня — про статистику ДТП, а раз государство нам ее не дает, мы научимся забирать ее самостоятельно. По традиции, код и данные — прилагаются.
Носорог, питон и простреленная нога на конференции SMARTRHINO-2018
2018-05-02 в 19:39, admin, рубрики: kotlin, ml, programming, python, smartrhino, Блог компании ИНФОРИОН, реверс26 апреля в НОЦ ИБ МГТУ им.Баумана прошла конференция SMARTRHINO-2018, на которой были представлены лекции и семинары по четырем темам:
- реверс-инжиниринг,
- Python/ML,
- Best Practices,
- Kotlin.

Программирование для сетевых инженеров: первый кейс
2018-05-02 в 18:32, admin, рубрики: juniper, pyez, python, Программирование, Сетевые технологии, системное администрированиеИспользование программирования в сетевом деле уже стало трендом, поэтому в продолжении статьи Зачем сетевым инженерам программирование я начинаю серию небольших заметок про автоматизацию решения тех или иных практических задач. Чтобы развеять ореол сложности вокруг этой темы, будут опубликованы некоторые примеры и кейсы, в основном с использованием Python, и даны ссылки на более глубокий материал и техническую документацию. Вступительная статья этого цикла ниже.
Читать полностью »
DevConf 2018 — голосование за доклады
2018-05-02 в 9:40, admin, рубрики: devconf, devops, Go, javascript, php, python, ruby, sql, Блог компании DevConf, Разработка веб-сайтов, СУБД18 мая 2018 в Digital October(Москва) пройдет DevConf — большая ежегодная конференция для веб-разработчиков, где обсуждают обо всем самом новом в мире программирования для веб. Программа определяется голосованием за доклады.

В секции BackEnd: будущее PHP, мышление агрегатами, сервис-ориентированная архитектура, немного про блокчейн, трудности переписывания проекта, tracing, profiling, etc.
В секции FrontEnd: React, GraphQL, Node.JS, WebRTC видеозвонки, телевизоры, тесты и разработчик PhantomJs.
В секции Storage: PostgreSQL, MySQL, ProxySQL, SphinxSearch, ClickHouse и немного(много) про сжатие данных.
Читать полностью »
Настройка модели машинного обучения: подбор фичей и оптимизация гиперпараметров
2018-05-01 в 12:03, admin, рубрики: data mining, kaggle, machine learning, python, Алгоритмы, математика, машинное обучениеВведение
В предыдущей статье цикла мы обсудили постановку задачи анализа данных, сделали первые шаги в настройке модели машинного обучения и написали интерфейс, удобный для использования прикладным программистом. Сегодня мы проведем дальнейшее исследование задачи — поэкспериментируем с новыми фичами, попробуем более сложные модели и варианты их настроечных параметров.

В статье, насколько возможно, используется русскоязычная терминология, выбранная автором на основе буквальных переводов англоязычных терминов и устоявшегося в сообществе сленга. О ней можно почитать здесь.
Читать полностью »

