Не так давно передо мной стала задача проанализировать количество Excel файлов созданных за определенный месяц года. Не буду вдаваться в подробности, скажу вкратце: для оценки работы сотрудников одной фирмы. Файлов в наличии было около тысячи и суть задачи сводилась к тому, чтобы сделать понятный график в виде гистограммы для руководителя
фирмы, в какой месяц года и сколько было сделано файлов (это были товарные накладные).Читать полностью »
Рубрика «python» - 208
Пишем XGBoost с нуля — часть 2: градиентный бустинг
2019-02-07 в 9:44, admin, рубрики: big data, data mining, python, xgboost, алгоритм, Алгоритмы, Блог компании Mail.Ru Group, нейросеть, решающие деревья
Всем привет!
В прошлой статье мы разбирались, как устроены решающие деревья, и с нуля реализовали
алгоритм построения, попутно оптимизируя и улучшая его. В этой статье мы реализуем алгоритм градиентного бустинга и в конце создадим свой собственный XGBoost. Повествование будет идти по той же схеме: пишем алгоритм, описываем его, в заверешение подводим итоги, сравнивая результаты работы с аналогами из Sklearn'а.
В этой статье упор тоже будет сделан на реализацию в коде, поэтому всю теорию лучше почитать в другом вместе (например, в курсе ODS), и уже со знанием теории можно переходить к этой статье, так как тема достаточно сложная.
Пример разбора C++ кода с помощью libclang на Python
2019-02-06 в 18:56, admin, рубрики: AST, c++, clang, libclang, LLVM, python, RTTI, Компиляторы, комплияторыНа одном личном проекте на C++ мне потребовалось получать информацию о типах объектов во время выполнения приложения. В C++ есть встроенный механизм Run-Time Type Information (RTTI), и конечно же первая мысль была использовать именно его, но я решил написать свою реализацию, потому что не хотел тянуть весь встроенный механизм, ведь мне нужна была лишь малая часть его функционала. А еще хотелось попробовать на практике новые возможности C++ 17, с которыми я был не особо знаком.
В этом посте представлю пример работы с парсером libclang на языке Python.
Пишем XGBoost с нуля — часть 1: деревья решений
2019-02-06 в 10:20, admin, рубрики: big data, python, python3, алгоритм, Алгоритмы, Блог компании Mail.Ru Group, машинное обучение, нейросеть
Привет!
После многочисленных поисков качественных руководств о решающих деревьях и ансамблевых алгоритмах (бустинг, решающий лес и пр.) с их непосредственной реализацией на языках программирования, и так ничего не найдя (кто найдёт — напишите в комментах, может, что-то новое почерпну), я решил сделать своё собственное руководство, каким бы я хотел его видеть. Задача на словах простая, но, как известно, дьявол кроется в мелочах, коих в алгоритмах с деревьями очень много.
Так как тема достаточно обширная, то очень сложно будет уместить всё в одну статью, поэтому будет две публикации: первая посвящена деревьям, а вторая часть будет посвящена реализации алгоритма градиентного бустинга. Весь изложенный здесь материал собран и оформлен на основе открытых источников, моего кода, кода коллег и друзей. Сразу предупреждаю, кода будет много.
Courier: миграция Dropbox на gRPC
2019-02-05 в 16:01, admin, рубрики: DropBox, grpc, python, RPC, TLS, Блог компании Badoo, высокая производительность, Программирование, Разработка веб-сайтов, Серверная оптимизация
Примечание переводчика
Большинство современных программных продуктов не являются монолитными, а состоят из множества частей, которые взаимодействуют друг с другом. При таком положении дел необходимо, чтобы общение взаимодействующих частей системы происходило на одном языке (притом что сами эти части могут быть написаны на разных языках программирования и выполняться на разных машинах). Упростить решение этой задачи помогает gRPC — open-source-фреймворк от Google, выпущенный в 2015 году. Он решает сразу ряд проблем, позволяя:
- использовать язык Protocol Buffers для описания взаимодействия сервисов;
- генерировать программный код на основании описанного протокола для 11 разных языков как для клиентской части, так и для серверной;
- реализовать авторизацию между взаимодействующими компонентами;
- использовать как синхронное, так и асинхронное взаимодействие.
gRPC показался мне довольно интересным фреймворком, и мне было интересно узнать про реальный опыт компании Dropbox по построению системы на его основе. В статье есть масса деталей, связанных с использованием шифрования, построением надёжной, наблюдаемой и производительной системы, процессом миграции со старого RPC-решения на новое.
Спасибо Алексею Иванову aka SaveTheRbtz за написание оригинальной статьи и помощь с переводом трудных мест.
Делаем нейронную сеть: как не сломать мозг
2019-02-05 в 16:00, admin, рубрики: deep learning, keras, machine learning, neural networks, python, TensorFlow, машинное обучениеПривет!
В этой небольшой заметке расскажу о двух подводных камнях, с которыми как легко столкнуться, так и легко о них разбиться.
Речь пойдет о создании тривиальной нейронной сети на Keras, с помощью которой будем предсказывать среднее арифметическое двух чисел.
Казалось бы, что может быть проще. И действительно, ничего сложного, но есть нюансы.
Кому тема интересна, добро пожаловать под кат, здесь не будет долгих занудных описаний, просто короткий код и комментарии к нему.
Читать полностью »
«Удаление» объектов в Django
2019-02-05 в 7:00, admin, рубрики: django, python, sql, Блог компании Mail.Ru Group, декораторы, тестирование, удаление
Рано или поздно перед разработчиками встаёт задача удаления ненужных данных. И чем сложнее сервис, тем больше нюансов необходимо учесть. В данной статье я расскажу, как мы реализовали «удаление» в базе данных с сотней связей.
Читать полностью »
Tips and tricks from my Telegram-channel @pythonetc, January 2019
2019-02-04 в 13:28, admin, рубрики: python, Блог компании Mail.Ru Group, Программирование
It is new selection of tips and tricks about Python and programming from my Telegram-channel @pythonetc.
Previous publications:
Подборка @pythonetc, январь 2019
2019-02-04 в 12:49, admin, рубрики: python, Блог компании Mail.Ru Group, Программирование
Это восьмая подборка советов про Python и программирование из моего авторского канала @pythonetc.
Предыдущие подборки:
Как мы делали мониторинг сети на 14 000 объектов
2019-02-04 в 8:00, admin, рубрики: api, itx5, monitoring, network, python, zabbix, zabbix api, Блог компании X5RetailGroup, мониторинг сети, Сетевые технологии, системное администрированиеУ нас было 14 000 объектов, zabbix, api, python и нежелание добавлять объекты руками. Под катом — о том, как сетевиками внедрялся мониторинг с автоматическим добавлением узлов сети, и немного про боль, через которую пришлось пройти.
Статья больше ориентирована на сетевых инженеров с небольшим опытом в python. В помощь при автоматизации мониторинга и улучшения качества жизни и работы, в отсутствии необходимости руками актуализировать весь парк объектов.



