Рубрика «pandas»

в 8:03, , рубрики: pandas, WildBerries, маркетплейсы, сверка данных, финансовый отчёт

Итог по кабинету у меня сходился с отчётом Wildberries до копейки, а прибыль по артикулам при этом была посчитана неверно.

Я пишу собственный движок финансового разбора кабинета WB на Python (pandas и openpyxl): на входе Excel-выгрузки, на выходе результат по каждому артикулу и объяснение, куда ушли деньги. Ранние версии проходили сверку с отчётом WB, и я считал задачу решённой. Зря: совпадение итога почти ничего не говорит о раскладке по товарам. Все числа ниже демонстрационные, реальных кабинетов в статье нет.

Почему итог сходится, а артикул нет

Читать полностью »

в 15:31, , рубрики: data leakage, LightGBM, lookahead bias, pandas, resample, time series, алготрейдинг, валидация данных

Полтора месяца ML‑ансамбль в моей торговой системе показывал на бэктесте AUC 0.78 — солидное число для предсказания движения цены по 15-минутным свечам. В бою та же система в лучшем случае выходила в ноль. Разрыв между «отлично работает на истории» и «ничего не работает в реальности» — самый частый и обманчивый симптом в прикладном ML на временных рядах. Обычно за ним стоит одно из трёх: недообучение на новых условиях, изменившийся рынок или утечка данных.

Читать полностью »

в 10:37, , рубрики: api, pandas, python, sqlite, WildBerries, анализ данных, маркетплейсы, парсинг, скидки, ценообразование

в 8:16, , рубрики: hh.ru, pandas, python, sql, анализ данных, аналитика, зарплаты, парсинг, рынок труда, статистика

Привет! (И тебе, HR, который ставит в вакансию «Python, SQL, Linux, Docker, K8s, Spark, Airflow, английский C1, опыт 1-3 года, зарплата 40-60К». Особенно тебе.)

Сегодня будем препарировать рынок Python-разработки в России. По-настоящему. С графиками, цифрами и верой в светлое будущее.

Поехали.

P.S Если вводная часть того как я анализировал не интересна смело переходи к главе 2, не мучай себя избыточной информацией))

Читать полностью »

в 12:24, , рубрики: nlp обработка текста, pandas, pymorphy2, python, Rusentilex, литература, поэзия, проза, чтение, Эмоции

Промёрзшие кочки, брусника,
Смолистые запахи пней.
Мне кажется: новая книга
Раскрыта искателю мне.
Ведь вечер ветвист и клетчат.
Ах, вечер, как сон в Октябре,
И сосны, как жёлтые свечи
На Божьем лесном алтаре….

В этом стихотворении Николая Заболоцкого, написанного в 1921 году видно, как поэт показывает божественное единоначалие природы. Но тем, кто знает творчество Николая Алексеевича, может показаться, что автор в своих взглядах, выраженных в стихах, больше похож на атеиста. Николай Корнеевич Чуковский, знакомый с поэтом, так писал о нем в своей книге "Литературный воспоминания":

Читать полностью »

в 21:25, , рубрики: data science, exploratory data analysis, feature engineering, machine learning, numpy, pandas, sklearn, statistics
Обезьянья предобработка данных

Обезьянья предобработка данных

Мы частенько шутим с коллегами , что любые действия можно поделить на «обезьяньи» и «smart»Читать полностью »

в 6:33, , рубрики: nlp, NLTK, pandas, python, stanford, tokenizer, говнокод, поэзия, проза, чтение

Что меня носит по свету транзитом?

Тело намаялось, сердце не сыто.

Бегство от быта — смешная защита,

всё ненасытней растут аппетиты.

Любим сквозь сито, поем через сито.

Сыты по горло — сердце не сыто.

Небо не сыто. Окошки открою —

ты прилетаешь по воздуху кролем.

Читать полностью »

в 10:15, , рубрики: api, data science, headhunter, matplotlib, pandas, python

в 13:16, , рубрики: agile, pandas, python, автоматизация, приемка, разработка, требования заказчика, трекер, управление командой, управление проектами

Привет!

Решил свою первую статью на портале сделать легкой, без залезания в дебри и диспуты. Пусть будет своего рода научпоп от менеджмента в ИТ.

Немного предыстории: где-то около года назад мы с коллегами были на загородном выезде для манагеров. В программе было обучение и брейнстормы, в перерывах и вечером - активный движ и застолья.

И вот как-то раз, после дневных учебно-мозгоштурмовых сессий народ разбредался по активностям, а я сел в лобби, достал ноут. Сижу. Подходит коллега:

— Что делаешь? Ботаешь?
— Нет, учусь.
— Что учишь?
— ООП
— А зачем?

Читать полностью »

в 12:16, , рубрики: pandas, sql, оптимизация памяти

Рассмотрим потребление оперативной памяти (RAM) при загрузке pandas DataFrame из базы данных (БД).

Для этого воспользуемся мониторингом ресурсов на базе библиотеки psutil. Мониторинг фиксирует pss («Proportional Set Size») память, т. е. физически занимаемую процессом.

Используем небольшую таблицу синтетических транзакций:

Пример данных в таблице БД

Пример данных в таблице БД

Читать полностью »

123...10...10
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js