Рубрика «Apache Airflow»
Как поменять архитектуру облака и не поломать пользовательский опыт
2021-09-03 в 8:42, admin, рубрики: Apache, Apache Airflow, devops, архитектура приложений, архитектура системы, Блог компании Selectel, Блог компании Конференции Олега Бунина (Онтико), облака, облачные сервисы, облачные технологии, облачный сервис, цод
ETL процесс получения данных из электронной почты в Apache Airflow
2020-04-04 в 15:19, admin, рубрики: Apache Airflow, data engineering, etl, python
Как бы сильно не развивались технологии, за развитием всегда тянется вереница устаревших подходов. Это может быть обусловлено плавным переходом, человеческим фактором, технологическими необходимостями или чем-то другим. В области обработки данных наиболее показательными в этой части являются источники данных. Как бы мы не мечтали от этого избавиться, но пока часть данных пересылается в мессенджерах и электронных письмах, не говоря и про более архаичные форматы. Приглашаю под кат разобрать один из вариантов для Apache Airflow, иллюстрирующий, как можно забирать данные из электронных писем.