Еще одна реализация Обработки Данных

в 11:16, , рубрики: angular, celery, django, open source, Open Source Software, postgresql, python, python3

Представьте себе инструмент, с помощью которого вы можете трансформировать любые данные в… любые данные.

Самый доступный пример — Изображения. Что если я хочу получить картинку определенного размера и поставить где-нибудь водяную марку (тоже определенного размера).

И вот один из примеров как это может выглядеть:

image

P.S.: Это обзорная статья, если будет интересно, дальше опишу подходы детальнее.

Мотивация

Недавно, в ноябре 2018, мне нужно было изменить размер фотографии…

Онлайн сервисы из-за своих «особенностей» ( реклама, странный интерфейс и тд ) сделали этот процесс максимально мучительным.

Стандартные средства Windows 10 мне показались не очевидными. Пришлось скачать GIMP и оттуда сделать все что было надо — изменить размер фотографии.

В свое оправдание:

  1. Время возникновения проблемы ~1AM ( час ночи )
  2. Рабочего ноута под рукой не было
  3. Windows дома только для игр. Сейчас иногда пишу код с apple клавиатурой

Еще одна реализация Обработки Данных - 2

И тут очередной программист решил создать еще один кост… Инструмент.

Требования

Этот Инструмент должен быть всем костылям костыль:

  1. Простой UI
  2. Простой API
  3. Удобная организация сущностей проекта
  4. Минимум кнопок и настроек
  5. Возможность имплементировать свои… «стандарты»
  6. Open Source: Backend и Frontend

И главное — пользоваться этим должны иметь возможность все, кто понимают чего они хотят.

Несколько возможных последовательностей:

  1. Картинка, Картинка поменьше, Фильтр
  2. Скачать содержимое URL, оставить только полезный Контент, Оставить только текст
  3. Скачать картинку, определить что на ней есть какой-нибудь предмет ( template matching )

Еще одна реализация Обработки Данных - 3

Имплементация

Недавно на Хабре читал До микросервисов нужно дорасти... и решил последовать этому. Уже были пару попыток сделать такую штуку через «красивые» ( в моем воображении ) структуры: каждая функция ( вроде template_match, md5 ) как микросервис, оптимизированный для решения своей задачи. В итоге к этому все и придет, но не сегодня :)

Итого имеются:

  1. Frontend без красивых обоев
  2. Backend API
  3. Celery ( в локальной разработке использую Redis, а в тесте и проде RabbitMQ )
  4. Backend Workers

Скажу сразу: я очень посредственно знаком с Frontend, однако, спасибо Stackoverflow и Google поиску.

Еще одна реализация Обработки Данных - 4

Больше примеров

Все примеры можно найти здесь, они объединены в «проекты».

Один из них: извлечение текста из HTML страницы

Еще одна реализация Обработки Данных - 5

Внимание: сайт работает в режиме read-only, но результат вам вернет. Он не сможет сохранить ваши изменения на Project и Pipeline.

Небольшие пояснения

Список того, что может трансформировать данные: здесь

Чем этот Проект не является:

  1. Хранилищем данных
  2. Майнером биткоинов

Проект очень похож на:

  1. Zapier
  2. Яндекс Нирвана
  3. Parse.com (пару лет как выкуплен Facebook )

Автор: andrey665

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js