Мониторинг выполнения задач в IPython Notebook

в 18:22, , рубрики: ipython, jupyter, python, метки: ,

Хотел бы поделиться простым, но полезным инструментом. Когда много работаешь с данными, часто возникают примитивные, но долгие операции, например: «скачать 10 000 урлов», «прочитать файл на 2Гб, и что-то сделать с каждой строчкой», «распарсить 10 000 html-файлов и достать заголовки». Долго смотреть в зависший терминал тревожно, поэтому долгое время я использовал следующий гениальный код:

def log_progress(sequence, every=10):
    for index, item in enumerate(sequence):
        if index % every == 0:
            print >>sys.stderr, index,
        yield item

Мониторинг выполнения задач в IPython Notebook - 1

Эта функция прекрасна, больше года она кочевала у меня из задачи в задачу. Но недавно я заметил в стандартной поставке Jupyter виджет IntProgress и понял, что пора что-то менять:
Мониторинг выполнения задач в IPython Notebook - 2

У логирования в stderr есть три небольшие проблемы:

  1. Это некрасиво. Очевидно.
  2. Иногда это взрывает буфер.
    Мониторинг выполнения задач в IPython Notebook - 3
  3. Иногда кто-то ещё пишет в stderr или stdout.
    Мониторинг выполнения задач в IPython Notebook - 4

Как и многие люди, которые работают с данными, я фанат Jupyter. Большую часть времени провожу там. Поэтому могу позволить себе следующее, несовместимое с другими средами, решение:

def log_progress(sequence, every=10):
    from ipywidgets import IntProgress
    from IPython.display import display

    progress = IntProgress(min=0, max=len(sequence), value=0)
    display(progress)
    
    for index, record in enumerate(sequence):
        if index % every == 0:
            progress.value = index
        yield record

Мониторинг выполнения задач в IPython Notebook - 5

Всё то же самое, только счётчик выводится не в stderr, а в специальный виджет. Очень просто и удобно. Для тех, кто тоже подсел на Jupyter, я выложил немного улучшенную версию на Гитхаб github.com/alexanderkuk/log-progress. Модуль распространяется копипейстом. Пользуйтесь на здоровье.

Улучшенная версия выводит кроме полоски ещё и счётчик. И меняет цвет в зависимости от того успешно завершилась операция или нет:
Мониторинг выполнения задач в IPython Notebook - 6
Мониторинг выполнения задач в IPython Notebook - 7

Поддерживает итераторы:
Мониторинг выполнения задач в IPython Notebook - 8

Естественно, в одной ячейке может быть несколько прогресс баров:
Мониторинг выполнения задач в IPython Notebook - 9
Мониторинг выполнения задач в IPython Notebook - 10

И они даже могут работать из разных тредов:
Мониторинг выполнения задач в IPython Notebook - 11

Короче, ещё раз ссылка на код github.com/alexanderkuk/log-progress.

Автор: alexkuku

Источник

Поделиться новостью

* - обязательные к заполнению поля