Рубрика «логирование»

Введение

Когда речь заходит о таких инструментах, как Airflow, MLflow или Docker, многие сразу представляют себе продакшен-среду, и новичков это может пугать. Однако на самом деле эти инструменты полезны не только в проде или крупных компаниях.

Сегодня я хочу рассказать об MLflow. Эта статья рассчитана на тех, кто только начинает свой путь в машинном обучении и обладает базовыми знаниями, а также на практикующих ученых в области ИИ, которые пока не знакомы с этим инструментом или сознательно им не пользуются. 

Читать полностью »

Привет! На связи Филипп Бочаров, руководитель платформы наблюдаемости и мониторинга для более 400 продуктов экосистемы МТС, и Юлия Тальцкова, ведущий инженер сервиса логирования и кластеров Open Search с более 400 терабайтами логов клиентов. Этот материал написан на основе нашего доклада для конференции Highload++.

Расскажем, как нам удалось переписать критичный и высоконагруженный сервис логирования, перестать просыпаться от ночных звонков и даже иногда уходить в отпуск.

Чтобы было понятнее, с какими трудностями столкнулись, поделимся некоторыми цифрами экосистемы.

Сервис логирования — это:

Логирование является одним из ключевых и важнейших элементов разработки и эксплуатации приложений. Оно дает ценную информацию всей цепочке заинтересованных лиц: от разработчиков и системных администраторов (отладка, мониторинг и т.д.) до руководителей бизнеса в целом (поведение пользователей, соблюдение нормативных требований и т.д.).

Давайте разберем, как работает де-факто стандарт логирования — модуль loggingЧитать полностью »

Логотип Pino

Логотип Pino

Логи там, логи здесь... Логи — везде. Каждое современное приложение нуждается в логировании. В каждом языке есть свои фреймворки и библиотеки для сбора логов с сервисов, но сегодня мы поговорим про JavaScript и Node.js.

В мире Node.js много различных библиотек для логирования, каждая со своими особенностями. Сегодня мы разберем библиотеку Pino,Читать полностью »

По мере того как приложение собирает все больше данных, правильное ведение журналов становится решающим фактором для быстрого и эффективного понимания общей функциональности. Это позволяет устранять проблемы до того, как они повлияют на конечных пользователей.

В этой статье мы рассмотрим лучшие практики логирования в Python. Следуя им, вы сможете обеспечить информативность, практичность и масштабируемость генерируемых логов. Давайте начнём!

readme

Если вы нашли ошибку, пожалуйста, используйте Ctrl+Enter и я исправлю. Спасибо!

Читать полностью »

Основные аспекты наблюдаемости систем - 1


В современной разработке ПО наблюдаемость (observability) является важнейшей концепцией, которая относится к способности получать представление о внутренних процессах сложных систем. Она подразумевает сбор данных из разных источников, таких как журналы, метрики и трейсы, с последующим их использованием для лучшего понимания функционирования системы, выявления проблем и их устранения. И в этой статье мы подробно разберём все аспекты реализации этой концепции.Читать полностью »

Всем привет! Меня зовут Алексей Половинкин, и я отвечаю за Python в AGIMA. За последние 2 года мне повезло запускать сразу 2 крупных MVP-проекта: классифайд автомобилей для Казахстана и проект в сфере телемедицины. За это время у меня и моей команды накопилось много опыта по запуску подобных проектов, и им хотелось бы поделиться. В этой статье рассказываю, как не допускать ошибок на этапе MVP и какие практики полезно внедрять сразу.

Читать полностью »

Сервисы падали, падают и будут падать

Когда вы быстро растете, микросервисы начинают появляться буквально по щелчку пальцев и в самых неожиданных местах. В таких условиях каждая команда обычно на ходу решает, где, как и какие логи будет складывать. Когда сначала 10, потом 20, а там и более команд логируют по-своему, начинается хаос.

Трассировка и логирование в микросервисах: как мы втаскивали единый стандарт на 30 независимых команд - 1

Например, наша команда сопровождения маркетинга в Skyeng знала: пользователь с таким-то айдишником нажал в личном кабинете кнопку «Сменить преподавателя» — постучался в наш сервис, дальше ушло три сообщения, в очереди было 2 вызова сервисов и эти сервисы ответили 200. Но на самом деле, что было у команд сопровождения учителей или биллинга, к которым мы стучались, не знал никто…

Тогда мы придумали инструмент, чтобы маркировать трафик

Читать полностью »

В Яндекс.Маркете большая микросервисная архитектура. Браузерный запрос главной страницы Маркета рождает десятки вложенных запросов в разные сервисы (бэкенды), которые разрабатываются разными людьми. В такой системе бывает сложно понять, по какой именно причине запрос упал или долго обрабатывался.

Анатолий Островский megatolya объясняет, как его команда решила эту проблему, и делится практиками, специфичными для Маркета, но в целом актуальными для любого большого сервиса. Его доклад основан на собственном опыте развёртывания нового маркетплейса в довольно сжатые сроки. Толя несколько лет руководил командой разработки интерфейсов в Маркете, а сейчас перешёл в направление беспилотных автомобилей.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js