Кажется, я изобрёл алгоритм, при помощи которого можно достаточно надёжно отличить авторский текст от AI‑текста.
Читать полностью »
Рубрика «graphite»
Достаточно надёжный и научно обоснованный алгоритм проверки текста на AI
2026-01-08 в 22:50, admin, рубрики: AI, common crawl, graphite, llmГрафит в наших телефонах, или как технологии превращают нас в прозрачных людей
2025-06-14 в 8:01, admin, рубрики: CitizenLab, graphite, iOSВзлом, ParagonSolutions, Spyware, zeroclick, кибербезопасность, приватность, слежка, ШпионскоеПОЕсть такая притча о человеке, который построил дом из прозрачного стекла, думая, что так он станет честнее перед миром. Но мир оказался не готов к такой честности — и дом превратился в клетку под всеобщим надзором.
Сегодня мы живем в эпоху, когда наши телефоны — эти маленькие спутники нашей повседневности — могут стать именно такими стеклянными домами. И делают их прозрачными не мы сами по доброй воле, а те, кто владеет технологиями невидимого проникновения.
Сбор статистики MTProto Proxy
2018-07-03 в 15:50, admin, рубрики: DataDog, devops, docker, Go, golang, Grafana, graphite, mtproto, MTProto Proxy, proxy, telegram, zabbix, визуализация данных, Программирование, Системы обмена сообщениямиСодержание
- Предыстория
- Сбор статистики
- Отображение статистики
- Визуализация и ведение статистики
- Развертка
- Заключение
Предыстория
Привет хабр, телеграм сейчас на пике популярности, все скандалы, интриги, блокировки вертятся вокруг него, в связи с чем телеграм выкатил свой вариант прокси под названием MTProto Proxy который призван помочь с обходом блокировки. Однако предоставленные телеграмом сервисы для мониторинга MTProto Proxy не дают возможности наблюдать статистику в реальном времени и собирать её для наблюдения за её изменениями, потому мы будем решать проблему своими силами.
Читать полностью »
Хранение метрик: как мы перешли с Graphite+Whisper на Graphite+ClickHouse
2017-12-05 в 10:42, admin, рубрики: clickhouse, devops, graphite, monitoring, Блог компании Avito, системное администрирование, хранилища данныхВсем привет! В своей прошлой статье я писал об организации модульной системы мониторинга для микросервисной архитектуры. Ничего не стоит на месте, наш проект постоянно растёт, и количество хранимых метрик — тоже. Как мы организовали этот переход в условиях высоких нагрузок, об ожиданиях от него и результатах миграции читайте под катом.
Как обложить сервис метриками и не облажаться
2017-10-31 в 7:44, admin, рубрики: devops, Grafana, graphite, Блог компании СКБ Контур, визуализация данных, метрики, Промышленное программирование, скб контурМеня зовут Евгений Жиров, я разработчик в инфраструктурной команде Контур.Экстерна. Этот пост — текстовая версия моего доклада с недавнего митапа Perm Tech Talks.
У нас в команде 200 микросервисов, которые должны быть отказоустойчивыми, чтобы пользователи не замечали никаких проблем. А проблемы, конечно, возникают. Поэтому мы собираем метрики, чтобы знать, как дела у конкретных сервисов и у системы в целом. Метрики помогают вовремя среагировать и всё починить.
Метрики можно собирать, хранить и визуализировать. И есть много способов собрать метрики неправильно, нарисовать с ошибками и сделать неверные выводы.
Я расскажу о нескольких примерах из своей работы и поделюсь советами.
Какие бывают метрики?
Метрика requests.count.byhost.*
Мониторинг как сервис: модульная система для микросервисной архитектуры
2017-08-11 в 12:50, admin, рубрики: brubeck, carbon-c-relay, clickhouse, collectd, devops, Grafana, graphite, heapster, moira, Блог компании Avito, микросервисы, системное администрирование, хранилища данныхСегодня на нашем проекте, помимо монолитного кода, функционируют десятки микросервисов. Каждый из них требует того, чтобы его мониторили. Делать это в таких объемах силами DevOps проблематично. Мы разработали систему мониторинга, которая работает как сервис для разработчиков. Они могут самостоятельно писать метрики в систему мониторинга, пользоваться ими, строить на их основании дашборды, прикручивать к ним алерты, которые будут срабатывать при достижении пороговых значений. С DevOps — только инфраструктура и документация.
Этот пост — расшифровка моего выступления с нашей секции на РИТ++. Многие просили нас сделать текстовые версии докладов оттуда. Если вы были на конференции или смотрели видео, то не найдете ничего нового. А всем остальным — добро пожаловать под кат. Расскажу, как мы пришли к такой системе, как она работает и как мы планируем её обновлять.
Читать полностью »
Обзор архитектуры и подсистем деплоя и мониторинга. Как инженеры делают систему прозрачной для разработки
2017-02-01 в 14:02, admin, рубрики: devops, graphite, puppet, rootconf, Блог компании Конференции Олега Бунина (Онтико), деплоймент, константин никифоров, Серверное администрирование, системное администрирование, метки: константин никифоров
Константин Никифоров ( melazyk )
Доклад будет про всякие секретные и не очень штуки, которые такая большая компания, как Mail.Ru, использует в мониторинге и для деплоя, и для управления конфигурацией.
Меня зовут Константин Никифоров, я являюсь руководителем группы системных администраторов в компании Mail.Ru. Наша группа занимается обслуживанием проектов target.my.com, рекламными системами Mail.Ru и проектом top.mail.ru. Все три наших проекта достаточно специфичные, потому что мы не обладаем никаким юзер контентом, мы в основном паразитируем на вас, как пользователях, и особенность наша заключается в том, что у нас очень большие PPS на фронтах, что не у многих проектов есть. Т.е. у таких проектов, как Одноклассники, как ВКонтакте, это понятно, потому что они просто огромные, у более мелких проектов такого нет. А мы размещаемся на всех вышеперечисленных и на всех страницах Mail.Ru, поэтому наш PPS еще больше, чем у этих проектов.
Читать полностью »
Визуальный мониторинг серверной инфраструктуры на базе Nagios + Grafana
2016-08-29 в 11:46, admin, рубрики: carbon, Grafana, Graphios, graphite, nagios, NRPE, Whisper, ит-инфраструктура, Серверное администрирование, метки: NRPE
Мы в Атласе любим, когда все находится под контролем. Это касается и всей серверной инфраструктуры, которая, с годами, превратилась в живой организм из многочисленных виртуальных машин, сервисов и служб. Появилась потребность наблюдать за жизненно важными аспектами IT-составляющей нашей деятельности: мониторить боевой сервер, отслеживать изменения системных ресурсов на виртуалках баз данных, следить за ходом бизнес-процессов и тд. Встал вопрос — как же этого добиться и главное какими инструментами? Стали искать какие-то готовые решения. Перепробовали кучу платных/бесплатных сервисов, которые, якобы, предоставляли бы нам "самую ценную" информацию о состоянии нашей системы. Но, в конечном итоге, все сводилось к каким-то непонятных диаграммам, схемам и цифрам, которые, по сути, для нас не имели никакой ценности.
Так мы пришли к пониманию, что надо собирать что-то самостоятельно. За основу решили взять самую гибкую и продвинутую систему, которую можно настроить для мониторинга чего и как угодно — Nagios. Настроили, поставили, работает — круто! Жаль только интерфейс сего чуда застрял где-то в середине 90-х, а нам хотелось, чтобы еще и визуальная составляющая была на уровне.
Недолгий поиск показал, что лидером среди решений по созданию красивых дашбордов является Grafana. Так и решили выводить весь наш мониторинг из Nagios на мониторах в виде красивых графиков в Grafana. Вопрос остался только в том — как их подружить друг с другом?
Установка связки Carbon + Graphite + Grafana + Nginx + MySQL для сбора и отображения метрик в Ubuntu
2016-06-06 в 15:15, admin, рубрики: carbon, Grafana, graphite, mysql, nginxХочу поделиться опытом установки и настройки сервиса для сбора и отображения метрик Graphite + Grafana.
Искал долго, читал много, нашёл 2 статьи на английском, добавил своё, в итоге получилась данная статья.
Немного предыстории..
Graphite — система для отображения метрик (числовых значений) для любых свойств сервера или домашнего ПК.
Carbon — демон/бэкенд, в который пишутся метрики.
Grafana — более красивая и удобная Web-морда для Graphite.
И так, приступим.
Moira: Realtime Alerting
2016-02-02 в 9:28, admin, рубрики: alerting, Go, graphite, moira, monitoring, python, riemann, Seyren, Блог компании СКБ Контур, Разработка под Linux, системное администрирование, метки: moira 
Контур делает несколько десятков продуктов, каждый из которых состоит из нескольких десятков микросервисов, каждый из которых запущен на десятках серверов.
Эта инфраструктура порождает метрики на всех технологических уровнях — нагрузка на железо, состояние ОС, метрики приложений. Исходные данные собираются в один большой кластер Graphite. Сейчас у нас есть миллион уникальных метрик, по которым суммарно генерируется 20 тысяч значений в секунду.
Ясно, что за миллионом метрик не уследить глазами на телевизорах и дашбордах — нужна система отправки уведомлений о нештатных ситуациях. Перед тем как написать свою систему Moira, мы использовали для этой задачи Seyren.
Читать полностью »