Рубрика «clickhouse» - 5

в 8:06, , рубрики: Amazon Web Services, AWS, big data, BigData, clickhouse, devops, funcorp, redshift, Блог компании FunCorp, системное администрирование

Переход с Redshift на ClickHouse - 1

Долгое время в iFunny использовался Redshift в качестве базы данных для событий, которые происходят в сервисах бэкенда и мобильных приложениях. Его выбрали потому, что на момент внедрения, по большому счёту, не было альтернатив, сравнимых по стоимости и удобству.

Однако всё изменилось после публичного релиза ClickHouse. Мы долго его изучали, сравнивали стоимость, прикидывали примерную архитектуру и вот, наконец, этим летом решились посмотреть, насколько он нам полезен. Из этой статьи вы узнаете о том, какую проблему нам помогал решить Redshift, и как мы перенесли это решение на ClickHouse.
Читать полностью »

в 7:01, , рубрики: clickhouse, continuous integration, stream processing, Блог компании Яндекс, Разработка веб-сайтов, разработка мобильных приложений, разработка под windows

В предыдущей статье мы рассказали про перенос разработки в единый репозиторий с trunk-based подходом к разработке, с едиными системами сборки, тестирования, деплоя и мониторинга, про то, какие задачи должна решать система непрерывной интеграции для эффективной работы в таких условиях.

Сегодня мы расскажем читателям Хабра про устройство системы непрерывной интеграции.

image

Система непрерывной интеграции должна работать надежно и быстро. Система должна быстро реагировать на поступающие события и не должна вносить дополнительных задержек в процесс доставки результатов запуска тестов до пользователя. Результаты сборки и тестирования нужно доставлять до пользователя в режиме реального времени.

Читать полностью »

в 7:01, , рубрики: clickhouse, continuous integration, stream processing, Блог компании Яндекс, Разработка веб-сайтов, разработка мобильных приложений, разработка под windows

В предыдущей статье мы рассказали про перенос разработки в единый репозиторий с trunk-based подходом к разработке, с едиными системами сборки, тестирования, деплоя и мониторинга, про то, какие задачи должна решать система непрерывной интеграции для эффективной работы в таких условиях.

Сегодня мы расскажем читателям Хабра про устройство системы непрерывной интеграции.

image

Система непрерывной интеграции должна работать надежно и быстро. Система должна быстро реагировать на поступающие события и не должна вносить дополнительных задержек в процесс доставки результатов запуска тестов до пользователя. Результаты сборки и тестирования нужно доставлять до пользователя в режиме реального времени.

Читать полностью »

в 15:44, , рубрики: clickhouse, Блог компании ВКонтакте, высокая производительность, очередной велосипед, почему не kafka, Программирование

Использование ClickHouse в VK, или Зачем мы написали KittenHouse - 1 В начале года мы решили научиться хранить и читать отладочные логи ВКонтакте более эффективно, чем раньше. Отладочные логи — это, к примеру, логи конвертации видео (в основном вывод команды ffmpeg и список шагов по предварительной обработке файлов), которые иногда бывают нам нужны лишь спустя 2-3 месяца после обработки проблемного файла.

На тот момент у нас было 2 способа хранения и обработки логов — наш собственный logs engine и rsyslog, которые мы использовали параллельно. Стали рассматривать другие варианты и поняли, что нам вполне подходит ClickHouse от Яндекса — решили его внедрять.

В этой статье я расскажу о том, как мы начали использовать ClickHouse ВКонтакте, на какие грабли при этом наступили, и что такое KittenHouse и LightHouse.
Читать полностью »

в 12:49, , рубрики: clickhouse, cloud, cloud hosting, Conference, meetup, Администрирование баз данных, базы данных, Блог компании Яндекс, облако, Облачные вычисления, облачные сервисы, яндекс

Приглашаем на about:cloud — первое мероприятие про облачные технологии от команды Яндекс.Облака - 1

Встреча about:сloud — первое крупное мероприятие для широкой аудитории от команды Яндекс.Облака. Если вы интересуетесь облачными технологиями, администрируете системы и сети или разрабатываете ПО, то приходите к нам в гости! Вы сможете пообщаться с техническими руководителями всех сервисов облака, многие из которых подготовили доклады о том, как они создают платформу, и о планах на ближайшее будущее.
Читать полностью »

в 8:15, , рубрики: 2GIS, Altinity, clickhouse, Deerploy, deploy, devops, funcorp, mail.ru, mamba, meetup, Блог компании FunCorp, конференции, Серверное администрирование, системное администрирование

Видео докладов с Deerploy DevOps MeetUp - 1

29 сентября мы провели Deerploy DevOps MeetUp, а сегодня публикуем видео выступлений.

«Доставляем в Kubernetes. Непрерывно и по-своему», Евгений Дехтярёв, 2ГИС

Читать полностью »

в 13:20, , рубрики: Ansible, clickhouse, dbms, devops, devops meetup, kubernetes, paas, salt, Блог компании FunCorp, конференции, Серверное администрирование, системное администрирование

Deerploy DevOps MeetUp - 1

Мы продолжаем серию технических митапов. Следующий на очереди — Deerploy DevOps MeetUp, на котором выступят специалисты от 2ГИС, Mail.ru Group, Altinity, Мамбы, Positive Technologies и, конечно, же FunCorp. Программа под катом.Читать полностью »

в 7:54, , рубрики: clickhouse, postgresql, python

Сломал много копий в поисках решения для быстрого получения длинных историй цен для большого количества активов в Python. Ещё имел смелость желать работать с ценами в numpy-массивах, а лучше сразу в pandas.

Стандартные подходы в лоб работали разочаровывающе, что приводило к выполнению запроса к БД в течение 30 секунд и более. Не желая мириться, я нашёл несколько решений, которые полностью меня удовлетворили.
Читать полностью »

в 14:44, , рубрики: big data, clickhouse, data mining, ERC721, Ethereum, аналитика, блокчейн, визуализация данных, децентрализованные сети, Криптовалюты, миксер

По материалам моего доклада на конференции «Цифровая трансформация» в Москве 16 апреля 2018 г

Мне интересно, как работает блокчейн. Не только какие там алгоритмы, криптография, платформы и криптовалюты. Для меня блокчейн — не только технология, но и новый вид жизни, новая вселенная. Если вы в этом сомневаетесь, посмотрите на этот граф распродажи токенов Aragon:

Анализ блокчейн, или почему сломался миксер? - 1

Все эти адреса, смарт-контракты, токены постоянно взаимодействуют друг с другом, и за ними стоят действия людей, организаций и роботов. Без этого взаимодействия блокчейн и криптовалюты не имели бы никакого смысла и ценности.

Как работают бизнесы в блокчейн, что там делают люди и роботы — эти вопросы заставили меня заняться исследованием блокчейна.

Читать полностью »

в 17:07, , рубрики: clickhouse, CockroachDB, devconf, mysql, oracle, postgresql, tarantool, Блог компании DevConf, высокая производительность

DevConf 2018 уже на следующей неделе! В прошлом году Юрий Насретдинов провел интересный обзор перспективных систем хранения данных для highload. Видео с докладом доступно на странице доклада. А для хабра-читателей предлагаю краткий пересказ.

DevConf: перспективные базы данных для highload - 1

В начале расскажу как нужно подходить к выбору технологии для highload-проекта.

  • В первую очередь, должно быть понимание как оно работает. Не только сильные, но и слабые стороны.
  • Знание как это мониторить и бэкапить. Без хороших инструментов для этого, эту технологию рано использовать в продакшене.
  • Рано или поздно системы «падают»(это нормальная, штатная ситуация) и нужно знать что делать в этом случае.

Читать полностью »

1...456...8
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js