За окном уже почти как 3 месяца стоит 2018 год, а это значит, что пришло время (пусть и немного запоздало) составить топ 10 ошибок, найденных анализатором PVS-Studio в C++ проектах за прошедший год. Итак, начнём!
Читать полностью »
Рубрика «clickhouse» - 6
Toп 10 ошибок в C++ проектах за 2017 год
2018-03-26 в 8:28, admin, рубрики: C, c++, clickhouse, CryEngine, CVE, freebsd, illumos-gate, mysql, notepad++, open source, pvs-studio, StarEngine, static code analysis, tizen, Unreal Engine, Блог компании PVS-Studio, ПрограммированиеСравнение открытых OLAP-систем Big Data: ClickHouse, Druid и Pinot
2018-03-23 в 12:18, admin, рубрики: big data, clickhouse, columnar database, driud, pinot, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, хранилища данныхClickHouse, Druid и Pinot — три открытых хранилища данных, которые позволяют выполнять аналитические запросы на больших объемах данных с интерактивными задержками. Эта статья — перевод подробного сравнения, выполненного Романом Левентовым.
Спойлер
| ClickHouse | Druid или Pinot |
|---|---|
| В организации есть эксперты по C++ | В организации есть эксперты по Java |
| Малый кластер | Большой кластер |
| Немного таблиц | Много таблиц |
| Один набор данных | Несколько несвязанных наборов данных |
| Таблицы и данные находятся в кластере перманентно | Таблицы и наборы данных периодически появляются в кластере и удаляются из него |
| Размер таблиц (и интенсивность запросов к ним) остается стабильным во времени | Таблицы значительно растут и сжимаются |
| Однородные запросы (их тип, размер, распределение по времени суток и т.д.) | Разнородные запросы |
| В данных есть измерение, по которому оно может быть сегментировано, и почти не выполняется запросов, которые затрагивают данные, расположенные в нескольких сегментах | Подобного измерения нет, и запросы часто затрагивают данные, расположенные во всем кластере |
| Облако не используется, кластер должен быть развернут на специфическую конфигурацию физических серверов | Кластер развернут в облаке |
| Нет существующих кластеров Hadoop или Spark | Кластеры Hadoop или Spark уже существуют и могут быть использованы |
А под катом — подробный рассказ о том, как Роман к этому пришёл.Читать полностью »
Хранение метрик: как мы перешли с Graphite+Whisper на Graphite+ClickHouse
2017-12-05 в 10:42, admin, рубрики: clickhouse, devops, graphite, monitoring, Блог компании Avito, системное администрирование, хранилища данныхВсем привет! В своей прошлой статье я писал об организации модульной системы мониторинга для микросервисной архитектуры. Ничего не стоит на месте, наш проект постоянно растёт, и количество хранимых метрик — тоже. Как мы организовали этот переход в условиях высоких нагрузок, об ожиданиях от него и результатах миграции читайте под катом.
Статические анализаторы кода на примере ClickHouse
2017-11-09 в 10:43, admin, рубрики: c++, Clang-Tidy, clickhouse, coverity, cppcheck, open source, pvs-studio, svace, Блог компании ЯндексЧуть больше месяца назад была опубликована статья, содержащая анализ исходного кода ClickHouse с помощью PVS-Studio. Статья оказалась достаточно успешной: так, ссылку на неё мне отправили по меньшей мере десять раз в день её публикации. Общий тон статьи позитивный, а посещаемость сайта clickhouse.yandex в день её выхода заметно выросла.
Я очень уважаю, когда какая-либо компания или человек делает свою работу исчерпывающим образом. Так, у PVS-Studio исчерпывающий подход к продвижению: одних только статей на Хабре 337 штук. Они проводят доклады почти на всех российских конференциях по C++. В любом случае стоит отметить: люди стараются и своим трудом приносят пользу другим людям.
Та статья пробудила в нас интерес к статическим анализаторам, и мы решили проверить работу нескольких общедоступных аналогов PVS-Studio на кодовой базе ClickHouse. В сегодняшней статье мы поделимся с вами результатами этого исследования.
Кибер-оракул: поиск аномалий в данных мониторинга с помощью нейросети
2017-11-03 в 5:27, admin, рубрики: clickhouse, TensorFlow, аномалии, Блог компании ITSumma, временной ряд, детектирование аномалий, математика, машинное обучение, нейронные сети, Серверное администрирование, системное администрированиеКоличество данных, которые получает наш мониторинг выросло настолько, что для их обработки мощности только человеческого разума уже не хватает. Поэтому мы надрессировали искусственный интеллект помогать нам искать аномалии в полученных данных. И теперь у нас есть Кибер-Оракул.
Представляем loghouse — Open Source-систему для работы с логами в Kubernetes
2017-11-01 в 8:04, admin, рубрики: clickhouse, devops, docker, fluentd, kubernetes, loghouse, open source, Блог компании Флант, системное администрирование, Флант
Обслуживая множество инсталляций Kubernetes в проектах разного масштаба, мы столкнулись с проблемой сбора и просмотра логов со всех контейнеров кластера. Изучив имеющиеся решения, пришли к необходимости создания нового — разумного в потреблении ресурсов и дискового пространства, а также предлагающего удобный интерфейс для просмотра логов в реальном времени с возможностью их фильтрации по нужным критериям.
Так родился проект loghouse, и я рад представить его альфа-версию DevOps-инженерам и системным администраторам, которым знакомы обозначенные проблемы.Читать полностью »
«Иногда приходится заглядывать в код Spark»: Александр Морозов (SEMrush) об использовании Scala, Spark и ClickHouse
2017-10-30 в 13:57, admin, рубрики: c++, clickhouse, java, scala, SEMrush, spark, Блог компании JUG.ru Group
В случае с SEMrush бессмысленно спрашивать «какие языки и технологии использует компания»: здесь каждой команде предоставляют максимальную степень автономности, сводя «общее для всех» к минимуму. А вот конкретную команду вполне есть о чём расспросить.
Мы узнали, что в одном из проектов используют Scala, C++, Spark и ClickHouse. Выбор Scala сам по себе нестандартный, сочетание с C++ можно встретить ещё реже, СУБД ClickHouse от Яндекса тоже не самый распространённый выбор — поэтому мы решили задать несколько вопросов о том, как со всем этим живётся. На них нам ответил Александр Морозов.
Читать полностью »
Автоматизация работы с Logs API в AppMetrica. Лекция в Яндексе
2017-10-15 в 12:31, admin, рубрики: android, api, appmetrica, clickhouse, docker, iOS, автоматизация, Блог компании Яндекс, выгрузка, логи, мобильная аналитика, разработка мобильных приложений, Яндекс APIДанные, которые собирает AppMetrica, можно заставить работать как угодно, а не только для аналитики. Они позволяют автоматизировать множество процессов, прямо или косвенно связанных с поведением пользователей. О том, как настроить выгрузку, что за данные можно использовать и какие подводные камни встретились при разработке Logs API, рассказал разработчик Николай Волосатов.
Golang Moscow: встреча в Avito
2017-10-12 в 9:35, admin, рубрики: clickhouse, code generation, garbage collector, gc, Go, pipeline, postgresql, Блог компании Avito, высокая производительность, Разработка веб-сайтов, системное программированиеПривет, меня зовут Илья, я работаю в Avito и хочу позвать Go-разработчиков на митап, который будет проходить в эту субботу, 14-го октября, у нас в офисе при поддержке сообщества Golang Moscow.
В этот раз главная тема митапа — пристальный разбор привычных стандартных средств Go: обсудим нюансы работы с io.Reader/io.Writer, послушаем анализ эволюции Garbage Collector от Go 1.5 до 1.9, узнаем, как можно расширять database/sql на примере работы с ClickHouse, похоливарим про кодогенерацию. Подробности по докладам и ссылка на TimePad — под катом.
Передаю привет разработчикам компании Yandex
2017-09-05 в 11:53, admin, рубрики: big data, bugs, c++, clickhouse, devops, open source, pvs-studio, secdevops, static code analyzer, Блог компании PVS-Studio, информационная безопасность, открытый исходный код, ошибки в коде, статический анализ кода, СУБД, яндекс
Приблизительно раз в полгода нам пишет кто-то из сотрудников компании Yandex, интересуется лицензированием PVS-Studio, качает триал и пропадает. Это нормально, мы привыкли к медленным процессам продажи нашего анализатора в крупные компании. Однако, раз представился повод, будет не лишним передать разработчикам Yandex привет и напомнить об инструменте PVS-Studio.
Читать полностью »