Во время моего первого опыта работы с распределенными системами я постоянно сталкивался с некой CAP-теоремой, пришлось изрядно покопать, чтобы изучить и осознать её со всех сторон. Я не являюсь мастером баз данных, но надеюсь, что мое маленькое исследование мира распределённых систем будет полезно для обычных разработчиков. В статье я расскажу о том, что такое CAP, его проблемы и альтернативы, а также рассмотрим некоторые популярные системы баз данных через CAP призму.
Читать полностью »
Рубрика «nosql» - 10
Всё, что вы не знали о CAP теореме
2017-05-16 в 11:28, admin, рубрики: acid, base, cap, cassandra, mongodb, nosql, pacelc, postgresql, Анализ и проектирование систем, архитектура, базы данных, проектирование, проектирование баз данных, распределенные системыДля чего нужен Apache Ignite – GridGain, на примере .NET & C#
2017-05-16 в 10:49, admin, рубрики: .net, Apache, big data, BigData, gridgain, Ignite, java, MapReduce, Microservices, nosql, sqlВ последнее время имена GridGain и Apache Ignite нередко мелькают в интернетах. Однако, судя по комментариям (например, здесь), мало кто понимает, что же это за продукт и с чем его едят.
В этой статье я попытаюсь доступным языком объяснить, и на примерах кода показать, что умеет Apache Ignite.
Анализ комуникации из Tor сети в инфраструктуру с помощью ELK стека
2017-05-15 в 5:33, admin, рубрики: elasticsearch, elk, netflow, nosql, python, Tor, информационная безопасностьElasticSeach достаточно гибкая платформа, и полученные в него данные можно обрабатывать многими способами, даже за пределами стека ELK. Для этого предоставлено более десятка различных API. Но для многих задач будет достаточно и возможностей Kibana.
Одной из таких я хотел бы поделиться с сообществом. Для меня, как и любого безопасника, важно видеть и понимать коммуникацию своей инфраструктуры с внешним миром. Одной из самых интересных является коммуникация с луковой сетью (Tor).
Профилирование и оптимизация символьных вычислений для будущего сервера
2017-05-07 в 12:37, admin, рубрики: cloudpickle, deserialization, dill, nosql, performance optimization, performance tests, pickle, python, python3, redis, serialization, sympy, высокая производительность, ПрограммированиеПривет! Сегодня хочу поделиться своим небольшим опытом выбора инструментов для организации расчетов на будущем сервере. Отмечу сразу, что в этой публикации речь пойдет не о самом сервере, а скорее об оптимизации символьных вычислений на нем.
Задача
Есть некий функционал, который позволяет пользователям формировать нередко громоздкие формулы следующего общего вида, по которым в дальнейшем необходимо рассчитывать запросы других пользователей.Читать полностью »
Часть 3. Где хранить данные децентрализованным приложениям на блокчейне?
2017-05-04 в 10:51, admin, рубрики: big data, blockchain, byzantine fault tolerance, cassandra, elassandra, elasticsearch, Ethereum, nosql, open source, Анализ и проектирование систем, базы данных, блокчейн, децентрализация, децентрализованные сети, концепт, криптография, мотивация, хранение данных, хранилище данныхВ первой части статьи мы обнаружили проблемы с хранением данных приложений в блокчейне. Во второй части мы описали требования к хранилищу данных и рассмотрели, насколько существующие реализации отвечают этим требованиям. Результаты были неутешительные — удовлетворительной реализации не нашлось. В данной части мы предложим концепцию децентрализованного хранилища данных, которое удовлетворяет поставленным требованиям. Разумеется, для более глубокого понимания сути происходящего рекомендуется просмотреть две предыдущие части.
Читать полностью »
Часть 1. Где хранить данные децентрализованным приложениям на блокчейне?
2017-05-02 в 19:46, admin, рубрики: big data, bitcoin, blockchain, cryptocurrency, data storage, decentralization, decentralized systems, Ethereum, nosql, open source, smart contracts, Анализ и проектирование систем, базы данных, криптографияСейчас наблюдается бум блокчейн проектов. Некоторые блокчейны насколько мощные, что являются платформой для написания приложений. Приложения автоматически получаются децентрализованными, устойчивыми к цензуре и блокировке. Но действительно ли всё так хорошо и просто? В данной статье мы постараемся посмотреть на блокчейн как платформу для приложений, сняв розовые очки.
Читать полностью »
DeclarativeCOS — Декларативное программирование на Caché
2017-04-24 в 8:45, admin, рубрики: cache objectscript, cos, creative, declarative, intersystems cache, nosql, open source, programming, programming art, Блог компании InterSystems, Программирование, Проектирование и рефакторингПроект DeclarativeCOS — крик души по теме программирования на COS.
Цель проекта — обратить внимание сообщества к улучшению внутреннего ядра COS.
Идея проекта — поддержка лаконичного синтаксиса при работе с циклами и коллекциями.
Итак, что же лаконичного я придумал? Добро пожаловать в примеры!Читать полностью »
Лекции Технотрека. Проектирование СУБД (осень 2016)
2017-04-12 в 10:42, admin, рубрики: mail.ru, nosql, postgresql, sql, Анализ и проектирование систем, Блог компании Mail.Ru Group, СУБД, технотрек, метки: технотрек
Продолжаем публикацию наших образовательных материалов. Этот курс посвящен изучению основ языка SQL с учетом особенностей объектно-реляционной базы данных PostgreSQL. Программа предусматривает комплексный подход к изучению стандартизованного языка SQL на платформе PostgreSQL, включая некоторые минимальные возможности администрирования пользователей, ролей, схем, базовых таблиц и других объектов базы данных. Мы рассмотрим основы работы с базой данных PostgreSQL и некоторые особенности SQL применительно к ней. Более подробно — под катом.
SQL или NoSQL — вот в чём вопрос
2017-03-27 в 11:15, admin, рубрики: nosql, sql, Администрирование баз данных, базы данных, Блог компании RUVDS.comВсе мы знаем, что в мире технологий баз данных существует два основных направления: SQL и NoSQL, реляционные и нереляционные базы данных. Различия между ними заключаются в том, как они спроектированы, какие типы данных поддерживают, как хранят информацию.
Реляционные БД хранят структурированные данные, которые обычно представляют объекты реального мира. Скажем, это могут быть сведения о человеке, или о содержимом корзины для товаров в магазине, сгруппированные в таблицах, формат которых задан на этапе проектирования хранилища.
Нереляционные БД устроены иначе. Например, документо-ориентированные базы хранят информацию в виде иерархических структур данных. Речь может идти об объектах с произвольным набором атрибутов. То, что в реляционной БД будет разбито на несколько взаимосвязанных таблиц, в нереляционной может храниться в виде целостной сущности.
Внутреннее устройство различных систем управления базами данных влияет на особенности работы с ними. Например, нереляционные базы лучше поддаются масштабированию.
Какую технологию выбрать? Ответ на этот вопрос зависит от особенностей проекта, о котором идёт речь.
Читать полностью »
Badoo time-series storage: итак, она звалась Кассандрой
2017-03-22 в 9:15, admin, рубрики: apache cassandra, nosql, rrdtool, time series, Блог компании Badoo, высокая производительность, Программирование
Привет! Меня зовут Евгений Гугучкин, я – разработчик Badoo в команде «Платформа».
Наша команда работает над интересными и нужными задачами. Одна из них – разработка распределённого хранилища временных рядов, в решении которой я принимал непосредственное участие.
Недавно мы завершили большой и сложный этап, и нам захотелось поделится с вами нашими успехами, рассказать, почему мы занимались этой задачей и каких достигли результатов.