Рубрика «репликация»
Нужна ли вашей распределённой СУБД византийская отказоустойчивость?
2026-09-17 в 5:44, admin, рубрики: BFT, cft, Valkey, базы данных, кворум, консенсус, распределенные системы, репликация, ретроспектива, СУБД
Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB и перестать считать подключения к шардам
2026-02-27 в 8:31, admin, рубрики: highload, postgresql, ydb, репликация, шардирование
Привет! Меня зовут Игорь Березняк, и мы с командой делаем Техплатформу Городских сервисов Яндекса. Я уже Читать полностью »
Как обновить PostgreSQL и не потерять данные: метод минимизации простоя
2024-12-17 в 6:00, admin, рубрики: devops, logical replication, postgres, postgresql, replication, логическая репликация, репликация, репликация баз данных, физическая репликацияПривет! Я Тимур Низамутдинов, DevOps-инженер компании «Флант». Недавно мне потребовалось обновить кластер PostgreSQL, который обрабатывает более 20 000 транзакций в секунду и состоит из мастера и реплики, с версии 13 до 16 с минимальным простоем. Помимо перехода на более актуальную версию, это решало и ряд существующих проблем, связанных с производительностью и поддержкой.
Объяснение Kafka на примерах из Factorio
2021-11-26 в 9:34, admin, рубрики: factorio, HTTP-вызовы, miran, Блог компании Дата-центр «Миран», дата-центр Миран, закон убывающей отдачи, Игры и игровые консоли, конвейер, масштабирование, микросервисы, репликация, системное администрирование, хранилища данных
Если у вас мало свободного времени, не скачивайте Factorio
Для тех, кто в последние годы путешествовал за пределами цивилизации, на всякий случай поясню: Factorio — это стратегия реального времени с открытым миром, где вы строите и оптимизируете цепочки поставок, чтобы запустить спутник и восстановить связь с родной планетой, а Kafka — это распределённая платформа потоковой передачи событий, которая обрабатывает асинхронные коммуникации надёжным способом.
Если человек вообще никогда не работал с потоковой платформой, то ему станет всё понятно на примерах из игры. Что ж, давайте начнём с нуля, изучим основные концепции Kafka — и немного повеселимся.
Читать полностью »
Базы данных: большой обзор типов и подходов. Доклад Яндекса
2020-10-06 в 7:59, admin, рубрики: acid, key-value storage, sql, Администрирование баз данных, Анализ и проектирование систем, Блог компании Яндекс, графовые базы данных, денормализация, индексы, нереляционные базы данных, нормализация, реляционные базы данных, репликация, хранение данных, шардингЭто конспект лекции Татьяны Денисовой — бэкенд-разработчика в Яндекс.Учебнике. Вы узнаете, какие бывают базы данных, какие их особенности важно помнить, как в работе с данными учитывать характеристики системы и планы масштабирования, в какую из тем нужно углубиться для решения конкретной задачи. А также как при возникновении багов определить, является ли работа с БД источником проблемы (и если да, то в какую сторону копать).
— О чем именно мы будем говорить? Не о примитивных селектах и джойнах — о них, я думаю, большинство из вас уже знает.
Читать полностью »
Основы ZFS: система хранения и производительность
2020-05-31 в 16:34, admin, рубрики: ARC, ashift, copy-on-write, jbod, LRU, raid0, Rsync, Samsung EVO, vdev, zfs, zpool, репликация, системное программирование, файловая система, хранение данных
Этой весной мы уже обсудили некоторые вводные темы, например, как проверить скорость ваших дисков и что такое RAID. Во второй из них мы даже пообещали продолжить изучение производительности различных многодисковых топологий в ZFS. Это файловая система следующего поколения, которая сейчас внедряется повсюду: от Apple до Ubuntu.
Читать полностью »
Почему может понадобится полусинхронная репликация?
2020-03-06 в 12:37, admin, рубрики: db, highload, web-разработка, база данных, Блог компании OTUS. Онлайн-образование, высокая нагрузка, высокая производительность, высоконагруженные системы, кластер, масштабирование, Промышленное программирование, Разработка веб-сайтов, распределенные системы, репликация, репликация базы данныхВсем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.
Введение
Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.
На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.Читать полностью »
«Загляните, это нечто»: саморепликация искусственной ДНК
2020-02-21 в 7:50, admin, рубрики: бактерии, Биотехнологии, Блог компании ua-hosting.company, будущее здесь, генетика, генная инженерия, геном, гены, днк, искусственная жизнь, кишечная палочка, Научно-популярное, репликация, РНК, создание жизни, Читальный зал
Одной из основных отличительных черт любого живого организма является способность к сохранению и воспроизведению необходимой информации для создания себе подобных. В первую очередь это проявляется в репликации ДНК, когда из одной родительской ДНК появляется пара дочерних, являющихся точной копией своего прародителя. В природе этот процесс наблюдается повсеместно, однако воссоздать его в лабораторных условиях с нуля крайне сложно, тем не менее, вполне реально.
Ученые из института биохимии им. Макса Планка (Германия) успешно создали биологическую систему, которая обладает способностью к репликации собственного ДНК. Какие методики были применены для создания синтетического реплицирующего ДНК, насколько эффективна полученная система и что данное открытие значит для современной синтетической биологии? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.Читать полностью »
Архитектура AERODISK vAIR или особенности национального кластеростроения
2019-11-11 в 2:00, admin, рубрики: Aerodisk, erasure codes, Erasure Coding, HCI, high availability, hyperconverged, hyperconverged cluster, IOPS, linux, replication, SAN, scale-out, storage, Блог компании AERODISK, гиперконвергентная система, гиперконвергентность, гиперконвергентные платформы, гиперконвергентные системы, гиперконвергенция, импортозамещение, отказоустойчивость, репликация, российское оборудование, Серверное администрирование, система хранения данных, системное администрирование, СХД, хранение данных, хранилища данных
Привет, Хабровчане! Мы продолжаем знакомить вас с российской гиперконвергентной системой AERODISK vAIR. В этой статье речь пойдет об архитектуре данной системы. В прошлой статье мы разобрали нашу файловую систему ARDFS, а в данной статье пройдёмся по всем основным программным компонентам, из которых состоит vAIR, и по их задачам.
Почему DFSR не реплицирует некоторые файлы и как с этим бороться
2019-07-06 в 15:30, admin, рубрики: dfs, DFSR, distributed file system, file server, powershell, replication, temporary attribute, Windows Server, временный атрибут, репликация, Серверная оптимизация, Серверное администрирование, системное администрирование, файловый сервер
Как многим известно, в свойствах реплицируемых папок можно настроить исключения в виде масок файлов — и тогда служба не будет реплицировать файлы, соответствующие заданным маскам. Но не все знают, что у файлов есть атрибут «временный», и DFSR не обрабатывает такие файлы by design. И если это не учесть, то может случиться так, что содержимое ваших DFSR-папок станет рассинхронизированным, хотя в логах службы всё будет чисто и красиво, и всплыть это может в самый неподходящий момент. Сама проблема и ее решение уже не раз разбирались в интернете, цель же этой статьи — доработать созданное ранее решение, добавив ему гибкости и удобства. Для кого актуально — прошу под кат.
Читать полностью »