В предыдущей статье о Vinyl я рассказывал об архитектуре LSM-движка Tarantool. Восемь лет, прошедшие с момента с написания статьи, показали, что Vinyl сразу получился идеальным и менять его не нужно :). Если серьёзно, сегодня я расскажу о тех изменениях, которые мы внесли в алгоритм в форке Tarantool от Picodata, и неизбежно коснусь более глубокой проблематики работы LSM-деревьев, а конкретнее – работы планировщика слияний (compaction scheduler).
Рубрика «tarantool»
Как мы пересобрали сборку мусора в Vinyl
2026-04-09 в 8:23, admin, рубрики: Compaction, LSM tree, LSM-дерево, picodata, tarantool, vinyl
LuaJIT: что делает его таким производительным и почему вам стоит его попробовать
2025-07-28 в 8:04, admin, рубрики: Lua, luajit, tarantool, vk cloud, vk tech
Yet Another Key-Value Storage на основе Tarantool 3.x
2025-06-21 в 16:16, admin, рубрики: key-value storage, Lua, tarantoolНа Хабре уже опубликовано множество статей о платформе Tarantool. Например, есть обзорные материалы о создании key-value хранилищ, но они редко углубляются в детали реализации. Также доступны практические примеры, такие как реализация key-value хранилища на Tarantool 2.x с использованием фреймворка Cartridge и Docker Compose. Однако эти примеры не раскрывают внутренней логики работы приложения.
Цель этой статьи — продемонстрировать процесс создания простого key-valueЧитать полностью »
Как организовать анализ большого объема данных в реальном времени
2024-08-01 в 11:13, admin, рубрики: olap, oltp, tarantool, tarantool column store, архитектура, отказоустойчивость
С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем.
Go Tarantool: как построить Key-value-хранилище на сотни тысяч запросов в секунду
2024-07-19 в 10:24, admin, рубрики: tarantool, архитектура, отказоустойчивость
С увеличением сложности ИТ-систем все больше становится очевидной ограниченность привычных реализаций с простой архитектурой компонентов. Особенно это заметно в случае систем, которые должны стабильно работать с большими и интенсивными нагрузками.
FUSE: как написать свою файловую систему
2024-06-20 в 14:09, admin, рубрики: filesystem, filesystems, fuse, inode, tarantool, Программирование, разработка, Си, файловая система, файловые системыМеня зовут Максим, я ведущий разработчик в VK. Занимаюсь инфраструктурой доставки электронной почты в проекте Mail.ru. Наша команда разработала и довела до эксплуатации файловую систему (ФС) на FUSE в рамках проекта распределённой почтовой очереди. В проекте требовалось реализовать сетевую ФС, которая сохраняет данные в трёх копиях, в разных ЦОДах. Цель — повысить отказоустойчивость, чтобы полный выход из строя одного ЦОД не приводил к нарушениям SLA. Эта статья для всех, кто интересуется файловыми системами и хранением данных. Мы обсудим:
-
зачем писать свою ФС;
Когда мы видим в сети сообщение о выходе новой версии того или иного продукта, это, как правило, скучно. Ченджлог описывает лишь перечень изменений, а вот зачем и для чего они, понятно не всегда.
В этой статье я попытаюсь рассказать о том новом, что появится в Tarantool 3.0, не простым перечислением изменений, а описывая проблемы, которые мы пытались решить. В таком ключе это может быть интересно и тем, кто не собирается устанавливать Tarantool, — просто с технической точки зрения.
Читать полностью »
Отказоустойчивая архитектура: почему Tarantool не падает?
2023-10-24 в 9:01, admin, рубрики: tarantool, архитектура, отказоустойчивость
Основная проблема в высоконагруженных приложениях — отказоустойчивость. Нагрузка с упавших узлов в кластере должна переключаться на живые. Это кажется несложной задачей, но на практике появляется много подводных камней. Мы с yngvar_antonsson потратили много времени на поддержку различных кластеров, построенных на Tarantool и наших кластерных фреймворках Cartridge и TDG, и сегодня расскажем вам, как обеспечивается отказоустойчивость в наших приложениях. Будет интересно всем, кто хочет подробнее узнать, как устроен фейловер в Cartridge, и тем, кто хочет узнать о нашем опыте создания автоматических фейловеров.
Читать полностью »
Как мы сжимаем данные в больших проектах
2022-06-22 в 10:15, admin, рубрики: tarantool, tarantool cartridge, Администрирование баз данных, Блог компании VK, высокая производительность, кластер, распределенные системы, сжатие данных
Привет! Меня зовут Александр Кленов, и я работаю в Tarantool. В апреле вышел Tarantool 2.10 Enterprise Edition – обновленная версия платформы in-memory вычислений. В версии 2.10 появилось несколько новых функций, о которых уже немного рассказывали на Хабре.