Рубрика «распределенные системы» - 3
Как построить систему, способную выдерживать нагрузку в 5 млн rps
2023-07-20 в 12:13, admin, рубрики: Go, grpc-streaming, ozon tech, Блог компании Ozon Tech, высокая производительность, распределенные системы
Основные аспекты наблюдаемости систем
2023-04-09 в 10:00, admin, рубрики: Grafana, observability, prometheus, ruvds_перевод, Блог компании RUVDS.com, высокая производительность, логирование, мониторинг систем, наблюдаемость, распределенные системы
В современной разработке ПО наблюдаемость (observability) является важнейшей концепцией, которая относится к способности получать представление о внутренних процессах сложных систем. Она подразумевает сбор данных из разных источников, таких как журналы, метрики и трейсы, с последующим их использованием для лучшего понимания функционирования системы, выявления проблем и их устранения. И в этой статье мы подробно разберём все аспекты реализации этой концепции.Читать полностью »
Сколько можно потратить на содержание собственного сервера Mastodon на AWS
2023-04-05 в 9:00, admin, рубрики: Amazon Web Services, Mastodon, open source, ruvds_перевод, Блог компании RUVDS.com, децентрализованные сети, облачные сервисы, распределенные системы, Социальные сети и сообщества
Я около месяца содержал собственный однопользовательский сервер Mastodon на AWS. В этой статье я расскажу, во сколько мне это обошлось.
Предисловие:
Для начала нужно сказать пару слов. Во-первых, я работаю на AWS в должности Solutions Architect. Однако поскольку это мой личный проект, я запустил его на своём собственном аккаунте AWS, за который плачу без скидок сотрудникам и особых условий. Все мои идеи и взгляды при создании этого проекта были моими собственными и необязательно отражают рекомендации и инструкции моего работодателя.
Кроме того, я занялся этим проектом, чтобы достичь нескольких целей. Во-первых, я просто хотел узнать о Mastodon и о том, как настроить его небольшой собственный однопользовательский инстанс. Эта статья не является руководством по управлению сервером в продакшен-среде для тысяч пользователей. Это просто моё хобби. Тем не менее, я знаю, что многих интересуют подобные вещи, поэтому надеюсь, что информация окажется полезной.
Наконец, есть несколько провайдеров хостинга, которые платно настроят и будут управлять вашим собственным сервером Mastodon. Но это совсем другое. Мой эксперимент будет сложным и запутанным, я попытаюсь пойти своим путём и буду менять маршрут так, как мне покажется нужным. Если вы просто хотите содержать собственный сервер, то, вероятно, лучше начать с провайдеров хостинга!
Читать полностью »
Через реки, через лес прямо к PowerDNS
2023-03-15 в 10:36, admin, рубрики: BGP, DNS, EDNS, high availability, maintenance, multi-dc, ozon tech, postgresql, powerdns, recursor, Блог компании Ozon Tech, распределенные системы, системное администрированиеВсем привет! Меня зовут Максим, я руководитель одной из групп эксплуатации инфраструктурных сервисов в Ozon. Наша команда занимается поддержкой и развитием нескольких базовых сервисов компании, одним из которых, по историческим причинам, является сервис разрешения доменных имен (DNS).
Как работают объектные хранилища: OpenStack Swift
2023-03-07 в 14:36, admin, рубрики: open source, openstack swift, Блог компании Selectel, объектное хранилище, отказоустойчивость, распределенные системы, хранилища данных
Неожиданный мартовский мороз ласкает щеки городских жителей, спешно марширующих вдоль проспектов по направлению к своим рабочим местам. В их головах широким спектром разливается сладкая истома — предвкушение отдыха.
Раз меньше времени работе, то больше — знаниям. Меня зовут Рома, и я работаю в объектном хранилище — самой высоконагруженной услуге Selectel. Здесь мы непрерывно трудимся над улучшением и развитием архитектуры, удовлетворяя спрос на пропускную способность, функциональность и надежность.
В первой части я поделился сложностями, которые возникают при попытке построить распределенное и отказоустойчивое хранилище для объектов. Та система, которую мы позволили себе нафантазировать, очень похожа на OpenStack Swift. С него начиналась история нашего продукта, так что мы можем не только разобрать принцип его работы «на пальцах», но и погрузиться в скрытые особенности OpenSource, которые проявляются лишь в больших масштабах.
Читать полностью »
Что такое BitTorrent v2, и что с ним произошло?
2023-02-18 в 20:23, admin, рубрики: bittorrent v2, p2p, trackers, децентрализованные сети, распределенные системы, Сетевые технологииНаверное вы слышали о новом протоколе BitTorrent v2, работа над которым велась с 2008-го года, и наделала шум с выходом второй версии популярной торрент-библиотеки Libtorrent, которой пользуются знакомые вам торрент-клиенты, такие как QBittorrent, Deluge и многие другие.
Первая полноценная бумага для стандартизации BEP0052Читать полностью »
Распределенный SQL: альтернатива шардированию баз данных
2023-02-03 в 13:00, admin, рубрики: nosql, ruvds_перевод, sql, базы данных, Блог компании RUVDS.com, распределенные системы, распределенный sql, хранение данных, шардирование
Шардирование баз данных – это процесс разделения данных на меньшие части, называемые «шарды». Эта техника обычно используется, когда возникает потребность в масштабировании записей. В течение жизненного цикла успешного приложения способность сервера его базы обрабатывать операции записи рано или поздно достигает своего предела. Деление данных на несколько шардов – с размещением каждого на собственном сервере БД – уменьшает нагрузку на отдельные узлы, по сути, повышая записывающую способность базы данных в целом. Этот процесс и является шардингом.
Распределённый SQL представляет новый способ масштабирования реляционных баз данных с помощью полностью автоматизированной и прозрачной для приложений стратегии, подобной шардингу. Распределённые БД SQL изначально спроектированы под практически линейное масштабирование. В текущей статье вы познакомитесь с основами распределённого SQL и узнаете, как начать работу с этими базами данных.Читать полностью »
VPN Gate, или — неубиваемая Великим Китайским Файрволом распределённая сеть VPN
2023-01-06 в 19:30, admin, рубрики: bittorrent, dns tunnel, gfw, icmp tunnel, openvpn, p2p, SoftEther, vpn, информационная безопасность, распределенные системы, Сетевые технологии, системное администрирование, цензураСегодня речь пойдёт о технологии распределённой сети VPN Gate, своего рода недруга Поднебесной в области интернет цензуры. На Хабре много статей на тему SoftEther VPN (нижележащий слой VPN Gate), но нет ни одной технически всесторонней статьи про саму распределённую сеть и такое чувство, что в рунете про неё вообще забыли.
VPN Gate — академический эксперимент Дайу Нобори с 2013-го года. Проект представляет собой интернет-сервис научных исследований в Высшей Школе Университета Цукуба, Япония. Цель данного исследования заключается в расширении знаний «Глобальных распределенных открытых ретрансляторов VPN».
Как работают объектные хранилища: объясняем на практике и собственных шишках
2022-12-16 в 8:27, admin, рубрики: openstack swift, Блог компании Selectel, консистентное хеширование, объектное хранилище, отказоустойчивость, распределенные системы, хранилища данныхБыть может, специфика такого хранилища прячется в задачах, которые оно решает? Сложно сказать наверняка, ведь сегодня объектные хранилища занимаются массой вещей: от раздачи статического контента до хранения бэкапов и бэкенда аналитических баз данных.
Попытки понять природу непривычных ограничений порождают лишь новые вопросы: почему можно удалять только пустой контейнер? Почему нельзя быстро перенести большой объем данных из одного контейнера в другой? Да и вообще, что это за название такое — объектные — и какая магия творится под капотом?
На связи Рома из команды объектного хранилища Selectel, и я изучил наш опыт разработки и поддержки такого продукта на протяжении 10 лет. Под катом находится первая часть истории, где я поделюсь своими открытиями о теоретической части вопроса.
Читать полностью »
Основные архитектурные шаблоны построения ПО
2022-11-18 в 13:00, admin, рубрики: ruvds_перевод, архитектурные шаблоны, Блог компании RUVDS.com, распределенные системы, Серверное администрирование, системное администрирование, шаблоны проектирования
Краткий обзор восьми наиболее востребованных архитектурных шаблонов с иллюстрациями: