В статье разбираются возможности распределённых вычислений в Apache Ignite 3Читать полностью »
Рубрика «distributed computing»
Распределенные вычисления в Apache Ignite 3
2025-10-09 в 10:16, admin, рубрики: apache ignite 3, colocated computations, distributed computing, in-memory database, java, MapReduce, коллокационные вычисления, распределённые вычисления
Многозадачность и многопоточность — распространенные заблуждения и недопонимания
2021-11-08 в 4:38, admin, рубрики: distributed computing, multitasking, multithreading, python, многозадачность, многопоточность, параллельное программирование, Программирование, распределённые вычисленияКогда я предложил перевести на русский мою последнюю статью Easy Concurrency with Python Shared Objects на английском, поступило предложение "написать в несколько раз короче и понятнее". Просьба более чем обоснована. Поскольку я уже порядка десяти лет пишу многопоточку и БД, то описываемые мной логические связи выглядели самоочевидно, и я ошибочно расчитывал на аудиторию из трех с половиной человек, которые сидят сейчас где-то в яндексе или гугле. Судя по всему, они там и сидят, но тема им не интересна, поскольку в питоне нет настоящих потоков, а значит для этих людей такого языка программирования не существует. Потому я немножко снижаю планку и делаю общий обзор проблематики параллельных вычислений для людей, которые в них разбираются, но не являются экспертами в области.
Из-за чего весь сыр-бор? Читать полностью »
Service Discovery в распределенных системах на примере Consul. Александр Сигачев
2020-02-10 в 7:26, admin, рубрики: architecture, consul, devops, discovery, distributed computing, kv storages, Microservices, scalability, service discovery, архитектура, децентрализованные сети, микросервисы, проектирование, распределенные системыПредлагаю ознакомиться с расшифровкой доклада Александра Сигачева Service Discovery в распределенных системах на примере Consul.
Service Discovery создан для того, чтобы с минимальными затратами можно подключить новое приложение в уже существующее наше окружение. Используя Service Discovery, мы можем максимально разделить либо контейнер в виде докера, либо виртуальный сервис от того окружения, в котором он запущен.
Линейная регрессия и методы её восстановления
2019-09-09 в 7:15, admin, рубрики: distributed computing, machine learning, math, математика, машинное обучение, распределенные системы
Источник: xkcd
Линейная регрессия является одним из базовых алгоритмов для многих областей, связанных с анализом данных. Причина этому очевидна. Это очень простой и понятный алгоритм, что способствует его широкому применению уже многие десятки, если не сотни, лет. Идея заключается в том, что мы предполагаем линейную зависимость одной переменной от набора других переменных, а потом пытаемся эту зависимость восстановить.
Но в этой статье речь пойдет не про применение линейной регрессии для решения практических задач. Здесь будут рассмотрены интересные особенности реализации распределенных алгоритмов её восстановления, с которыми мы столкнулись при написании модуля машинного обучения в Apache Ignite. Немного базовой математики, основ машинного обучения и распределенных вычислений помогут разобраться, как восстанавливать линейную регрессию, даже если данные распределены между тысячами узлов.
Читать полностью »
Прикладные технологии на руинах блокчейн-лихорадки или о практической пользе распределения ресурсов
2019-09-04 в 8:57, admin, рубрики: 3ds max, blender, CGI (графика), distributed computing, distributed video encoding, gpgpu, octane, unity, блокчейн, графика, децентрализованные сети, Облачные вычисления, Работа с 3D-графикой, распределенная архитектура, распределённые вычисления, рендерингВ последние годы новостные ленты наводнили сообщения о появляющихся буквально из ниоткуда распределенных вычислительных сетях нового типа, решающих (точнее, пытающихся решить) самые разнообразные задачи — сделать город умным, спасти мир от нарушителей авторских прав или наоборот, тайно передать информацию или ресурсы, сбежать из-под контроля государства в той или иной сфере. Вне зависимости от сферы, все они обладают рядом общих черт, обусловленных тем, что топливом для их роста явились алгоритмы и методики, вышедшие в широкие массы во время недавнего бума криптовалют и связанных с ними технологий. Наверное, каждая третья статья на профильных ресурсах в то время в названии имела слово “блокчейн” — обсуждение новых программных решений и экономических моделей некоторое время стало доминирующим трендом, на фоне которого иные сферы применения систем распределенных вычислений были отодвинуты на второй план.
В то же время визионеры и профессионалы увидели основную суть явления: массовые распределенные вычисления, связанные с построением сетей из большого числа разрозненных и разнородных участников, вышли на новый уровень развития. Достаточно выбросить из головы хайповые темы и взглянуть на предмет с другой стороны: все эти сети, собранные из огромных пулов, в которых состоят тысячи обособленных разнородных участников, появились не сами по себе. Энтузиасты крипто-движения смогли разрешить в новом ключе сложные проблемы синхронизации данных и распределения ресурсов и задач, что и позволило собрать воедино подобную массу оборудования и создать новую экосистему, предназначенную для решения одной узконаправленной задачи.
Читать полностью »
Строительные блоки распределенных приложений. Первое приближение
2019-04-04 в 9:28, admin, рубрики: actors, clustering, distributed computing, elasticity, Elixir, erlang, Erlang mi fa stare bene, Erlang/OTP, event-driven programming, fault tolerant, flexibility, functional programming, high-load, message-passing, performance, reactive programming, reliability, responsiveness, scalability, Анализ и проектирование систем, распределенные системы, функциональное программирование
В прошлой статье мы разобрали теоретические основы реактивной архитектуры. Пришло время поговорить о потоках данных, путях реализации реактивных Erlang/Elixir систем и шаблонах обмена сообщениями в них:
- Request-response
- Request-Chunked Response
- Response with Request
- Publish-subscribe
- Inverted Publish-subscribe
- Task distributionЧитать полностью »
LLTR Часть 1: Первые шаги в OMNeT++ и INET
2018-08-16 в 2:44, admin, рубрики: async, bag-animation, broadcast, c++, channel utilization, distributed computing, eclipse, eclipse cdt, ethernet, Git, INET Framework, IP-адрес, LLTR, Mesh-сети, model, net bitrate, OMNeT++, qt, queuing, simulation, tcl, tcl/tk, tcp, throughput, tk, udp, x64dbg, асинхронное программирование, асинхронность, жучки-пакетики, Какие еще добавить теги?, каналы, маска подсети, моделирование, протокол, реверс-инжиниринг, Сетевые технологии, симуляция, системное программирование, Хакерская ценностьOMNeT++ (Objective Modular Network Testbed in C++) Discrete Event Simulator – это модульная, компонентно‑ориентированная C++ библиотека и фреймворк для дискретно‑событийного моделирования, используемая прежде всего для создания симуляторов сетей. Попросту говоря это “симулятор дискретных событий”, включающий: IDE для создания моделей, и сам симулятор (GUI).
INET Framework – “библиотека” сетевых моделей для OMNeT++.
В предыдущих частях…
0. Автоматическое определение топологии сети и неуправляемые коммутаторы. Миссия невыполнима? (+ classic Habrahabr UserCSS)
В этой части:
- создадим “свой первый” протокол (на примере LLTR Basic);
- выберем подходящий симулятор сити для отладки протокола (и создания его модели);
- познаем тонкости настройки окружения для симулятора и его IDE (конфигурирование, компиляция, линковка, тюнинг, патчинг, игнорирование устаревшей документации; и другие англицизмы в большом количестве);
- столкнемся со всем, с чем можно столкнуться, при создании своей первой модели своего первого протокола в
не своемнезнакомом симуляторе сети; - пройдем весь путь вместе:
- от счастья, принесенного успешной (наконец!) компиляции первого проекта с пустой сетью,
- до полного погружения в эксперименты с функционирующей моделью протокола;
- tutorial, все описано в виде tutorial – мы будем учиться на ошибках – будем совершать их, и будем понимать их (природу), дабы элегантно/эффективно с ними справится;
- репозиторий (git
), в коммитах и тегах которого сохранены все шаги (“Add …”, “Fix …”, “Fix …”, “Modify …”, “Correct …”, …), от начала и до конца.
Note: дополнительная информация для читателей хаба “Mesh-сети”.
{ объем изображений: 2.2+(2.1) MiB; текста: 484 KiB; смайликов: 22 шт. }
2 бесплатных билета на In-Memory Computing Summit Europe
2018-06-07 в 9:56, admin, рубрики: distributed computing, gridgain, imc, Блог компании GridGain, конференции
25 и 26 июня в Лондоне пройдет второй In-Memory Computing Summit. Это единственное в Европе мероприятие, целиком посвященное технологиям вычислений в оперативной памяти. Два дня, четыре потока, технические специалисты из глобальных и европейских компаний на сцене и в зале.
Apache Kafka: обзор
2018-04-06 в 14:00, admin, рубрики: Apache, big data, distributed computing, java, Блог компании Издательский дом «Питер», высокопроизводительные вычисления, книги, потоковая передача данных, ПрограммированиеПривет!
Сегодня мы предлагаем вам сравнительно краткую, но при этом толковую и информативную статью об устройстве и вариантах применения Apache Kafka. Рассчитываем перевести и выпустить книгу Нии Нархид (Neha Narkhede) et. al до конца лета.
Приятного чтения!
Читать полностью »
Пишем небесных пчелок на Cloud Haskell
2018-03-19 в 14:19, admin, рубрики: cloud haskell, distributed computing, Erlang/OTP, functional programming, haskell, open source, Блог компании Школа GoTo, децентрализованные сети, Программирование, функциональное программирование, школа
Привет!
Прошло всего лишь каких-то 11577635 секунд с конца осенней школы GoTo в ИТМО. Неделя направления Распределённых систем началась с прототипирования распределённой системы на Cloud Haskell. Мы начали бодро и потому быстро выяснили, что существующую документацию без PhD понять сложновато — и решили написать методичку.
Под катом введение в p2p cloud haskell, немножко функционального стека прототипирования РС, мотивация и «но зачем».
Читать полностью »