В статье разбираются возможности распределённых вычислений в Apache Ignite 3Читать полностью »
Рубрика «распределённые вычисления»
Распределенные вычисления в Apache Ignite 3
2025-10-09 в 10:16, admin, рубрики: apache ignite 3, colocated computations, distributed computing, in-memory database, java, MapReduce, коллокационные вычисления, распределённые вычисления
Мал золотник, да дорог: ученые из НИТУ «МИСиС» предлагают создать облачный супер-ПК из миллионов смартфонов
2022-02-08 в 23:49, admin, рубрики: Блог компании Selectel, высокая производительность, гаджеты, облака, облачная инфраструктура, Облачные вычисления, распределённые вычисления
В идее распределенных вычислительных систем нет ничего нового. Идея реализована уже давно, плюс примеров таких реализаций множество, включая SETI, Folding@Home и другие. Идея в том, что специальное программное обеспечение использует незадействованные ресурсы локальных систем — например, ноутбуков и ПК, направляя их на выполнение полезных задач. Ну да, это может быть поиск сигналов внеземного происхождения или разных форм белка.
Но обычно такие системы и составляются из ноутбуков или десктопных ПК. А что, если задействовать ресурсы смартфонов или планшетов? Эта идея тоже не новая, но сейчас ее реализацией занялись российские ученые — специалисты из МИСиС.
Читать полностью »
Анти–Тьюринг
2021-12-04 в 4:31, admin, рубрики: Erlang/OTP, гонка данных, параллельное программирование, польская запись, распределённые вычисления, функциональное программированиеВ.А.Крюков
Догмы спокойного прошлого не годятся для бурного настоящего.
А. Линкольн
Введение
«Предлагаемый труд вовсе не есть плод какого–нибудь «внутреннего побуждения»[1]Читать полностью »
Многозадачность и многопоточность — распространенные заблуждения и недопонимания
2021-11-08 в 4:38, admin, рубрики: distributed computing, multitasking, multithreading, python, многозадачность, многопоточность, параллельное программирование, Программирование, распределённые вычисленияКогда я предложил перевести на русский мою последнюю статью Easy Concurrency with Python Shared Objects на английском, поступило предложение "написать в несколько раз короче и понятнее". Просьба более чем обоснована. Поскольку я уже порядка десяти лет пишу многопоточку и БД, то описываемые мной логические связи выглядели самоочевидно, и я ошибочно расчитывал на аудиторию из трех с половиной человек, которые сидят сейчас где-то в яндексе или гугле. Судя по всему, они там и сидят, но тема им не интересна, поскольку в питоне нет настоящих потоков, а значит для этих людей такого языка программирования не существует. Потому я немножко снижаю планку и делаю общий обзор проблематики параллельных вычислений для людей, которые в них разбираются, но не являются экспертами в области.
Из-за чего весь сыр-бор? Читать полностью »
Решение задачи числа 42 с помощью планетарного суперкомпьютера
2019-09-16 в 4:45, admin, рубрики: 42, математика, Научно-популярное, ответ на вопрос жизни, распределённые вычисления, сумма кубов, суперкомпьютеры
Математикам наконец-то удалось найти три куба чисел, сумма которых равна 42. Так была решена задача, над которой ломали голову целых 65 лет: можно ли каждое из натуральных чисел от 1 до 100 выразить как сумму трёх кубов?
Задача, сформулированная в 1954 году, заключается именно в этом: x3+y3+z3=k. K — это каждое из чисел от 1 до 100; вопрос в том, каковы x, y и z?
За прошедшие десятилетия были найдены решения для самых лёгких чисел. В 2000 году математик Ноам Элкис из Гарвардского университета опубликовал алгоритм, упрощающий поиск решений для более сложных чисел.
На текущий год оставались только два самых сложных числа: 33 и 42.
Читать полностью »
Прикладные технологии на руинах блокчейн-лихорадки или о практической пользе распределения ресурсов
2019-09-04 в 8:57, admin, рубрики: 3ds max, blender, CGI (графика), distributed computing, distributed video encoding, gpgpu, octane, unity, блокчейн, графика, децентрализованные сети, Облачные вычисления, Работа с 3D-графикой, распределенная архитектура, распределённые вычисления, рендерингВ последние годы новостные ленты наводнили сообщения о появляющихся буквально из ниоткуда распределенных вычислительных сетях нового типа, решающих (точнее, пытающихся решить) самые разнообразные задачи — сделать город умным, спасти мир от нарушителей авторских прав или наоборот, тайно передать информацию или ресурсы, сбежать из-под контроля государства в той или иной сфере. Вне зависимости от сферы, все они обладают рядом общих черт, обусловленных тем, что топливом для их роста явились алгоритмы и методики, вышедшие в широкие массы во время недавнего бума криптовалют и связанных с ними технологий. Наверное, каждая третья статья на профильных ресурсах в то время в названии имела слово “блокчейн” — обсуждение новых программных решений и экономических моделей некоторое время стало доминирующим трендом, на фоне которого иные сферы применения систем распределенных вычислений были отодвинуты на второй план.
В то же время визионеры и профессионалы увидели основную суть явления: массовые распределенные вычисления, связанные с построением сетей из большого числа разрозненных и разнородных участников, вышли на новый уровень развития. Достаточно выбросить из головы хайповые темы и взглянуть на предмет с другой стороны: все эти сети, собранные из огромных пулов, в которых состоят тысячи обособленных разнородных участников, появились не сами по себе. Энтузиасты крипто-движения смогли разрешить в новом ключе сложные проблемы синхронизации данных и распределения ресурсов и задач, что и позволило собрать воедино подобную массу оборудования и создать новую экосистему, предназначенную для решения одной узконаправленной задачи.
Читать полностью »
Кот Шрёдингера без коробки: проблема консенсуса в распределённых системах
2019-08-19 в 15:24, admin, рубрики: Dodo IS, dodopizzaengineering, paxos, Алгоритмы, Анализ и проектирование систем, асинхронная модель, Блог компании Dodo Pizza Engineering, консенсус, математика, распределённые вычисления, распределенные системыИтак, представим. В комнате заперты 5 котов, и чтобы пойти разбудить хозяина им необходимо всем вместе договориться между собой об этом, ведь дверь они могут открыть только впятером навалившись на неё. Если один из котов – кот Шрёдингера, а остальные коты не знают о его решении, возникает вопрос: «Как они могут это сделать?»
В этой статье я простым языком расскажу вам о теоретической составляющей мира распределённых систем и принципах их работы. А также поверхностно рассмотрю главную идею, лежащую в основе Paxos'а.
Распределенные вычисления в Julia
2019-06-14 в 4:43, admin, рубрики: CUDA, Julia, mpi, opencl, Большие данные, высокая производительность, параллельное программирование, Программирование, распределённые вычисления
Если прошлая статья была скорее для затравки, то теперь пришло время проверить способности Джулии в распараллеливании на своей машине.