Мы верим, что написание корректных, параллельных, отказоустойчивых и масштабируемых приложений это сложно.
В большинстве случаев это связано с тем, что мы используем неправильные инструменты и неправильный уровень абстракции. Akka создана для того, чтобы изменить это. Читать полностью »
Большинство сложных задач с данными требуют немалого количества ресурсов. Поэтому почти у каждого дата-центра в мире не один, а множество клиентов — даже если все они выступают под общим брендом. Компаниям нужны мощности под самые разные сервисы и цели, да и в процессе достижения какой-нибудь одной из них приходится иметь дело с целым набором подзадач. Как дата-центру справиться с потоком желающих что-нибудь проанализировать или посчитать? Поступающие заказы на вычисления нужно выполнять в некотором порядке, стараясь никого не обделить ресурсами. Эта лекция — об основных методах распределения реальных задач на большом кластере. Способ, о котором рассказал Игнат Колесниченко, применяется для обслуживания почти всех сервисов Яндекса.
Игнат — руководитель одной из групп в нашей службе технологий распределенных вычислений. Окончил мехмат МГУ и Школу анализа данных, в Яндексе с 2009 года.
Под катом — подробная расшифровка лекции и слайды.
Читать полностью »
Подготовка релиза картографических данных включают в себя запуск массовой обработки данных. Некоторые задачи хорошо ложатся на идеологию Map-Reduce. В этом случае задача инфраструктуры традиционно решается использованием Hadoop или YT
В реальности часть задач таковы, что разбиение их на маленькие подзадачи невозможно, или нецелесообразно (из-за наличия существующего решения и дорогой разработки, например). Для этого мы в Яндекс.Картах разработали и используем свою систему планирования и выполнения взаимосвязанных задач. Одним из элементов такой системы является планировщик, запускающий задачи на кластере с учетом доступных ресурсов.
Эта статья о том как мы решили эту задачу с использованием Apache Mesos.
Здесь многие слышали о программе распределённых вычислений BOINC, возможно, многие даже принимают в нём участие. Эта статья рассчитана в первую очередь на тех, кто не слышал об этом проекте, но, может быть, заинтересуется им. Здесь я приведу краткие описания самых популярных проектов.
Читать полностью »
Некоторое время назад мы уже рассказывали о мобильной версии клиента для системы Folding@Home. Подключившись к ней, вы можете предоставить вычислительные ресурсы своего смартфона для моделирования свертывания молекул белка. Проект был запущен учеными Стэнтфордского университета в 2000 году и, на настоящий момент, является второй по мощности системой распределенных вычислений в мире. Любой доброволец может поучаствовать в проекте и внести свой вклад в исследование болезней Альцгеймера и Парконсона, некоторых форм рака, диабета второго типа, коровьего бешенства и склероза.
Для участия достаточно запустить приложение на своем смартфоне, после чего, находясь на зарядке и в зоне действия WiFi, устройство подключится к системе и примет участие в вычислениях. Загрузить клиент можно из Google Play.
Для меня было странным обнаружить, что на Гиктаймс и Хабре почти не пишут о такой IT-сфере, как распределенные научные вычисления (Volunteer computing, разновидность HTC — High-throughput computing). Казалось бы, «идеальное» хобби для IT-гика (сочетающее в себе реальную пользу, интересное занятие и благотворительность одновременно). Например, я лично ими плотно увлекаюсь последние 5 лет (а впервые поучаствовал около 12 лет назад). Но даже хаба соответствующего не нашел (может плохо искал?).
Я попытаюсь закрыть этот пробел. Начну с перевода одной из статей, в которой описывается, на мой взгляд, одно из самых серьезных/значимых достижений практического (а не чисто теоретически фундаментального) плана от медицинских РВ проектов. На отсутствие которых многие жалуются и теряют интерес к РВ в целом. Вероятно, это одна из основных причин малой популярности РВ на «Гиктаймс» (возможно, многие в свое время поискав «зеленых человечков» в SETI@Home разочаровались в идее в целом как не несущей какой либо пользы?).
Читать полностью »
Привет!
Речь пойдёт об облаках, одноранговых сетях, web технологиях, анонимности и защищённости данных в сети.
Читать полностью »
Наверняка многие слышали о проекте распределенных вычислений Folding@Home, в рамках которого любой желающий может предоставить имеющиеся в наличии вычислительные мощности для моделирования процессов свертывания и развертывания молекул белка. Результаты исследований призваны помочь в изучении таких тяжелых заболеваний, как, например, болезни Альцгеймера и Паркинсона, коровье бешенство, склероз или различные формы рака. На данный момент Folding@Home является второй по мощности системой распределенных вычислений в мире. Рады сообщить о том, что в результате сотрудничества Sony и Стэнфордского Университета, владельцы смартфонов Xperia смогут внести свой вклад в развитие науки!
Девять лет назад я начал «в свободное от основной работы время» преподавать компьютерные дисциплины в одном из университетов Санкт-Петербурга. И только сравнительно недавно к своему удивлению обнаружил, что в наших вузах практически отсутствуют курсы с фокусом на проблематику распределённых вычислений. И даже на Хабре эта тема не раскрыта в достаточной мере! Надо прямо сейчас исправлять ситуацию.
Этой теме я и хотел посвятить статью или даже серию статей. Но потом решил выложить своё учебное пособие по основам распределённых вычислений, вышедшее в свет в этом году (читай, небольшую книгу объемом 155 страниц). В итоге получился гибрид – статья со ссылкой на книгу. Книга распространяется бесплатно и доступна в электронном виде.
Вместо пролога. Приступив к тексту статьи, я в очередной раз задумался, а зачем программисту нужно знать теоретические основы распределённых вычислений. Этот вопрос я неоднократно слышал (и продолжаю слышать) от студентов и специалистов, уже работающих в области ИТ. Действительно, зачем, например, знать, что «множество событий распределённого вычисления упорядочено частично, а не линейно»? В чем, так сказать, каждодневная практическая польза этого фундаментального знания?
Должен признать, что у меня нет готового заученного ответа, который я могу выдать не задумываясь. Поэтому каждый раз приходится напрягаться извилинами, и каждый раз ответы и аргументы получаются разными. Вот и сейчас всё как впервые…
Читать полностью »
В прошлом году мы писали о том, как распределенные вычисления, проводимые на компьютерах 600 тыс. пользователей, способны сотворить чудо и в обозримом будущем найти решение многих глобальных проблем всего человечества.
Спустя год возможности платформы расширились, и теперь каждый обладатель смартфона на базе Android может присоединиться к этой уникальной инициативе!
Читать полностью »
