Рубрика «высокая производительность» - 90

[Питер] Встреча JUG.ru c легендой параллельного программирования Maurice Herlihy — Transactional Memory and Beyond - 1

У нас праздник! В начале июля в Санкт-Петербурге пройдет SPTCC 2017, летняя школа по параллельному программированию. Одним из лекторов школы станет Морис Херлихи (Maurice Herlihy), легенда параллельного программирования, один из авторов знаменитого учебника «The Art of Multiprocessor Programming».

В четверг, 6 июля, в 19:00 в Университете ИТМО Морис выступит на встрече JUG.ru. На этот раз мы будем говорить не про Java. Тема встречи — транзакционная память.

О чем же нам расскажет Морис?

Транзакционная память

Новое поколение процессорных архитектур предоставляет нам аппаратную транзакционную память (Hardware Transactional Memory — HTM), механизм синхронизации для быстрых транзакций в оперативной памяти. В данном докладе будет показано, что HTM это не просто более быстрый путь для релизации старых-добрых monitor-ов и latch-ей. На самом деле, HTM обеспечивает фундаментальные позитивные изменения в том, как мы программируем многоядерные машины (и возможно даже базы данных), позволяя нам переосмыслить базовые примитивы синхронизации, такие, как lock-и, управление памятью, и многообразие многопоточных структур данных.
Читать полностью »

image

Привет всем! Меня зовут Сергей Камардин, я программист команды Почты Mail.Ru.

Это статья о том, как мы разработали высоконагруженный WebSocket-сервер на Go.

Если тема WebSocket вам близка, но Go — не совсем, надеюсь, статья все равно покажется вам интересной с точки зрения идей и приемов оптимизации.

Читать полностью »

Место Java в мире HFT - 1
В статье автор пытается проанализировать почему существуют торговые системы написанные на Java. Как может Java соперничать в области высокой производительности с C и C++? Далее размещены небольшие размышления о достоинствах и недостатках использования Java в качестве языка программирования/платформы для разработки систем HFT.
Читать полностью »

Сегодня мы беседуем с Василием Сошниковым, архитектором и разработчиком отечественной open source СУБД Tarantool.

Благодаря своим возможностям обеспечивать высокую пропускную способность на OLTP-нагрузках, Тарантул пользуется необычайной популярностью и спросом среди высокотехнологичных компаний. Сегодня Тарантулом пользуются отечественные крупнейшие Web-сервисы, телекоммуникационные операторы и многие другие представители крупного бизнеса.

На PG Day'17 Russia, Василий проведет интенсивный практический курс по построению масштабируемой распределенной архитектуры для OLTP-задач, используя всего лишь два инструмента: Tarantool и nginx. Все участники курса прослушают краткий ликбез об архитектуре и внутреннем устройстве Тарантула, после чего погрузятся в 3-хчасовую практику, во время которой с нуля построят отказоустойчивый и масштабируемый сервис.

В рамках сегодняшнего разговора, Василий поведал о разработке Тарантула и своей роли в этом процессе, поделился примерами задач, которые решаются с помощью Tarantool, рассказал о структуре roadmap и принципах появления в нем новых «фич».

«В Тарантуле нет такой проблемы как сильная деградация со временем и под нагрузкой» – Василий Сошников - 1

PG Day: Василий, расскажи вкратце про себя: кто ты, чем занимаешься, какие проблемы решаешь?

Василий: Я – старший разработчик / архитектор. В мои обязанности входит проектирование и разработка. Также я иногда пересекаюсь с бизнесовой, менеджерской и организационной составляющей. Трудно охарактеризовать мою работу одним словом. Сейчас я разрабатываю и продвигаю open source проект Tarantool. Также иногда помогаю другим сторонним проектам, к примеру Centrifugo (это message broker для веба).
Читать полностью »

Вот и подоспели материалы с фестиваля РИТ++ 2017. Мы выступили там с докладами по темам machine learning, front-end и mobile разработки и провели отдельный тематический блок, посвященный микросервисам. Под катом – видеозаписи выступлений на этой секции наших докладчиков и коллег из других компаний. Обязательно загляните, чтобы узнать о подходах к работе с микросервисами и интересных приемах, которые реально использовать для решения ваших задач.

Расставляем точки над микросервисами. Секция Avito на РИТ++ 2017 (Видео) - 1
Читать полностью »

Системы глубокого обучения, основанные на имитации накопления знаний искусственными нейронными сетями, получили возможность усваивать информацию значительно быстрее и эффективнее. Совместная команда исследователей из Массачусетского технологического института (MIT) и других стран разработала новый подход к обучению с использованием света вместо электричества. Результаты их исследований были описаны 12 июня в журнале Nature Photonics научным сотрудником MIT Йиченом Шеном (Yichen Shen), аспирантом Николасом Харрисом (Nicholas Harris), профессорами Марином Солжачиком (Marin Soljacic) и Дирком Энглундом (Dirk Englund).

В MIT разработали фотонный чип для глубокого обучения - 1Читать полностью »

Большинство потребителей имеют уже сложившееся мнение о том, что касается услуг web-хостинга. Если вы будете искать отзывы о любом хостинг-провайдере, вы обнаружите десятки результатов. И обычно, негативных отзывов там намного больше, чем положительных. Я думаю, я смогу это исправить, поэтому делюсь с вами задачами, с которыми мне приходится сталкиваться как оператору поддержки хостинга для WordPress, а также их решениями.

Я собрал список плохих web-решений, а также рекомендаций о том, чего делать на вашем сайте не стоит. Список основывается на тысячах часов общения с клиентами, а также поддержки и устранения неполадок, с которыми я сталкиваюсь ежедневно. Что-то из предложенного будет достаточно примитивным, а какие-то вопросы будут более продвинутого уровня. Многое из описанного может отделять успешный сайт на WordPress от провального. Ведь, несмотря на то, что выбор правильного web-хостинга очень важен, вы должны уделять достаточно времени оптимизации сайта на WordPress, чтобы он был успешным.Читать полностью »

Перемещение вычислений в сторону данных может приводить к снижению временных затрат на порядки за счёт исключения необходимости перемещения самих данных в сетевой среде. Этой цели служит класс RADOS, вызовы к которому могут выполняться функциями librados.

Асинхронная система сообщений существенно снижает накладные расходы сетевого уровня Ceph, а применение абстракций NetworkStack делает возможной реализацию различных протоколов стека (POSIX/ SPDK/ DPDK/ RDMA).
Читать полностью »

Внимание, Хабрахабр: IBM открывает бесплатный доступ к большому количеству своих ресурсов - 1

Компания IBM уже много лет публикует материалы о своих разработках на Хабрахабре. Мы рады, что многие статьи интересны читателям. Тем не менее, мы также не раз видели желание наших читателей начать работу с сервисами и ресурсами IBM на бесплатной основе. И сегодня мы рады сообщить о том, что теперь многие пользователи смогут получить бесплатный доступ к большинству ресурсов Академического хаба, IBM Bluemix, когнитивным технологиям IBM Watson и Интернета вещей.

Такая возможность предоставляется преподавателям и студентам вузов, а также научным сотрудникам академических институтов. Мы знаем, что ученые делают мир лучше, поэтому многие пользователи Хабрахабра теперь могут работать вместе с нами над достижением этой достойной цели.
Читать полностью »

Мы, программисты, иногда почему-то сходим с ума. Причём по каким-то совершенно нелепым причинам. Нам нравится думать о себе, как о супер-рациональных людях, но когда дело доходит до выбора ключевой технологии нового продукта, мы погружаемся в какое-то безумие. Вдруг оказывается, что кто-то слышал что-то об одной классной вещи, а его коллега читал комментарий о другой на Хабре, а третий человек видел пост в блоге о ещё чём-то похожем… и вот мы уже пребываем в полнейшем ступоре, беспомощно барахтаясь в попытках выбора между совершенно противоположными по своей сути системами, уже и забыв, что мы вообще пытаемся выбрать и почему.

Рациональные люди не принимают решения таким образом. Но именно так программисты часто решают использовать что-то вроде MapReduce.

Вот как комментировал этот выбор Joe Hellerstein своим студентам (на 54-той минуте):

Дело в том, что в мире сейчас есть где-то 5 компаний, обрабатывающие данные подобных объёмов. Все остальные гоняют все эти данные туда-сюда, добиваясь отказоустойчивости, которая им на самом деле не нужна. Люди страдают гигантоманией и гугломанией где-то с середины 2000-ых годов: «мы сделаем всё так, как делает Google, ведь мы же строим один из крупнейших (в будущем) сервисов по обработке данных в мире!»

imageСколько этажей в вашем датацентре? Google сейчас строит четырёхэтажные, как вот этот в Оклахоме.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js