Рубрика «in-memory»

Мы продолжаем экспериментировать с форматами проведения митапов. Недавно на боксерском ринге мы сталкивали централизованную шину данных и Service Mesh. В этот раз решили попробовать нечто более миролюбивое — StandUp, то бишь открытый микрофон. Темой выбрали in-memory базы данных.

In-memory базы данных: применение, масштабирование и важные дополнения - 1

В каких случаях стоит переходить на in-memory? Как и зачем масштабировать? И на что стоит обратить внимание? Ответы в выступлениях спикеров, которые мы осветим в этом посте.
Читать полностью »

«Промсвязьбанк» продолжает эксперименты с Гайд-парком для программистов. 20 декабря мы с вами обкатаем формат «открытого микрофона» на теме «Хранение данных: In-Memory vs On-Disk».

Хранение данных In-Memory и On-Disk вынесут на суд публики - 1
Читать полностью »

Эльфы в памяти. Выполнение ELF в оперативной памяти Linux - 1

Бесфайловое распространение вредоносного ПО набирает популярность. Что не удивительно, ведь работа таких программ практически не оставляет следов. В этой статье мы не будем касаться техник выполнения программ в памяти Windows. Сконцентрируемся на GNU/Linux. Linux по праву доминирует в серверном сегменте, обитает на миллионах встраиваемых устройств и обеспечивает работу подавляющего большинства веб-ресурсов. Далее мы сделаем небольшой обзор возможностей исполнения программ в памяти и продемонстрируем что это возможно даже в затруднительных условиях.

Читать полностью »

Apache Ignite: распределенные вычисления в оперативной памяти - 1

Привет!

Мы продолжаем интересоваться новыми решениями от компании Apache. Рассчитываем выпустить в мае книгу «High Performance Spark» Холдена Карау (книга в верстке), а в августе — книгу «Kafka: The Definitive Guide» Нии Нархид (еще в переводе). Сегодня же хотим предложить краткую ознакомительную статью об Apache Ignite и оценить масштаб интереса к теме.

Приятного чтения!
Читать полностью »

Исследователи из IBM Research продемонстрировали успешную работу алгоритма машинного обучения без учителя, запущенного на PCM-устройствах (phase-change memory). Этот метод оказался в 200 раз быстрее и энергоэффективнее, чем традиционные вычисления по модели фон Неймана. Согласно заявлению IBM, технология подходит для создания высокоплотных массово-параллельных систем с низким энергопотреблением для использования в области ИИ.

IBM применили вычисления в памяти для машинного обучения - 1Читать полностью »

Apache® Ignite™ + Persistent Data Store — In-Memory проникает на диски. Часть I — Durable Memory - 1

В Apache Ignite, начиная с версии 2.1 появилась собственная реализация Persistence.

На то, чтобы построить этот механизм в современном его исполнении, ушли десятки человеколет, которые были в основном потрачены на построение распределенного отказоустойчивого транзакционного хранилища с поддержкой SQL.

Всё началось с фундаментальных проблем предыдущего механизма, который позволял интегрировать In-Memory Data Grid с внешними постоянными хранилищами, например, Cassandra или Postgres.

Такой подход накладывал определенные ограничения — например, было невозможно выполнять SQL или распределенные вычисления поверх данных, которые находятся не в памяти, а в таком внешнем хранилище, был невозможен холодный запуск и низкий RTO (Recovery Time Objective) без существенных дополнительных усложнений.

Если вы используете Apache Ignite Persistence, то оставляете себе все обычные возможности Apache Ignite — ACID, распределенные транзакции, распределенный SQL99, доступ через Java/.NET API или интерфейсы JDBC/ODBC, распределенные вычисления и так далее. Но теперь то, что вы используете, может работать как поверх памяти, так и поверх диска, который расширяет память, на инсталляциях от одного узла до нескольких тысяч узлов.

Давайте посмотрим, как устроен Apache Ignite Persistence внутри. Сегодня я рассмотрю его основу — Durable Memory, а в следующей публикации — сам дисковый компонент.Читать полностью »

Привет всем!

Довольно долго от нас не было вестей — превращали схемы и чертежи сервера в реальное железо. Теперь у нас появилась рабочая первая ревизия, и в преддверии майских праздников можно порадовать вас рассказом, чем занимались наши разработчики последние полгода. И конечно, показать результат — в этой статье впервые опубликуем фотографии, а не только схемы и модели.

image

Райзеры с памятью в первой ревизии нашего сервера.
Читать полностью »

Здравствуйте! Меня зовут Алексей, я руковожу созданием оборудования в компании YADRO – координирую работу всех, кто так или иначе вовлечен в процесс разработки.

В конце прошлой статьи Максим maxf75 немного коснулся особенностей расположения разъёмов памяти. Сегодня я расскажу в целом про то, как мы пришли к тому варианту архитектуры и компоновки, над которыми работаем сейчас.

О процессе создания сервера – от идеи к деталям - 1

Вид проектируемого сервера сзади со снятой задней решёткой.

Читать полностью »

Джонатан Карди написал .NET-библиотеку StackRedis.L1 с открытым исходным кодом, которая позволяет создавать кэш первого уровня для Redis. Иными словами, используя библиотеку StackExchange.Redis в .NET-приложении, вы можете подключить к ней StackRedis.L1 для ускорения работы за счет локального кэширования данных в оперативной памяти. Это позволяет избежать лишних обращений к Redis в тех случаях, когда данные не подвергались изменениям. Библиотека доступна на GitHub и NuGet.
В этой статье рассказывается о том, как и почему она была создана.

Создание in-memory кэша первого уровня для .NET-клиентов StackExchange.Redis - 1
Читать полностью »

26 марта 2013 г. приглашаем принять участие в совместном вебинаре компаний Fujitsu и SAP: «Приложения SAP на инфраструктуре Fujitsu: управление жизненным циклом и стратегия развития».

Компания Fujitsu сконцентрировала весь свой многолетний опыт по разработке инфраструктур для SAP в ряде специализированных разработок. Это и решение FlexFrame, имеющее многолетний положительный опыт промышленной эксплуатации по всему миру и подтвердившее свою экономическую эффективность. Это и относительно новые инфраструктурные разработки для проведения вычислений In-Memory, предназначенные для развертывания баз данных SAP HANA.

В рамках вебинара будут представлены обновления линейки продуктов Fujitsu для SAP, предложены типовые сценарии их использования реализации частных задач.Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js