Рубрика «кэш»

в 7:00, , рубрики: cpu, l1, L2, l3, l4, level 4, высокая производительность, кэш, Производство и разработка электроники, Процессоры

Кэш – король быстродействия: нужен ли процессорам четвёртый уровень кэширования - 1

Разрыв между быстродействием процессоров в общем смысле и быстродействием основной памяти DRAM, также в общем смысле, был проблемой в последние 30 лет – в этот период разрыв начал по-настоящему расти. И стоит честно сказать, что инженеры, разрабатывавшие как оборудование, так и программы, создавшие иерархию кэшей и ПО, способное воспользоваться её преимуществами, поступили просто гениально. Это одна из труднейших в реализации архитектур, когда-либо задуманных человеком.

Однако теперь, когда мы находимся на пороге появления постоянно расширяющейся иерархии памяти, когда начинает появляться энергонезависимая память типа Optane 3D XPoint (вариант памяти с изменением фазового состояния) в формате DIMM и SSD, а также новые протоколы (CXL, OpenCAPI, CCIX, NVLink и Gen-Z), возникает вопрос: не пора ли добавить серверам кэш четвёртого уровня? Поскольку от комплекса CPU зависит работа такого количества устройств – некоторые из которых расположены ближе, другие же дальше – логично задуматься над тем, не нужен ли нам ещё один уровень кэша, маскирующий задержки этих других видов памяти и увеличивающий пропускную способность всей системы.
Читать полностью »

в 12:42, , рубрики: Железо, кэш, Научно-популярное, память, процессор, Процессоры, Системные платы, схемотехника

Чипы на большинстве современных настольных компьютеров имеют четыре ядра, но производители микросхем уже объявили о планах перехода на шесть ядер, а для высокопроизводительных серверов и сегодня 16-ядерные процессоры далеко не редкость.

Чем больше ядер, тем больше проблема распределения памяти между всеми ядрами при одновременной совместной работе. С увеличением числа ядер всё больше выгодно минимизировать потери времени на управлении ядрами при обработке данных — ибо скорость обмена данными отстает от скорости работы процессора и обработки данных в памяти. Можно физически обратиться к чужому быстрому кэшу, а можно к своему медленному, но сэкономить на времени передаче данных. Задача усложняется тем, что запрашиваемые программами объемы памяти не четко соответствуют объемам кэш-памяти каждого типа.

Физически разместить максимально близко к процессору можно только очень ограниченный объем памяти — кэш процесcора уровня L1, объем которого крайне незначителен. Даниэль Санчес (Daniel Sanchez), По-Ан Цай (Po-An Tsai) и Натан Бэкмен (Nathan Beckmann) — исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института — научили компьютер конфигурировать разные виды своей памяти под гибко формируемую иерархию программ в реальном режиме времени. Новая система, названная Jenga, анализирует объемные потребности и частоту обращения программ к памяти и перераспределяет мощности каждого из 3 видов процессорного кэша в комбинациях обеспечивающих рост эффективности и экономии энергии.

Новый подход к кэшированию процессора - 1
Читать полностью »

в 6:54, , рубрики: api, агрегатор, Блог компании Травелата, кэш, разработка, туры, Управление e-commerce, управление проектами, управление разработкой, цены, метки:

Как устроен поиск пакетных туров в стране, где люди не очень-то доверяют кредиткам - 1
Двухместный стандарт в Сочи в отеле Bridge Mountain стоит 86 рублей за сутки на человека на 1-6 апреля, и его можно взять отдельно от тура за 860 рублей на 5 ночей

5 лет назад мы обнаружили, что «Букинг» продаёт отели, всякие «Скайсканеры» и AWAD — авиабилеты, и голову поднимает AB&B. Но никто не продаёт туры целиком. Я тогда сказал своему другу: «Мужик, давай продавать туры. Это же очень просто сделать!»

А дальше начались такие круги ада, что мы несколько раз проклинали тот день. Началось всё с довольно простой задачи — синхронизации туров и их поиска. А прикол был в том, что если до нас у туроператора искали только руками из офисов, то с нашими поисками-сравнениями (на один запрос «Травелаты» поднимается около 500–600 туров в общем) мы просто клали их сервера к едрене фене. И туры не находились. Вообще, системы бронирования были сделаны в 90-х годах, а некоторые системы бронирования авиабилетов тащат легаси ещё чуть ли не со времён телеграфа.

Потом мы столкнулись с тем, что люди за пределами Москвы банально не доверяют кредиткам. Потом — с тем, что некоторые туроператоры очень любят, скажем так, недоговаривать цену при заказе. И так далее.Читать полностью »

в 17:00, , рубрики: Блог компании DataArt, видеонаблюдение через интернет, Дизайн в IT, заказчики, конференции, конференция, кэш, менеджмент проектов, моделирование социальных процессов, потоковое видео, управление проектами

IT-хардкор: конференция о самых сложных ситуациях и проектах - 1

Сегодня мы анонсируем самую суровую из наших конференций, которая пройдет 8 октября в Санкт-Петербурге. Она посвящена экстремальным ситуациям в IT-проектах: в планировании, менеджменте, разработке и поддержке. В программе — доклады от «Медузы» и «Вконтакте», история создания системы видеонаблюдения на выборах, разбор провалов в менеджменте проектов, предсказательное моделирование критических ситуаций с серьезными социальными последствиями, противостояние дизайнеров с женами заказчиков и еще несколько историй. Все по хардкору, даже кофе-брейки!Читать полностью »

в 6:16, , рубрики: 9 сентября, mail.ru, Sammy, Вконтакте, день тестера, день тестера 2016, кэш, облачные сервисы, поддержка, Социальные сети и сообщества, Сэмми, тестирование, метки:

Немного опоздав к 9 сентября, всё же размещу это здесь. Постараюсь изложить суть нескольких открытий тестирования, оставив рассказ о последующих коммуникациях с представителями ВКонтакте для другого поста.

1. Обнаружено нарушение обновления кэша между VK и Telegram.

Только что в некоторой telegram-конференции мы обнаружили, что описания групп ВКонтакте, автоматически генерируемые по ссылкам в отправляемых сообщениях, создаются по неактуальной и замененной более чем 5 дней назад информации. Читать полностью »

в 10:57, , рубрики: .net, in-memory, redis, Блог компании Plarium, клиент, Клиентская оптимизация, кэш, оптимизация, Программирование, Серверная оптимизация

Джонатан Карди написал .NET-библиотеку StackRedis.L1 с открытым исходным кодом, которая позволяет создавать кэш первого уровня для Redis. Иными словами, используя библиотеку StackExchange.Redis в .NET-приложении, вы можете подключить к ней StackRedis.L1 для ускорения работы за счет локального кэширования данных в оперативной памяти. Это позволяет избежать лишних обращений к Redis в тех случаях, когда данные не подвергались изменениям. Библиотека доступна на GitHub и NuGet.
В этой статье рассказывается о том, как и почему она была создана.

Создание in-memory кэша первого уровня для .NET-клиентов StackExchange.Redis - 1
Читать полностью »

в 15:49, , рубрики: api, cash, ehcache, java, join, mysql, sql, wix.com, Блог компании Wix.com, конструктор сайтов, кэш, кэширование запросов, кэширование на практике, создание сайтов

Это вторая часть цикла «Масштабирование Wix до 100 миллионов пользователей». Вступление читайте тут.

Когда мы только запускали Wix, был использован стек Tomcat, Hibernate и Ehcache c базой данных MySQL и фронтендом на Flash. Почему мы выбрали этот стек? Да просто потому, что у нашего первого бэкенд-разработчика уже был опыт работы с ним. Частью этой архитектуры был Ehcache – отличная кэш-библиотека для Hibernate и JVM, которая создавала абстракцию в виде карты для кэша памяти и которая могла также быть сконфигурирована как распределенный кэш. Ehcache, в отличие от Memcached, запускается как процесс в JVM и в точности реплицирует состояние кэша для всех узлов кластера. Обратим внимание, что в то время (около 2006–2008 гг.) Encache все еще был независимым open source проектом и не был частью Terracotta (в рамках Terracotta модель репликации и дистрибуции может быть иной, но для данной статьи это не столь важно).

Аспекты использования кэша

Масштабирование до 100 миллионов пользователей. Кэшировать или не кэшировать? - 1

Поскольку у нас уже были реальные клиенты, мы установили два сервера Tomcat для обеспечения дополнительной надежности. Следуя правилам выстраивания архитектуры, мы установили распределенный Ehcache-кластер между серверами. Мы исходили из того, что MySQL работает медленно (как и любая другая SQL-система), а значит кэш оперативной памяти обеспечит гораздо более высокую скорость чтения и снизит нагрузку на базу данных.Читать полностью »

в 6:22, , рубрики: Violin Maestro, Блог компании КРОК, кэш, нагрузка, Серверное администрирование, СХД, ускорение, хранение данных, цод, чтение

Новая жизнь старой СХД — волшебное железо Violin для ускорения массивов

Если у вас стоят такие СХД, как EMC Clariion, VNX, VMAX, Symmetrix DMX3, DMX4, AMS 2000, HUS и другие подобные, и вам не хватает их производительности, у меня хорошая новость.

Новую быструю СХД покупать, возможно, не надо. Если вам достаточно ускорить задачи чтения, есть решение куда дешевле апгрейда массива и проще по внедрению, чем диски в Symmetix. Называется Violin Maestro.

Это аппаратный кэш на чтение, который подключается между хостом и СХД. Железка уже протестирована и уже в России. Её можно брать и ставить без какого-либо простоя и остановок. Читать полностью »

в 13:40, , рубрики: cache, sql, базы данных, Веб-разработка, кэш, Программирование

Довольно интересное видео (на английском, к сожалению), в котором девушка, на примере соцсетей, рассказывает о плюсах и минусах кэширования в web-приложениях.

Наиболее содержательными являются первые две трети ролика, которые можно суммировать следующим образом:

1) данных в соцсетях нынче много, обновляются они часто, а пользователю их нужно предоставлять быстро
2) поэтому без кэширования не обойтись
3) далее показывается, как кэширование (концептуально) работает в Twitter, Facebook и Reddit
4) но есть проблемка…
5) кэширование в каждом соцсетевом проекте отписывается вручную
6) в результате, имеем много кода, который делает практически одно и то же в каждом проекте. А много кода — это много багов и людского труда
7) и что же с этим делать?

Читать полностью »

в 17:57, , рубрики: кэш, кэш-память, Программинг микроконтроллеров, Процессоры, системное программирование, метки: ,

Хочу поговорить об устройстве управления памятью (Memory Management Unit, MMU). Как вы, разумеется, знаете, основной функцией MMU является аппаратная поддержка виртуальной памяти. Словарь по кибернетике под редакцией академика Глушкова говорит нам, что виртуальная память — это воображаемая память, выделяемая операционной системой для размещения пользовательской программы, ее рабочих полей и информационных массивов.

У систем с виртуальной памятью четыре основных свойства:

  1. Пользовательские процессы изолированы друг от друга и, умирая, не тянут за собой всю систему
  2. Пользовательские процессы изолированы от физической памяти, то есть знать не знают, сколько у вас на самом деле оперативки и по каким адресам она находится.
  3. Операционная система гораздо сложнее, чем в системах без виртуальной памяти
  4. Никогда нельзя знать заранее, сколько времени займет выполнение следующей команды процессора

Выгода от всех вышеперечисленных пунктов очевидна: миллионы криворуких прикладных программистов, тысячи разработчиков операционных систем и несчетное число эмбеддеров благодарны виртуальной памяти за то, что все они до сих пор при деле.

К сожалению, по какой-то причине все вышеперечисленные товарищи недостаточно почтительно относятся к MMU, а их знакомство с виртуальной памятью обычно начинается и заканчивается изучением страничной организации памяти и буфера ассоциативной трансляции (Translation Lookaside Buffer, TLB). Самое интересное при этом остается за кадром.
Читать полностью »

12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js