В данной статье мы будем разрабатывать (программную) модель суперскалярного процессора с OOO и фронтендом стековой машины.
Читать полностью »
Рубрика «масштабируемость» - 2
Суперскалярный стековый процессор: скрещиваем ужа и ежа
2016-03-09 в 5:02, admin, рубрики: C, cisc, RISC, Анализ и проектирование систем, архитектура, кодогенерация, Компиляторы, компиляция, масштабируемость, Параллелизм, стек, стековые машины, суперскалярКак мы строим систему обработки сообщений
2015-01-16 в 14:11, admin, рубрики: Анализ и проектирование систем, асинхронность, личный опыт, масштабируемость, отказоустойчивость, очередь сообщений, проектирование, Проектирование и рефакторинг, разработкаНаша команда разрабатывает бекэнд-систему для обработки сообщений от мобильных устройств. Устройства собирают информацию о работе сложной техники и посылают сообщения в центр обработки. В этой статье я хочу поделиться подходами к построению подобных систем. Идеи достаточно общие, их можно применять для любой системы со следующей архитектурой:
По каналам связи устройства присылают сообщения на наш шлюз (gateway) – входную точку приложения. Задача приложения – разобраться, что именно пришло, произвести необходимые действия и сохранить информацию в базе данных для дальнейшего анализа. Базу мы будем рассматривать как конечную точку обработки. Звучит просто, но с ростом количества и разнообразия сообщений появляется несколько нюансов, которые я и хочу обсудить.
Читать полностью »
Да, вы можете делать деньги, продавая OpenStack
2013-09-10 в 15:51, admin, рубрики: amazon aws, api, cloudstack, eucalyptus, iaas, open source, openstack, VMware, Блог компании Mirantis/OpenStack, масштабируемость, мирантис, отказоустойчивость, метки: api, cloudstack, eucalyptus, IaaS, openstack, vmware, масштабируемость, мирантис, отказоустойчивостьАвтор: Дэвид Фишман
Хотите зарабатывать деньги с OpenStack? Поздравляем и добро пожаловать в клуб.
“Как вы продаете продукты и услуги в рыночной нише, которую занимает OpenStack?” — этот вопрос нам задают очень часто. Поэтому в этой статье я зафиксировал некоторые факты – чтобы помочь вам начать работу, а также возможно дать удачный маркетинговый ход, если вы уже работаете.Читать полностью »
Облака и эластичность
2012-10-02 в 10:59, admin, рубрики: cloud computing, Блог компании ABBYY, масштабируемость, Облачные вычисления, метки: cloud computing, масштабируемость, облачные вычисления 
Планируя разработку облачных сервисов, многие разработчики задаются вопросом – что нового им предстоит и чем облачный сервис отличается от «обычного».
Довольно часто при описании облаков и облачных решений говорят об эластичности. Amazon даже назвала свое облако Elastic Compute Cloud (EC2). Помимо того, что «эластичность» – используемое в маркетинге облаков красивое слово, у него есть и вполне определенный смысл. Речь о возможности арендовать вычислительные ресурсы с оплатой по фактическому использованию, начиная и прекращая аренду в произвольный момент.
Это очень удобно для сервисов с непостоянной нагрузкой – при изменении нагрузки они могут масштабироваться, увеличивая или уменьшая число узлов, обеспечивая пользователям приемлемое время обработки запросов, а владельцам – снижение затрат.
Так в теории. На практике перейти от красивого слова к делу не всегда просто.
7 уроков, полученных при создании Reddit
2012-09-03 в 19:04, admin, рубрики: RabbitMQ, reddit, Веб-разработка, масштабируемость, Социальные сети и сообществаСтив Хаффман, один из создателей Reddit, рассказал на презентации, чему они научились, пока строили и развивали Reddit до 7,5 млн пользователей в месяц, 270 миллионов просмотров страниц в месяц и более 20 серверов баз данных.
Стив уточнил, что большинство полученных уроков были очевидными, поэтому в презентации не будет радикально новых идей. Но у Стива огромный опыт, и если он не смог увидеть эти грабли, то возможно, вам стоит обратить внимание на эти «очевидные вещи».
Каждый из 7 уроков будет рассмотрен в соответствующей секции.
- Падайте часто
- Разделение сервисов
- Открытая схема данных
- Избегайте хранения состояний
- Memcache
- Сохраняйте избыточные данные
- Имейте возможность работать оффлайн
Дисковые массивы Dell EqualLogic
2012-07-25 в 10:12, admin, рубрики: Блог компании Dell, высокая производительность, Железо, ит-инфраструктура, масштабируемость, сервера, СХД, хранилище данных, цод, метки: железо, масштабируемость, сервера, СХД, хранилище данных, цод Мы продолжаем цикл рассказов про оборудование и решения Dell для бизнеса: серверы, системы хранения данных, резервное копирование, сетевые устройства и прочее.
Сегодня мы хотим вам рассказать про характеристики и способы применения новейшего поколения систем хранения данных Dell EqualLogic: модных, красивых — а главное, эффективных, производительных и удобных с точки зрения масштабирования.
Внимание, системные администраторы компаний, сталкивающиеся со сложностью хранения больших объемов данных и потребностью обеспечить себе удобный контроль над сетевым хранением информации (нефтегазовая сфера, финансовые учреждения, ИТ-компании) — вам это может быть интересно! Кроме прочего, мы расскажем и том, почему подход Dell удобен с точки зрения развития бизнеса. Ведь никто не покупает железо корпоративного класса на один день, и сколько-нибудь серьезный производитель всегда обязан держать в уме защиту серьезных инвестиций своих клиентов. Читать полностью »
Как мы соединяли свой ЦОД с ЦОДом заказчика
2012-07-24 в 7:30, admin, рубрики: RISC, VPC, x64, Блог компании КРОК, бэкенд, ит-инфраструктура, масштабируемость, минимизация затрат, хостинг, цод, метки: risc, VPC, x64, бэкенд, масштабируемость, минимизация затрат, цод 
Представьте задачу:
- Вы решили стартовать IT-проект, который требует большой вычислительной мощности.
- «Взлетит» он или нет, станет понятно через 3 месяца.
- Космически дорогое железо (несколько серверов по цене квартиры в Москве каждый) покупать не хочется, но при этом надо сразу стартовать так, чтобы потом не было сложностей с масштабированием до серьёзной highload-системы, то есть хочется эластичного «облака».
- В перспективе — необходимость быстро обрабатывать много данных и массу операций чтения-записи. То есть, потребуются тяжелые сервера-«молотилки», которые не могут горизонтально масштабироваться – такое в «облако» не запихнёшь.
- При этом надо создать единое сетевое пространство, как если бы «молотилки» вашего ЦОДа и сервера «облака» находились в соседних стойках, и настроить всё так, чтобы на уровне приложений не приходилось думать про физическое воплощение железа;
- Обеспечить адекватную техподдержку, которая способна закрыть все вопросы по проекту (сеть, сервера, прикладные системы) — и всё это без поиска новых администраторов себе в штат.
- До кучи — запуститься очень быстро;
- И всё это —в Москве, чтобы обеспечить минимальные лаги.
В начале этого года к нам пришел заказчик именно с такими задачами. Читать полностью »
Ресурсы без головной боли
2012-05-04 в 8:57, admin, рубрики: IBM, PureSystems, автоматизация, Блог компании IBM, вычисления, масштабируемость, облако, метки: IBM, PureSystems, автоматизация, вычисления, масштабируемость, облако 
*IBM отмечает одни из самых важных проблем IT-инфраструктур современности
Несколько дней назад компания IBM анонсировала начало «новой, упрощенной эры вычислений», связанное с серьезным шагом в работе компании — выпуске PureSystems, решения, которое в самом голубом гиганте называют «экспертной интегрированной системой», созданной для физических и виртуальных элементов корпоративной IT-структуры.
В пресс-релизе, посвященном PureSystems, компания пишет: «Новое семейство систем IBM предлагает альтернативу стандартной вычислительной модели, когда многочисленные и порой избыточные вычислительные мощности поглощают все ресурсы компании, нуждаясь в развертывании, настройке и постоянной поддержке».
Компания даже специально провела исследование на американском и глобальном рынке совместно с Forrester, и выяснила, что около двух третей корпоративных проектов, связанных с использованием многочисленных вычислительных ресурсов, требуют больше времени и средств, чем изначально планируется. Инвестируя огромные средства в IT-инфраструктуру, которая после этого может «съедать» до 70% надбавки к бюджету даже находясь в состоянии простоя, даже у очень успешных компаний может не остаться денег на финансирование новых разработок.
Читать полностью »
Git / Проблемы с производительностью Git на большом репозитории
2012-02-04 в 19:20, admin, рубрики: Facebook, Git, масштабируемость, производительность, метки: Facebook, Git, масштабируемость, производительность Джошуа Редстоун (Joshua Redstone) пожаловался в листе рассылки Git на некоторые проблемы с производительностью, которые возникли у Facebook на большом репозитории. Они создали синтетический репозиторий и провели тесты.Тестовый репозиторий
4 млн коммитов, линейная история и около 1,3 млн файлов. Размер папки .git — около 15 ГБ, её упаковали командой repack:git repack -a -d -f --max-pack-size=10g --depth=100 --window=250
Процесс занял около двух суток на хорошей машине (много памяти, SSD). Размер индексного файла составил 191 МБ.
Скорость работы Git в таком репозитории совсем не радует. Результаты выполнения команд на сервере с обычным HDD и >10 ГБ RAM (команды повторялисьЧитать полностью »