Рубрика «инфраструктура» - 20

В нашем блоге мы пишем о развитии облачного сервиса 1cloud, но и о перспективных технологиях. Одной из наиболее активно обсуждаемых тем уходящего года стала «революция контейнеров» — многие компании внедряют их в свою инфраструктуру, а вендоры создают новые технологии для работы с ними. Недавно мы рассказывали о новых разработках VMware в этой области, а теперь представляем вашему вниманию адаптированный перевод заметки инженера компании о сложностях и мифах, связанных с контейнерами.

Работа с контейнерами: Сложности и мифы - 1

Вы стали свидетелями одного из самых крупных сдвигов, произошедших в IT-индустрии. Пятнадцать лет тому назад вы могли себе представить, что буквально одним нажатием кнопки сможете перенести приложение из одной части функционирующего дата-центра в другую, не создав при этом неудобств пользователям?

VMware сделала возможным переход от аппаратного обеспечения к программному, от ручного управления к автоматизации. Используя контейнеры, старую технологию, которую упростили такие компании, как Docker и CoreOS, мы можем мгновенно запустить множество приложений на общем ядре.

В ноябре 2015 года в Барселоне прошла конференция Dockercon Europe 2015, посвященная безопасности, пользовательскому интерфейсу, RBAC-авторизации и эксплуатации программного обеспечения в целом. Стоит только упомянуть эти термины, как все внимание крупных организаций тут же обратится на вас.Читать полностью »

Трейдинг и «железо»: Как выглядят биржевые дата-центры - 1

Фондовый рынок — высокотехнологичная отрасль. В нашем блоге мы уже писали о протоколах передачи финансовых данных, алгоритмах обнаружения инсайдерской торговли, разработке финансового софта и способах ускорения транзакций. Все это разнообразие технологий и инструментов выстраивается вокруг серверного ядра самих бирж — многие HFT-трейдеры пользуются услугами колокации и размещают серверы со своими торговыми приложениями как можно ближе к биржевому торговому движку.

Сегодня мы поговорим о дата-центрах различных площадок и покажем, как они выглядят.Читать полностью »

В нашем блоге на Хабре мы не только рассказываем о развитии облачного сервиса 1cloud, но и много пишем о новых технологиях, в том числе в области процессоров и памяти. Сегодня мы представляем вашему вниманию адаптированный перевод заметки инженера компании Altera Рона Уилсона о том, как развитие технологии флеш-памяти может изменить структуру существующих ныне дата-центров.

Как флеш-память изменит структуру дата-центров - 1

Возможно, наступает переломный момент в истории дата-центров. Уже в течение многих лет увеличиваются емкости флеш-памяти, что позволяет нам неустанно расширять возможности наших телефонов, камер и медиаплееров.

Появление новых твердотельных накопителей с использованием флеш-памяти позволило начать разработку более современных планшетов и ноутбуков. Такие накопители начали появляться и в дата-центрах.

Незаметно для нас, скорость появления новых технологий резко возросла. Флеш-память NAND с новой вертикальной архитектурой превзошла характеристики планарной флеш-памяти, позволив хранить значительные объемы данных в каждом кристалле. Новые энергонезависимые технологии, например память Intel-Micron 3D Xpoint, уже начинают поступать в массовое производство.

Не стоит забывать и о жестких дисках, технологии которых также продолжают развиваться. Результатом всего этого станет беспрецедентное изменение структуры дата-центров, которое начнется с гипермасштабируемых облаков, но постепенно дойдет и до предприятий.Читать полностью »

3D-лаборатория для людей из МИЭМа, сующих голову внутрь прототипов трассировки печатных плат - 1

В конце 2014 года был сдан в эксплуатацию новый учебно-административный комплекс МИЭМ НИУ ВШЭ в Строгине, где реализовано много разных крутых вещей для обучения студентов. Один из таких проектов — лаборатория для прототипирования электронно-вычислительных средств. Под это дело был выделен небольшой бюджет, выбраны мы в качестве подрядчика. И дальше мы решали не совсем типичную задачу по созданию комнаты, где вокруг вас летают разные виртуальные 3D-объекты. Например, чтобы было удобно разбираться в электронных микросхемах.

Для достижения эффекта обратной проекции (это когда ты проходишь мимо экрана, но тень при этом на него не отбрасывается) пришлось применять творческое воображение и как раз ту самую математику, которую бодро осваивают студенты.Читать полностью »

Биржа торгует ресурсом, акциями и мутными обещаниями: ликбез о деривативах - 1

Биржа, упрощая, торгует тремя базовыми продуктами: прямыми ресурсами (валюта, золото, нефть), акциями компаний (доля владения в бизнесе) и деривативами. Дериватив – это всё то, что нельзя пощупать здесь и сейчас, то есть, очень грубо говоря, инструменты, в которые добавляется небольшая доля настоящих базовых продуктов и много прогнозов, обещаний и мнений.

Например, фьючерс – это когда вы говорите «в конце года я выращу 2 тонны картошки, если вы купите у меня её по 20 рублей за килограмм». Затем куча людей подписывается с вами на 100 килограмм картошки, 20 килограмм, тонну и так далее. При этом, обратите внимание, сделки совершены, экономика крутится, но ещё ни самой картошки, ни денег пока нет.

Через месяц кто-то смотрит фильм «Марсианин» и узнаёт, что планируются поставки картохи с Марса. И решает, что она подешевеет. Догадайтесь, что происходит дальше. Читать полностью »

Мы в «Латере» занимаемся созданием биллинга для операторов связи. В блоге на Хабре мы не только рассказываем об особенностях нашей системы и деталях ее разработки (например, обеспечении отказоустойчивости), но и публикуем материалы о том, как другие компании работают с ИТ-инфраструктурой. Сегодня мы представляем вашему вниманию адаптированный перевод заметки главного разработчика Azure Джеффа Уилкокса, о том, как более двух тысяч членов команды проекта переезжали на GitHub.

За последние четыре года Azure очень многое перенял от opensource-сообщества, поэтому нам пришлось пересмотреть подходы к работе и минимизировать количество выполняемых вручную операций, необходимых для поддержания крупной GitHub-организации. Мы автоматизировали большую часть управленческих функций, создав веб-приложение с открытым исходным кодом, которое использует некоторые из сервисов Azure (это App Service, Active Directory и Azure Storage), GitHub API и другие свободно распространяемые решения.

В этом посте я представлю вам наш портал для работы с GitHub, исходный код которого сейчас там же и размещен. Я расскажу о функциях, особенностях и основных программных блоках приложения, а также поделюсь с вами историей о том, как GitHub поспособствовал нашему развитию. В конце я добавлю несколько ссылок, где можно будет получить дополнительную информацию. Еще я подготовил отдельный пост, раскрывающий подробности проекта: как все начиналось, и к чему мы пришли.

Разработчики и организации любых размеров сразу почувствуют, насколько может быть полезным наш портал: Azure Active Directory дает инженерной группе доступ к инструментам для работы с GitHub.

Корпоративный GitHub: как Azure увеличил количество работников на GitHub до двух тысяч - 1

Веб-портал, созданный с использованием Azure, GitHub API и Node.js, позволяет автоматизировать работу с GitHub и ускорить адаптацию новых сотрудников.Читать полностью »

Примечание переводчика: На Хабре и в нашем блоге о корпоративном IaaS мы много пишем об облачных технологиях, и рассматриваем интересные инфраструктурные проекты различных компаний. Ранее мы рассказывали о масштабировании Apache Storm в Spotify, создании 20- и 30-гигабитных соединений в сетях Ethernet командой проекта 45 Drives, а сегодня речь пойдет о том, как инженеры Aribnb занимались разбиением основной базы данных проекта.

Как команда инженеров Airbnb «разбила» основную БД проекта за пару недель - 1

Каждый год трафик Airbnb растет в 3,5 раза быстрее, а его пик приходится на летний период

В этом году в преддверии летнего сезона путешествий команда по обслуживанию инфраструктуры Airbnb усердно работала над масштабированием наших баз данных. Компании необходимо было подготовитсья к летним пикам нагрузки.

Целью одного особенно важного проекта было разбиение определенных таблиц на секции (партиции) в соответствии с выполняемыми ими функциями и помещение их в отдельные базы данных. Этот проект, наверняка, потребовал бы крупных технических вложений, включая внесение изменений на уровне приложений, перенос данных и полноценное тестирование, которое бы гарантировало целостность данных и минимальное время простоя.Читать полностью »

Управление температурой в дата-центре: почему иногда можно и погорячее - 1

В нашем блоге на Хабре мы рассказываем о развитии своего облачного сервиса 1cloud, а также рассматриваем интересные вопросы развития технологий и работы с инфраструктурой. К последней теме относится и вопрос обеспечения охлаждения ЦОД. Группа ученых Университета Торонто опубликовала исследование метода, при котором температура в дата-центре специально повышается. Мы представляем вашему вниманию основные моменты этой работы.

С недавних пор значительная часть потребляемой электроэнергии и выбросов углерода приходится на дата-центры. Огромные мощности тратятся на их охлаждение, что и явилось основным мотиватором для проведения исследовательской работы в области температурного управления. Интересен тот факт, что до конца не понятно, на каком уровне необходимо поддерживать температуру в дата-центрах.

Большинство компаний устанавливает температуру, рекомендуемую поставщиками используемого оборудования, однако не ясно, как её повышение сказывается на работоспособности систем. В то же время, согласно результатам проведенных исследований, повышение температуры всего на 1 градус может сократить энергопотребление на 2-5%.Читать полностью »

Ситуационный центр Центральной ППК (электрички Московской области) — мы проделали адово большую работу - 1
Тестирование

Для того чтобы обеспечить высокое качество обслуживания пассажиров и надёжную эксплуатацию пассажирской инфраструктуры, нужен хороший инструментальный контроль. Проще говоря — системы снятия информации и её обработки. Центральной пригородной пассажирской компании (это те, кто возит вас электричками в Подмосковье) в какой-то момент захотелось прорыва в плане ухода от ручных технологий управления. Главная идея была в создании единого мозгового центра, чтобы следить, контролировать, понимать и предсказывать операционные процессы, оперативно реагировать на внештатные ситуации.

Ситуационный центр Центральной ППК (электрички Московской области) — мы проделали адово большую работу - 2
Вот так САЦ встроился в архитектуру ЦППК. Два года на проект. Два года!
Вендоры такие: модуль нормативно-справочной информации — Talend MDM.
Комплексная система аналитики — Oracle BI 11g, Pentaho DI (опенсорсные аналоги — Pentaho BA, Spago BI, JasperSoft BI,), СУБД -MS SQL Server 2012, аудиовизуальные комплексы — YCD, Samsung, колонны связи — отечественные производители, камеры видеоаналитики и видеонаблюдения — «Синезис», Samsung, Verint, Axis. IP-телефония — Cisco.

В общем, сейчас покажу, откуда мы собирали данные и что с ними делали. И почему километр железной дороги в нашей координатной сетке заменяют блок-участки, длина которых может колебаться от 700 до 1300 метров.Читать полностью »

Во всем мире постепенно растет энергопотребление дата-центров и по прогнозу министра энергетики Ирландии Алекса Уайта в будущем расходы энергии увеличатся в разы. Министр выступал на саммите ООН по климату в Париже. Специалисты из его ведомства пришли к выводу, что именно на долю ЦОД пойдет большая часть спроса на электроэнергию в Дублине. Такой рост энергопотребления обусловлен строительством новых и расширением кампусов уже имеющихся дата-центров Microsoft, Amazon, Google и других крупных компаний. Подобные ситуации происходят во многих международных столицах. По мнению Уайта, следует уже сейчас позаботиться о проблеме стремительного роста энергопотребления ЦОД и начинать искать оптимальные пути их решения.

3 бизнес-проекта, усовершенствующие отрасль ЦОД - 1

Вполне возможно, описанные ниже бизнес-проекты могут помочь найти выход и справится с назревающей проблемой.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js