Привет! Представляю вашему вниманию перевод статьи «Two Nodes — The Devil is in the Details» автора Andrew Beekhof.
Многие люди предпочитают кластеры состоящие из двух узлов, потому что они кажутся концептуально более простыми, кроме того еще и на 33% более дешевыми чем их трехузловые собратья. К сожалению, в большинстве случаев такая конфигурация создает множество неочевидных проблем.
Читать полностью »
«Треугольник успеха инноваций» состоит из бизнес-среды, регулятивной среды и политики, применяемой государством для развития инновационной среды. Первые два фактора мы рассмотрели в прошлой статье. Но они касаются экономики страны в целом, помогают понять, как устроена предпринимательская деятельность, за что приходится платить компаниям, как они могут получить налоговые льготы.
Сегодня мы рассмотрим те методы, которые федеральное правительство США и муниципальные власти страны применяют для развития непосредственно инноваций, для повышения эффективности коммерциализации изобретений и технологий, принятия технологий и привлечения инвестиций из других стран, развития коллаборации между бизнесом и учёной средой.
Калифорнийский технологический институт
Читать полностью »
В предыдущей статье мы рассмотрели эволюцию национальной инновационной системы США, показывающую, как страна достигла современного уровня развития системы. Для эффективного развития среды важна сбалансированная работа государства в нескольких направлениях. В этот раз мы разберём инновационную систему США на элементы и увидим подход к каждому из них со стороны федеральных и муниципальных властей.
В прошлый раз мы ввели понятие «Треугольник успеха инноваций», который включает:
Сегодня мы рассмотрим первые два фактора, а на десерт, на следующий раз, оставим политику, применяемую для развития системы в США.
Массачусетский технологический институт
Читать полностью »
В общепринятом представлении инновации — это технологии, появляющиеся из ниоткуда и переворачивающие мир с ног на голову, как это было с домашними компьютерами и смартфонами. На самом деле для любой страны они случаются благодаря выстроенной национальной инновационной системе. Инновации — нечто большее чем наука и технологии. Так и инновационная система — это не только элементы инфраструктуры, непосредственно связанные с продвижением науки и технологии.
Национальная инновационная система включает в себя экономические, политические и другие социальные институты, влияющие на инновации – национальную финансовую систему, законодательство о регистрации предприятий и защите интеллектуальной собственности, довузовскую систему образования, рынки труда, культуру и специально созданные институты развития.
В этой статье описана эволюция национальной инновационной системы США с XIX века.
На прошлой неделе компания CoreOS порадовала очередным Open Source-проектом — zetcd. На самом деле о нём было известно ещё с прошлого года, но теперь состоялся первый релиз, который перевёл продукт в статус бета-тестирования — заявил о готовности продукта к серьёзным испытаниям перед выпуском в мир production. Авторы позиционируют zetcd как готовую замену для ZooKeeper внутри таких распределённых/кластерных решений, как Mesos, Apache Kafka и Apache Drill. Их настрою не препятствует даже тот факт, что etcd предлагает «плоское» хранение ключей-значений против иерархического подхода своего конкурента. Как они к этому пришли?
Читать полностью »
Конфигурация, запуск и дальнейшее масштабирование приложений и служб осуществляются просто, если речь идёт о случаях, классифицируемых как stateless, т.е. без сохранения данных. Такие сервисы удобно запускать в Kubernetes, пользуясь его стандартными API, потому что всё происходит «из коробки»: по стандартным конфигурациям, без привлечения какой-либо специфики и магии.
Проще говоря, для запуска в кластере из контейнеров ещё пяти копий бэкенда на PHP/Ruby/Python требуется лишь 5 раз поднять новый сервер и скопировать исходники. Поскольку и исходники, и init-скрипт лежат в образе, масштабирование stateless-приложения становится совсем элементарным. Как хорошо известно любителям контейнеров и микросервисной архитектуры, сложности начинаются для приложений категории stateful, т.е. с сохранением данных, таких как базы данных и кэши (MySQL, PostgreSQL, Redis, ElasticSearch, Cassandra…). Это касается как софта, самостоятельно реализующего кворумный кластер (например, Percona XtraDB и Cassandra), так и софта, требующего отдельных управляющих утилит (такого, как Redis, MySQL, PostgreSQL…).
Сложности возникают по той причине, что исходников и запуска сервиса становится не достаточно — нужно выполнить еще некоторые действия. Как минимум — скопировать данные и/или присоединиться к кластеру. А если точнее, то эти сервисы требуют понимания, как их правильно масштабировать, обновлять и переконфигурировать без потери данных и их временной недоступности. Учёт этих потребностей и называется «эксплуатационными знаниями» (operational knowledge).
Читать полностью »
Сегодня мы публикуем ещё один из докладов, прозвучавших на летней встрече об устройстве поиска Яндекса. Выступление руководителя отдела ранжирования Петра Попова получилось в тот день самым доступным для широкой аудитории: минимум формул, максимум общих понятий о поиске. Но интересно было всем, потому что Пётр несколько раз переходил к деталям и в итоге рассказал много такого, о чём Яндекс никогда раньше публично не заявлял.
Кстати, одновременно с публикацией этой расшифровки начинается вторая встреча из серии, посвящённой технологиям Яндекса. Сегодняшнее мероприятие — уже не про поиск, а про инфраструктуру. Вот ссылка на трансляцию.
Ну а под катом — лекция Петра Попова и часть слайдов.
Большинство сложных задач с данными требуют немалого количества ресурсов. Поэтому почти у каждого дата-центра в мире не один, а множество клиентов — даже если все они выступают под общим брендом. Компаниям нужны мощности под самые разные сервисы и цели, да и в процессе достижения какой-нибудь одной из них приходится иметь дело с целым набором подзадач. Как дата-центру справиться с потоком желающих что-нибудь проанализировать или посчитать? Поступающие заказы на вычисления нужно выполнять в некотором порядке, стараясь никого не обделить ресурсами. Эта лекция — об основных методах распределения реальных задач на большом кластере. Способ, о котором рассказал Игнат Колесниченко, применяется для обслуживания почти всех сервисов Яндекса.
Игнат — руководитель одной из групп в нашей службе технологий распределенных вычислений. Окончил мехмат МГУ и Школу анализа данных, в Яндексе с 2009 года.
Под катом — подробная расшифровка лекции и слайды.
Читать полностью »
Рост интереса к работе с большими данными не мог обойти стороной рекламную отрасль, которая всегда тяготеет к использованию технических новинок. Несколько лет назад появилась новая технология RTB (real-time-bidding), которая быстро завоевала признание рекламодателей в США и Европе. На сегодняшний день RTB практически сравнялась по объёмам со стандартной медийной рекламой. В России рынок развивается гораздо медленнее, но тем не менее даже в условиях кризиса мы наблюдаем уверенный растущий тренд. Рекламный рынок всегда восприимчив к новинкам, и рекламодатели охотно пробуют новые способы взаимодействия с аудиторией. Однако RTB стала настолько востребованной, что появились целые ресурсы, полностью посвящённые системе. Чем же обусловлена такая популярность?
Центр правительственной связи Великобритании, который можно назвать аналогом NSA, разработал кластер из 66 мини-ПК Raspberry Pi. Цель, с которой кластер был разработан, озвучена, как «образовательная». К сожалению, представители органа это не расшифровывают, но проект действительно интересный. При этом в самом Центре использовать кластер для взлома кодов или мониторинга телефонных сетей не собираются.
Скорее всего, кластер был создан в рамках внутреннего исследовательского проекта, в ходе которого трое неназванных работников Центра решили создать собственный кластер из Raspberry Pi. Базовым унитом кластера служит восемь объединенных в сеть устройства, причем унит получил собственное название — «OctaPi». Размер юнита старались сделать оптимальным, принимая во внимание геометрический размер, энергопотребление, охлаждение и т.п. У каждого юнита есть LED-дисплей.
Читать полностью »
