Когда каждый день как DDOS. Крупнейшие китайские сайты

Вот есть в России VK и Яндекс. Всё у них замечательно, молодцы вообще ребята: и предельно высокая посещаемость, и сложность инфраструктуры, и применяемые технологии, но в мире они не столь популярны. Вот и Китай у большинства любителей, из тех, чей взгляд устремлен в Калифорнию, где каждые 3 месяца появляется hitech-компания в миллиард долларов ^[1], в картине мира просто отсутствует. Эта страна во многих вопросах, где дело касается количества, необычная, постоянно ведь на слуху города Китая, метро, мосты, порты; так вот я тут — о массивных китайских сайтах. Сравнивать с DDOS как атакой глупо, та совсем разная и она не обыденность, но есть сайты где инфраструктура заточена для миллионов, хотя бы только поэтому они показались мне интересными.

baidu.com

Лидер не только китайского интернета, но и мирового ^[2] (хотя по некоторым численным показателям это почти синонимы), Baidu находится сразу за Google, Facebook, Youtube и Yahoo. Baidu — это внутренняя замена Google, и поиска и многих-многих других сервисов от карт и википедии до Google Drive (и да, у него есть свой форк Chromium и Android).

А это четвертое поколение Baidu Maps, например

В китайском интернете вот-вот будет половина населения, в сети около 600 млн. пользователей по разным данным. С помощью Baidu ищет подавляющее большинство этой аудитории (83% ^[3]), что переходит в $500 млн. чистой прибыли в III квартале 2012 ^[4] и шестнадцать тысяч сотрудников в штате. И бренд есть и всякие красивые офисы, конференции и свой небоскреб, планируемый к 2015.

проект Baidu Science and Technology Campus

У Baidu R&D есть какой-то блог baidu-tech.com со статьями вроде Intelligent algorithm in site quality rating system ^[5] или очень даже неплохая статья "почему php такой медленный ^[6]" на китайском. Даже если взять то, что у Baidu нет конкурентов из-за особенности страны, очевидно, что он бы просто не смог функционировать с таким количеством пользователей, не применяя и не пользуясь передовым опытом. Нельзя просто так взять и нанять сто тысяч китайцев, чтобы обслужить много http-запросов.

Например, новый дата-центр ^[7] Baidu — один из самых больших в мире (по количеству инвестиций в 1.6 миллиарда самый). 700,000 CPU на 120 тысячах квадратных метров. Построен будет ^[8] вроде как на инфрастуктуре opencompute.org, рожденного в фейсбуке. Но даже сейчас у них сотни дата центров и CDN нод по всему Китаю, чтобы обслуживать миллиарды запросов.

На таких CDN крутится как обычно всякая статика и tangram.js ^[9] один из примеров, это такая jquery-подобная javascript библиотека для разработки фронтенда, «эффективная и надежная». И как у jquery есть jquery UI, так и тут имеется Magic ^[9]. А сам tangram из примеров выглядит знакомо, и понятно почему заимствует стиль всем известного API:

function request() {
	baidu.ajax({
		url: '../../demos/baidu.ajax()/sleep.php',
		type: 'POST',
		data: {
			time: baidu.dom('#sleep-time').val()
		},					
		async: baidu.dom('#chk-async').attr('checked') === 'checked',

		success: function(responseText){
			baidu.dom('#status').html(responseText);
		}
	});
}

baidu.dom('#request').on('click', function(){ baidu.dom('#status').html('...');setTimeout(request, 50);});

Baidu поисковый гигант в первую очередь. Он спонсор ^[10] распределенного хранилища HyperTable, клона BigTable. Утверждается, что HyperTable значительно быстрее ^[11] HBase II на всех тестах, кроме случайного чтения равномерно распределенных ключей (the random read uniform test), где они на равных.

taobao.com

Китайский Amazon, хоть пока и уступающий в списке Alexa Top Sites ^[12] оригиналу одну позицию (#11), но со строго положительной динамикой. Полмиллиарда зарегистрированных пользователей, 213 млн. из которых посетили сеть taobao.com всего 24 часа. Представьте себе что такое интернет магазин: это много статики, страницы с несколькими десятками изображений (как например эта ^[13]), пользовательскими сессиями, процессами заказа и оформления товаров, алгоритмами рекомендации. 11 ноября на сайте этой сети tmall.com была распродажа, зафиксировавшая 10 млн. посетителей ^[14], пришедших за первую минуту, купившие за сутки товара на 3 миллиарда долларов. Всю эту статистику, кстати, выложили в китайский же аналог твиттера, weibo, в виде инфографики, которая очень даже забавная ^[15].

Снова PHP на главной странице, www.taobao.com/index_global.php [16]

Однако php здесь только на фронтенде. Бизнес-логика написана на Java и судя по всему частично на Lua (иначе зачем модуль ngx_lua). Код многих вещей открыт code.taobao.org ^[17] и можно видеть как связано одно с другим.

У taobao весьма интересный веб-сервер с открытым исходным кодом — tengine ^[18]. Например, там есть динамическая загрузка модулей без перезапуска сервера, встроенный файрволл, ngx_lua, конкатенация статики nginx-http-concat ^[19] ( когда-нибудь и ngx_pagespeed ^[20] выйдет из альфы). Или распределенная файловая система TFS ^[21] (как обычно в таки случаях high availability, high performance and low cost), также доступная под GPL 2.0. В README svn-репозитария даже предлагают присоединится к разработке.

В 2010 году поисковый гигант Baidu и японский Rakuten вложили $50 млн ^[22]. в свой гигантский интернет-молл, но, не выдержав конкуренции, в 2012 его закрыли ^[23].

weibo.com

Ставший уже культовым, китайский аналог твиттера, который к слову даже в чем-то превосходит своего американского собрата. Недавний пик твиттера во время выборов — 327,452 сообщений в минуту ^[24], у weibo.com ещё в начале нового 2012 года было 481,207 ^[25]. Вообще weibo обозначает микроблог, а в Китае помимо собственно Sina Weibo (http://weibo.com), есть и Tencent Weibo (http://t.qq.com/), и Netease (http://163.com). И это не просто копии, у каждой из них своя большая аудитория, по итоговому количеству зарегистрированных пользователей ^[26] у Sina 368 миллионов, у Tencent 469, у Netease Weibo 200 млн. Дневная активная аудитория приблизительно в десять раз меньше. Twitter больше с некоторыми оговорками — 500M+ пользователей, из которых активных 170M (techcrunch ^[27]).

В Китае судя по всему очень мало хипстерского, академического и гиковского, но очень много разного php. Вот, например, один из ведущих разработчиков PHP core team перешел ^[28] из Baidu в Sina Weibo.

Свежий октябрьский редизайн Sina Weibo

Sina Weibo не только богата возможностями для пользователями, но и довольно современна технологически. Согласно блогу другого разработчика (http://timyang.net/) первая версия weibo была полностью построена на стандартном стеке LAMP (MyISAM). Вторая уже была архитектурно разделена на несколько слоев, использовала асинхронные сообщения, memcachedq, innodb в MySQL. Позднее weibo начинает использовать в больших количествах Redis, Percona, обработку падений, для каждого из слоев свое api, в презентации приводятся многие-многие тонкости, например в json-сериализации в java, бенчмарки. А ведь на подходе пятая версия. Презентации с www.qconbeijing.com/2011/ ^[29] сложно понимать, хоть и очень хочется, потому что они на китайском и не переводятся на английский так легко, как обычные страницы.

qq.com

Девятый в рейтинге Alexa, один из самых посещаемых интернет-порталов Китая принадлежит Tencent Holdings. Пик одновременно подключенных к QQ Messenger пользователей больше 100 миллионов пользователей ^[30] (Skype в октябре достиг только 45M ^[31]). Протокол QQ protocol закрыт, но reverse инжиниринг решает, поэтому поддержка есть во многих мессенджерах. Причем 30 млн. пользователей QQ-сервисов — пользователи с платными аккаунтами ^[32].

Tencent, как упомянуто выше, также имеет и самый большой по количеству пользователей аналог твиттера, или, например, PaiPai.com — аналог аукциона ebay.

Qzone.qq.com просто поражает воображение. Это 700 млн социальная сеть. В неё загружают по 200-300 млн. фотографий ^[33] в день, половина из которых — через мобильный клиент. Показатели сравнимые с Facebook.

yooku.com, renren, kaixin и другие

yooku.com — замена для Youtube. Есть свои сервисы и Baidu, и у Tencent. У каждого по несколько сотен миллионов ^[34] часов просмотров за август, но Yooku всё равно самый крупный. У него недельная аудитория в 310 миллионов уникальных посетителей ^[35] (у Youtube месячная аудитория 800M ^[36]).

Понятно, что какую бы нишу сайт не занимал, если он находится вверху, это автоматически означает миллионы пользователей. Очень надеюсь, кто-нибудь добавит больше конкретики, ведь тему я раскрыл так себе — за счет чего китайцы делают сайты, выдерживающие запредельные нагрузки, только ли за счет своего менталитета, и почему в мире о них так мало разговоров.

Автор: potomushto

Источник ^[37]