Рубрика «amazon» - 29

Роскомпандзор заблокировал облачный сервис Amazon по требованию ФСН. Причиной блокировки стала реклама покер-рума «888poker» и ссылка на приложение для онлайн-покера. Об этом сообщил представитель Роскомнадзора Вадим Ампелонский.

Роскомнадзор ранее отправлял уведомление о нарушении ФЗ N 244 «О государственном регулировании деятельности по организации и проведению азартных игр…», но на сайте изменений не появилось. В результате облачный сервис Amazon S3, которым в России пользуется 21,4 млн человекЧитать полностью »

Web scraping на Node.js и защита от ботов - 1Это третья статья в цикле про создание и использование скриптов для веб-скрейпинга при помощи Node.js.

В первой статье разбирались базовые аспекты веб-скрейпинга, такие как получение и парсинг страниц, рекурсивный проход по ссылкам и организация очереди запросов. Во второй статье разбирались анализ сайта, работающего через Ajax, тонкая настройка очереди запросов и обработка некоторых серверных ошибок.

Также во второй статье затрагивалась тема инициализации сессий, но, там речь шла о предельно простом случае, когда достаточно выполнить один дополнительный запрос и сохранить куки.

В этой статье разбирается более сложный случай – инициализация сессий с авторизацией по логину и паролю и с преодолением довольно изощрённой защиты от ботов. Как обычно, на примере реальной (и весьма популярной среди скрейперов) задачи.

Важное примечание

В большинстве случаев защита от ботов на сайте направлена не против скрейперов, а против таких вещей, как мошенничество, накрутки или спам в комментариях. Однако это всегда лишний повод задуматься о легальности и этичности скрейпинга именно этого сайта. В этой статье для примера выбран сайт, про который хорошо известно, что его владельцы нормально относятся к скрейпингу (хотя и предпочитают, чтобы он выполнялся через специальный API). Простые правила: если у сайта есть открытый API, значит его владельцы рады скрейперам, а если сайт большой и ультрапосещаемый, нагрузка от скрейпинга в обход API его особо не побеспокоит.

В прошлых статьях целью было показать весь процесс создания и использования скрипта от постановки задачи и до получения конечного результата. В этой статье большая часть аспектов веб-скрейпинга обходится стороной, а вместо этого показывается многообразие подходов к решению одной, довольно узкой задачи. Различные методы и инструменты, их плюсы и минусы, субъективные оценки, примеры кода, вот это вот всё.

Читать полностью »

Сотрудникам компаний нужна зарплата, оплачиваемые отпуска, больничные, выходные, нормированный рабочий график, перерыв на обед. Роботы этих недостатков лишены. Более того, при правильном применении роботы на определённых ролях будут справляться со своими обязанностями быстрее, чем человек, и не будут халтурить — на это их никто не запрограммирует (только если ради шутки).

Это доказывает опыт Amazon: роботы-кладовщики делают за 15 минут то, на что у людей уходит 60-75 минут. Благодаря этому компания снизила операционные расходы на 13 складах на 20% — это 22 миллиона долларов на каждый склад. Когда роботы появятся на всех 110 складах компании, экономия составит 800 миллионов долларов.

image
Читать полностью »

На Amazon идёт война алгоритмов за позицию «лучшего» товара - 1
В 2011 году два алгоритма, оставленные без присмотра, подняли цену книги до 23 миллионов долларов

Amazon начал как книжный магазин в 1994 году, но к настоящему времени превратился в настоящего монстра интернет-торговли. На площадке продаётся что угодно. Самое удобное — там можно сравнить цены разных продавцов и выбрать наиболее подходящее предложение. Более того, алгоритм Amazon выполняет такое сравнение за нас и находит «оптимальное предложение» (“Buy Box”), остаётся только нажать кнопку «Добавить в корзину».

Никто не знает, как работает алгоритм Amazon: формула включает в себя не только цену, но и количество положительных отзывов, и что-то ещё. Проблема в том, что торговцы активно манипулируют алгоритмом Amazon, чтобы попасть в заветный “Buy Box”. Причём задача торговца — не только попасть на оптимальную позицию, но и продать товар по максимально возможной цене, не теряя позицию. Наблюдать за битвой торговых ботов на Amazon с постоянными рывками цен весьма забавно: такое исследование провели специалисты из Северо-Восточного университета (США), pdf.
Читать полностью »

Security Week 22: Microsoft против паролей, судебные неувязки с Tor, криптолокер атакует клиентов Amazon - 1Google хоронит пароли, а Microsoft — нет. Напомню, в предыдущем выпуске я рассказал про светлое будущее в виде проекта Google Abacus — спорную, но весьма прогрессивную систему идентификации пользователя по его поведению (aka я помню все твои трещинки). Почти одновременно к беседе о паролях присоединилась компания Microsoft, но выступила (новость), скажем так, с позиций традиционализма и ортодоксальности. Конкретно, пост в блоге разработчиков Active Directory посвящен борьбе не со всеми паролями, а только с плохими.

Microsoft можно понять: она работает на рынке корпоративного ПО, а там инновации приживаются убийственно медленно (мимо дрожащих истерзанных рук; да что у меня сегодня такое с песенными ассоциациями?!). Очевидно, что с абакусом или без него, с паролями мы будем иметь дело еще долго. Так вот, по словам представителя Microsoft, типовые подходы к обеспечению стойкости паролей, такие как требования к длине пароля, наличию спецсимволов и регулярной замене — не работают. Более того, они упрощают задачу взлома: огражденные со всех сторон заборчиками политик, пользователи задают и обновляют свои пароли крайне предсказуемым образом. Если, например, поставить забор повыше (задать порог минимум в 10-15 символов), сотрудники начинают повторять одно и то же слово несколько раз подряд. Не ок.

Как многолетний офисный труженик Ворда, не могу не согласиться. Браво! Но не уверен, что предлагаемое компанией решение порадует меня именно как сотрудника. Microsoft работает с огромным количеством учетных записей в куче пользовательских и корпоративных сервисов, и решила использовать информацию о том, как эти записи пытаются взломать (10 миллионов атак в день!). В результате мы получаем функцию Dynamically Banned Passwords. Будучи внедренной в корпоративном окружении, эта фича не позволит сотруднику задать пароль, про который точно известно, что он (1) слаб и что (2) злодеи уже пытались (возможно успешно) взломать такой же (или похожий) пароль где-то еще.
Читать полностью »

image Крупнейшие компании недавно опубликовали финансовые отчеты за первый квартал 2016 года. И мы, команда Web-payment.ru — сайта о платежах, blockchain и e-commerce, не смогли пройти мимо, потому что нас изрядно удивил один факт. Оказалось, что компания Аmazon впервые за долгое время показала существенную прибыль. Прибыль за указанный период стала самой высокой за всю 22-летнюю историю компании и достигла 513 миллионов долларов. Для сравнения, потери за аналогичный период прошлого года составили 57 миллионов долларов США, и вообще последние пять лет в этом плане были не самыми удачными для компании. Несмотря на то, что Amazon чаще показывал убытки, чем прибыли, инвесторы предоставляют ему гораздо большую свободу действий, чем другим компаниям этого сегмента рынка. Нам стало интересно — почему так происходит?
Читать полностью »

image Крупнейшие компании недавно опубликовали финансовые отчеты за первый квартал 2016 года. И мы, команда Web-payment.ru — сайта о платежах, blockchain и e-commerce, не смогли пройти мимо, потому что нас изрядно удивил один факт. Оказалось, что компания Аmazon впервые за долгое время показала существенную прибыль. Прибыль за указанный период стала самой высокой за всю 22-летнюю историю компании и достигла 513 миллионов долларов. Для сравнения, потери за аналогичный период прошлого года составили 57 миллионов долларов США, и вообще последние пять лет в этом плане были не самыми удачными для компании. Несмотря на то, что Amazon чаще показывал убытки, чем прибыли, инвесторы предоставляют ему гораздо большую свободу действий, чем другим компаниям этого сегмента рынка. Нам стало интересно — почему так происходит?
Читать полностью »

В этой статье я отклонюсь от традиционной для меня темы систем хранения FAS и подниму тему объектного хранения данных в системах NetApp StorageGrid WebScale. Если кратко, то объектное хранение — это третий тип хранения наряду с NAS и SAN. Представьте себе, что каждый файл состоит из данных и метаинформации (владелец, права, время модификации и т.д.), так вот объектное хранение позволяет разъединить эти части и хранить их в виде «ключ/значение». Такой подход хранения информации открывает возможности децентрализованного, распределённого хранения данных огромных масштабов с прозрачной миграцией данных, репликацией и прозрачным переключением конечных потребителей между нодами объектного кластера. В широком смысле объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), при помощи специализированных SCSI команд (Object-based Storage Device Commands), так и на уровне протокола доступа к системе хранения, которая состоит из нескольких дисков (которые, в свою очередь, вовсе не обязаны быть объектными). В обоих случаях используется Ethernet для подключения и IP протокол для передачи данных. Примером реализации объектного хранилища на уровне устройства являются жесткие диски линейки Seagate Kinetic Open Storage platform. Примером систем хранения данных в облаке может быть Microsoft Azure BLOB, Amazon S3. В этой статье я остановлюсь на объектных СХД, которые можно развернуть у себя на сайте и при необходимости подключить к облаку.
Объектное хранилище NetApp StorageGrid - 1
Читать полностью »

image

Amazon оказалась прибыльной на протяжении четырёх кварталов — в первом квартале 2016 года компания получила $29,13 млрд прибыли на фоне прогнозов аналитиков в $27,98 млрд, что на 22% превышает аналогичный показатель в прошлом году. Доход в пересчёте на акцию составил $1,07 против прогнозируемого в $0,58.Читать полностью »

Amazon опубликовал результаты за первый квартал 2016 финансового года. Выручка компании выросла на 29% по сравнению с аналогичным периодом 2015 года и составила $29,1 млрд. Операционная прибыль составила $1,1 млрд по сравнению с $225 млн в аналогичном квартале 2015 года. Больше половины ее сгенерировало подразделение облачных сервисов Amazon Web Services — оно показало операционную прибыль в $604 млн против $195 млн годом ранее.

Amazon Web Services (AWS) являетсяЧитать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js