Рубрика «machine learning» - 26

Make Your Database Dream of Electric Sheep: Designing for Autonomous Operation

2019-06-18 в 13:17, admin, рубрики: autonomous system, machine learning, mysql, postgresql, Алгоритмы, Анализ и проектирование систем, базы данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность

Как вы думаете, кто лучше настроит PostgreSQL — DBA или ML алгоритм? И если второй, то пора ли нам задуматься, чем заняться, когда нас заменят машины. Или до этого не дойдет, и важные решения все-таки должен принимать человек. Наверное, уровень изоляции и требования к устойчивости транзакций должны оставаться в ведении администратора. Но индексы уже скоро можно будет доверить машине определять самостоятельно.

Make Your Database Dream of Electric Sheep: Designing for Autonomous Operation - 1

Энди Павло на HighLoad++ рассказал про СУБД будущего, которые можно «потрогать» уже сейчас. Если пропустили это выступление или предпочитаете получать информацию на русском языке — под катом перевод выступления.

Речь пойдет о проекте университета Карнеги-Меллона, посвященном созданию автономных СУБД. Под термином «автономный» подразумевается система, которая может автоматически развертывать, настраивать, конфигурировать себя без какого-либо вмешательства человека. Возможно, потребуется около десяти лет, чтобы разработать что-то подобное, но именно этим заняты Энди и его студенты. Конечно, для создания автономной СУБД необходимы алгоритмы машинного обучения, однако, в этой статье сосредоточимся только на инженерной стороне темы. Рассмотрим, как проектировать программное обеспечение, чтобы сделать его автономным.
Читать полностью »

PyDaCon meetup в Mail.ru Group: 22 июня

2019-06-17 в 14:17, admin, рубрики: big data, machine learning, pydata, python, sql, Блог компании Mail.Ru Group

PyDaCon meetup в Mail.ru Group: 22 июня - 1

22 июня Mail.ru Group проводит совместный митап с организаторами конференции PyCon Russia и PyData Moscow meetup. Вас ждут 2 секции: доклады по Python, состав которого был сформирован на основе общего списка докладов к PyCon Russia и PyData-трек от PyData Moscow meetup. В программе мероприятия: keynote, технические доклады, викторина и много полезного общения.
Читать полностью »

iOS-дайджест №7 (31 мая – 13 июня)

2019-06-13 в 14:01, admin, рубрики: apple, iOS, machine learning, swift, Блог компании JUG.ru Group, разработка мобильных приложений, разработка под iOS

iOS-дайджест №7 (31 мая – 13 июня) - 1
^{Источник картинки: businessinsider.com}
Астрологи объявили неделю новостей и анонсов в мире Apple и iOS-разработки. Чтобы рассказать про все, одной статьи не хватит, поэтому посмотрим на самые интересные и на те, которым еще не было уделено должного внимания.
Читать полностью »

Разбираемся с Machine Learning в Elastic Stack (он же Elasticsearch, он же ELK)

2019-06-13 в 4:05, admin, рубрики: Beats, big data, elastic stack, elasticsearch, kibana, logstash, machine learning, алгоритмы машинного обучения, анализ данных, Блог компании Gals Software, визуализация данных, машинное обучение

Разбираемся с Machine Learning в Elastic Stack (он же Elasticsearch, он же ELK) - 1

Напомним, что в основе Elastic Stack лежат нереляционная база данных Elasticsearch, веб-интерфейс Kibana и сборщики-обработчики данных (самый известный Logstash, различные Beats, APM и другие). Одно из приятных дополнений всего перечисленного стека продуктов — анализ данных при помощи алгоритмов машинного обучения. В статье мы разбираемся что из себя представляют эти алгоритмы. Просим под кат.
Читать полностью »

Архитектура нейронной сети для реализации алгоритма RL с возможностью задания одновременно выполняющихся действий

2019-06-05 в 9:58, admin, рубрики: machine learning, reinforcement learning, машинное обучение

Одна из классических схем нейронной сети для реализации алгоритма RL выглядит следующим образом:

Архитектура нейронной сети для реализации алгоритма RL с возможностью задания одновременно выполняющихся действий - 1

Где: inputs – входы в нейронную сеть; FC – (fully connected) архитектура скрытых слоев или CNN — FC – архитектура архитектура скрытых слоев (в зависимости о того, что подается на входы); outputs – выходы сети. Часто выходы сети это softmax слой, который выдает вероятность выполнения одного из действий из набора всех возможных действий.

Недостаток данной архитектуры, в том, что сложно реализовать выбор сразу нескольких одновременно выполняемых действий.

Для решения этой проблемы предлагается архитектура с слоем маски. Предлагаемая архитектура выглядит следующим образом:

Архитектура нейронной сети для реализации алгоритма RL с возможностью задания одновременно выполняющихся действий - 2

Эта архитектура полностью соответствует классической архитектуре, но также включает слой маски действий. Выход у данной архитектуры один – это значение ценности действия (группы одновременно выполняемых действий). Слой маски действий может быть реализован в соответствии с псевдокодом ниже:
Читать полностью »

PHDays 9: разбор заданий AI CTF

2019-06-01 в 11:27, admin, рубрики: adversarial machine learning, computer security, ctf, machine learning, Блог компании Positive Technologies, информационная безопасность, машинное обучение

Тема безопасности машинного обучения довольно хайповая последнее время и хотелось затронуть именно практическую ее сторону. А тут повод крутой — PHDays, где собираются самые разные специалисты из мира ИБ и есть возможность привлечь внимание к этой теме.

В общем-то мы сделали task-based CTF, с заданиями затрагивающих часть рисков безопасности применения техник машинного обучения.

PHDays 9: разбор заданий AI CTF - 1
Читать полностью »

Нейронные сети предпочитают текстуры и как с этим бороться

2019-05-29 в 10:57, admin, рубрики: bag-of-features, bag-of-words, bagnet, datasets, deep learning, image classification, image recognition, ImageNet, machine learning, ods, ods.ai, open data science, resnet, ResNet-50, Блог компании Open Data Science, искусственный интеллект, машинное обучение, мозг, обработка изображений

Нейронные сети предпочитают текстуры и как с этим бороться - 1

В последнее время вышло несколько статей с критикой ImageNet, пожалуй самого известного набора изображений, использующегося для обучения нейронных сетей.

В первой статье Approximating CNNs with bag-of-local features models works surprisingly well on ImageNet авторы берут модель, похожую на bag-of-words, и в качестве "слов" используют фрагменты из изображения. Эти фрагменты могут быть вплоть до 9х9 пикселей. И при этом, на такой модели, где полностью отсутствует какая-либо информация о пространственном расположении этих фрагментов, авторы получают точность от 70 до 86% (для примера, точность обычной ResNet-50 составляет ~93%).

Во второй статье ImageNet-trained CNNs are biased towards texture авторы приходят к выводу, что виной всему сам набор данных ImageNet и то, как изображения воспринимают люди и нейронные сети, и предлагают использовать новый датасет – Stylized-ImageNet.

Более подробно о том, что на картинках видят люди, а что нейронные сети Читать полностью »

Введение в глубокое обучение с использованием TensorFlow

2019-05-26 в 12:57, admin, рубрики: ashmig, deep learning, machine learning, neural networks, TensorFlow, Udacity, искусственный интеллект, машинное обучение

Полный курс на русском языке можно найти по этой ссылке.
Оригинальный курс на английском доступен по этой ссылке.

Введение в глубокое обучение с использованием TensorFlow - 1
Читать полностью »

Face Anti-Spoofing или технологично узнаём обманщика из тысячи по лицу

2019-05-23 в 12:22, admin, рубрики: deep learning, face anti-spoofing, face biometrics, face recognition, machine learning, ods, opendatascience, Блог компании Open Data Science, информационная безопасность, искусственный интеллект, машинное обучение, Научно-популярное

Биометрическая идентификация человека – это одна из самых старых идей для распознавания людей, которую вообще попытались технически осуществить. Пароли можно украсть, подсмотреть, забыть, ключи – подделать. А вот уникальные характеристики самого человека подделать и потерять намного труднее. Это могут быть отпечатки пальцев, голос, рисунок сосудов сетчатки глаза, походка и прочее.

Face Anti-Spoofing или технологично узнаём обманщика из тысячи по лицу - 1

Конечно же, системы биометрии пытаются обмануть! Вот об этом мы сегодня и поговорим. Как злоумышленники пытаются обойти системы распознавания лица, выдав себя за другого человека и каким образом это можно обнаружить.

Читать полностью »

Как мы боремся с копированием контента, или первая adversarial attack в проде

2019-05-16 в 12:59, admin, рубрики: adversarial attacks, computer vision, machine learning, object detection, Алгоритмы, машинное обучение, обработка изображений, Программирование

Привет.

Вы знали, что платформы для размещения объявлений часто копируют контент у конкурентов, чтобы увеличить количество объявлений у себя? Они делают это так: обзванивают продавцов и предлагают им разместиться на своей платформе. А иногда и вовсе копируют объявления без разрешения пользователей. Авито — популярная площадка, и мы часто сталкиваемся с такой недобросовестной конкуренцией. О том, как мы боремся с этим явлением, читайте под катом.

Как мы боремся с копированием контента, или первая adversarial attack в проде - 1