Рубрика «кластеризация»
Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python
2024-03-08 в 19:01, admin, рубрики: affinity propagation, data science, dbscan, k-means, python, агломеративная кластеризация, алгоритмы машинного обучения, глубокое обучение, кластеризация, машинное обучение
Два сапога — пара, а три — уже community: как алгоритмы на графах помогают собирать группы товаров
2024-02-07 в 6:59, admin, рубрики: clustering, community detection, machine learning, ml, ozon tech, графовые алгоритмы, кластеризация, машинное обучениеПривет! Меня зовут Иван Антипов, я занимаюсь ML в команде матчинга Ozon. Наша команда разрабатывает алгоритмы поиска одинаковых товаров на сайте. Это позволяет покупателям находить более выгодные предложения, экономя время и деньги.
Neural Network Optimization: океан в капле
2023-03-16 в 14:51, admin, рубрики: cезон machine learning, neural networks, OpenVINO, tensorrt, Блог компании Doubletapp, дистилляция, искусственный интеллект, квантование, кластеризация, машинное обучение, нейронные сети, обработка изображений, Серверная оптимизацияВсех приветствую, меня зовут Антон Рябых, работаю в Doubletapp. Вместе с коллегой Данилом Гальпериным мы написали статью про важный этап в процессе обучения нейронных сетей и получения необходимых нам результатов — оптимизацию модели. Зачем нужно оптимизировать модель, если и так все работает? Но как только вы начнете разворачивать модель на устройстве, которое будет ее обрабатывать, перед вами встанет множество проблем.
Восстанавливаем результаты выборов в Государственную думу 2021 года с помощью машинного обучения
2021-11-13 в 15:29, admin, рубрики: big data, data science, pandas, plotly, python, scikit-learn, Алгоритмы, визуализация данных, выборы, Государственная дума, Инфографика, искусственный интеллект, кластеризация, машинное обучение
Результаты выборов в государственную думу, которые проходили 17-19 сентября 2021 вызывают сомнения у многих экспертов. Независимый электоральный аналитик Читать полностью »
Пирамида вместо сферы: нестандартная кластеризация атомов золота
2020-01-08 в 7:50, admin, рубрики: атомы, Блог компании ua-hosting.company, геометрия, запрещенная зона, кластер, кластеризация, молекулы, Научно-популярное, пирамида, симметрия, сфера, фигуры, физика, химия, Читальный зал
Мир, окружающий нас, является совместным результатом множества явлений и процессов из самых разных наук, выделить самую главную из которых фактически невозможно. Несмотря на некоторую степень соперничества, многие аспекты тех или иных наук обладают схожими чертами. Возьмем для примера геометрию: все, что мы видим, имеет определенную форму, из которых одной из самых распространенных в природе является окружность, круг, сфера, шар (тенденция на лицо). Стремление быть шарообразным проявляется как у планет, так и у атомных кластеров. Но в правилах всегда есть исключение. Ученые из Левенского университета (Бельгия) выяснили, что атомы золота формируют не сферические, а пирамидальные кластеры. Чем обусловлено такое необычное поведение атомов золота, какими свойствами обладают драгоценные пирамиды и как на практике можно применить это открытие? Об этом мы узнаем из доклада ученых. Поехали.Читать полностью »
Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy
2019-12-28 в 9:42, admin, рубрики: etcd, haproxy, patroni, postgresql, высоконагруженные системы, кластеризация, Серверное администрирование, системное администрированиеТак уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.
Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.
Чем ИТ может сильно помочь колхозу «Путь коммунизма» или агрохолдингу
2019-10-14 в 12:12, admin, рубрики: автоматизация, агрохолдинг, Анализ и проектирование систем, Блог компании SAS, данные, кластеризация, колхоз, оптимизация, планирование, потребитель, Программирование, рынок, севооборот, сельское хозяйство, техника, управление проектами, урожай
Было-стало после кластеризации и оптимизации культур
Колхозы и агрохолдинги в России почти не автоматизированы. А там на почти ровном месте с минимальными затратами можно получить до 10 % прироста доходности за счёт выбора оптимального портфеля выращиваемых культур, точного распределения техники по работам и вообще нормального планирования. Мы пришли на несколько объектов и провели расчёты для них, о чём сейчас я и расскажу.
Сформулировали три фундаментальных вопроса:
- В каких пропорциях что нужно вырастить и где, чтобы больше заработать?
- Когда какая техника и где будет работать?
- Что должно быть в парке техники, чтобы не возникало рисков срывов сроков проведения агроопераций или больших затрат на найм?
Мы решали все эти задачи, и там море интересных особенностей. Обсуждать мы будем абстрактный колхоз «Путь коммунизма», расположенный в случайном месте (нам просто понравились поля на спутниковой карте), потому что настоящих заказчиков я называть пока не могу.
В таких местах, конечно, действуют рациональные агенты. Но иногда встречается пьющий агроном, иногда попадается косячник-механизатор и другие узнаваемые персонажи из реальной жизни. Нас ждут град, сломанный комбайн и другие приключения. И вот мы пойдём в это всё со своей автоматизацией. Читать полностью »
Кластеризуем лучше, чем «метод локтя»
2019-09-17 в 11:06, admin, рубрики: Алгоритмы, Блог компании Инфосистемы Джет, кластеризация, машинное обучение, метод локтя
Кластеризация — важная часть конвейера машинного обучения для решения научных и бизнес-задач. Она помогает идентифицировать совокупности тесно связанных (некой мерой расстояния) точек в облаке данных, определить которые другими средствами было бы трудно.
Однако процесс кластеризации по большей части относится к сфере машинного обучения без учителя, для которой характерен ряд сложностей. Здесь не существует ответов или подсказок, как оптимизировать процесс или оценить успешность обучения. Это неизведанная территория.
Читать полностью »
Продвинутый подход к обнаружению границ на примере стенок сосуда
2019-02-28 в 4:06, admin, рубрики: clusterization, DICOM, DICOM Viewer, edge detection, inobitec, mri, Алгоритмы, ангиография, Блог компании Inobitec, инобитек, кластеризация, МРТ, обнаружение границ, обработка изображений, сосуды, СофтИнтересная информация
На рисунке ниже изображена трехмерная реконструкция сердца, полученная в результате работы современного томографа:
Для масштаба указана толщина луковицы аорты — 3.2 см, подумать только! Однако, когда у людей возникают проблемы с сердцем из-за сосудов, то речь, как правило, идет вовсе не о таких больших. На изображении видно, что сердце окружено более мелкими сосудами, и некоторые из них ответвляются прямо из крупных артерий. Это так называемые коронарные артерии, которые питают кровью непосредственно сердце. Если в них происходит сужение просвета (стеноз), например, из-за образования кальция, то уменьшается поток крови. Когда стеноз ярко выражен, то случается некроз ткани, другими словами инфаркт. Далее я расскажу о нашем подходе к вычислению границ сосудов, который в результате позволяет автоматически находить сужения и давать им оценку.
Читать полностью »
LLTR Часть 0: Автоматическое определение топологии сети и неуправляемые коммутаторы. Миссия невыполнима?
2018-06-21 в 12:35, admin, рубрики: butterfly, LLTD, LLTR, граф, графы, Какие еще добавить теги?, кластеризация, построение топологии сети, распределенные системы, Сетевые технологии, топология сети, Хакерская ценность
Как построить топологию сети на канальном уровне, если в нужной подсети используются только неуправляемые свитчи? В статье я постараюсь ответить на этот вопрос.
Начну с причины возникновения LLTR (Link Layer Topology Reveal).
У меня был один “велосипед” - синхронизатор больших файлов “на полной скорости сети”, способный за 3 часа целиком залить 120 GiB файл по Fast Ethernet (100 Мбит/с; 100BASE‑TX; дуплекс) на 1, 10, 30, или 200 ПК. Это был очень полезный “велосипед”, т.к. скорость синхронизации файла почти не зависела от количества ПК, на которые нужно залить файл. Все бы хорошо, но он требует знания топологии сети для своей работы.
Этим файлом был VHD с операционной системой, программами, и т.п. Файл создавался на мастер‑системе, а затем распространялся на все остальные ПК. VHD был не только способом доставки системы на конечные ПК, но и давал возможность восстановления исходного состояния системы при перезагрузке ПК. Подробнее в статье: “Заморозка системы: история перехода с EWF на dVHD”.
Можно продолжить цепочку дальше, но на этом я прервусь.
Существующие протоколы обнаружения топологии канального уровня (LLDP, LLTD, CDP, …) для своей работы требуют соответствующей поддержки их со стороны всех промежуточных узлов сети. То есть они требуют как минимум управляемых свитчей, которые бы поддерживали соответствующий протокол. На Хабре уже была статья, как используя эти протоколы, “определить топологию сети на уровнях 2/3 модели OSI”.
Но что же делать, если промежуточные узлы – простые неуправляемые свитчи?
Если интересно как это можно сделать, то добро пожаловать под кат. Обещаю наличие множества иллюстраций и примеров.