Попалась мне неплохая статья, про метод спектрального оценивания, который отлично подходит для короткого сигнала из суммы слабозашумленных гармоник. (-копия) Возможно, мои комментарии помогут читателю вникнуть в суть метода. Что немного огорчило, так это не до конца реализованные возможности метода. Метод применен для радиолокации — для быстрого определения направления на приходящие сигналы (угла θ) с последующей целью автоматической, надо понимать, адаптации системы. Но — численного определения этого угла автор не производит (причем по контексту это странно), хотя это определение вполне возможно. Имеем только красивые графики, по которым, получается, системе надо еще «ползать» и «ползать», определяя количество и расположение максимумов, что не совсем хорошо.
Иллюстрация автора упомянутой статьи
Читать полностью »
Рубрика «data mining» - 19
О применении параметрических методов спектрального оценивания в радиолокации — метод MUSIC. Дополнение к статье
2019-06-09 в 10:45, admin, рубрики: data mining, EVD, MDVR, music, RootMUSIC, SVD, Алгоритмы, математика, спектральное оцениваниеРешаем задачи на принятие решений на основе данных
2019-06-06 в 16:20, admin, рубрики: data mining, анализ данных, аналитика, визуализация данных, графики и диаграммы, задачи на смекалку, Занимательные задачки
Сейчас многие и очень многие люди (обычно их называют аналитиками, но в целом это может быть какая угодно специальность) готовят различные красивые таблицы и графики, на основании которых в идеале должны приниматься важные решения.
Понятия, которые начинаются со слов Data Driven, сейчас на слуху.
Но не всегда решения принимаются действительно на основе данных. А иногда с принятием решений есть объективные проблемы.
Материалов о том, как хорошие данные генерировать, хранить и красиво подавать достаточно.
Всем желающим немного поупражняться именно в принятии решений на основе кое-как полученных и кое-как оформленных данных — добро пожаловать под кат.
Читать полностью »
Сложные базы данных
2019-05-30 в 15:33, admin, рубрики: big data, data mining, nosql, sql, базы данных, верификация, Модель данных, поиск информации, ПрограммированиеО том, что объёмы данных, сложность их структуры, сложность связей между ними растут совершенно невероятными темпами, пишут на каждом заборе уже много лет. Вопрос же о том, что делать со всей этой свалкой обычно повисает в воздухе. Или, точнее, упирается в понятие «модель данных».Читать полностью »
Об исследовании нестационарных процессов
2019-05-27 в 17:14, admin, рубрики: data mining, Алгоритмы, вейвлеты, математика, нестационарный процесс, спектральная плотностьОбщеизвестно, что большинство временных рядов, с которыми приходится иметь дело исследователю, являются нестационарными, и их анализ ощутимо сложнее, чем изучение стационарных процессов. Поскольку интерес к вейвлетам, похоже, пошел на убыль, полезно обсудить некоторые иные «нестационарные» инструменты, пригодные, в первую очередь, для оценки мгновенных частот, а также для оценки мгновенных спектров.
В первую очередь есть смысл вспомнить об «аналитическом сигнале». Ниже «An-моделью» именуются как раз нахождение мгновенных импеданса и мощности тестового сигнала после достройки его мнимой частью (сдвинутой по фазе на π/2).
Но не всегда есть возможность возиться с преобразованием Гилберта. Ранее уже упоминалось об авторегрессионном способе спектрального оценивания, пригодном для работы с короткими последовательностями. Под «AR-моделью» здесь будет подразумеваться исследование коротких (из 5 сэмплов) перекрывающихся фрагментов исходного сигнала с целью определения коэффициентов авторегрессии 2-го порядка, нахождение по ним «полюсов» модели и т.д.
Автоматический импорт библиотек в IPython и Jupyter Notebook
2019-05-25 в 15:48, admin, рубрики: data mining, python, библиотеки, высокая производительность, закладки, искусственный интеллект, машинное обучениеВсем привет!
Сегодня мы разберем очень короткий, но полезный лайфхак о том, что нужно сделать, чтобы не вводить, к примеру, «import pandas as pd» по 10 раз в день.
Также не будем забывать, и автоматизировать и сокращать всё эффективно:
Для нашего лайфхака нужно:
- Перейти к ~/.ipython/profile_default;
- Создать папку с именем startup, если ее там еще нет;
- Добавить новый файл Python с именем start.py;
- Поместите ваш любимый импорт в этот файл;
- Запустить IPython или Jupyter Notebook, и ваши любимые библиотеки будут автоматически загружаться каждый раз!
Для наглядности, давайте всё визуализируем. Во-первых, местоположение start.py:
Здесь содержимое моего файла start.py:Читать полностью »
Подборка датасетов для машинного обучения
2019-05-19 в 16:23, admin, рубрики: data mining, dataset, python, анализ данных, данные, искусственный интеллект, машинное обучение, Питон, теги все читаютПривет, читатель!
Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов.
Меньше слов, больше данных.
Подборка датасетов для машинного обучения:
Ищем свободное парковочное место с Python
2019-05-10 в 11:29, admin, рубрики: data mining, python, искусственный интеллект
Я живу в хорошем городе. Но, как и во многих других, поиск парковочного места всегда превращается в испытание. Свободные места быстро занимают, и даже если у вас есть своё собственное, друзьям будет сложно к вам заехать, ведь им будет негде припарковаться.
Поэтому я решил направить камеру в окно и использовать глубокое обучение, чтобы мой компьютер сообщал мне, когда освободится место:
Это может звучать сложно, но на самом деле написать рабочий прототип с глубоким обучением — быстро и легко. Все нужные составляющие уже есть — нужно всего лишь знать, где их найти и как собрать воедино.
Поэтому давайте немного развлечёмся и напишем точную систему уведомлений о свободной парковке с помощью Python и глубокого обученияЧитать полностью »
Управление делами президента разместило тендер на услуги по мониторингу СМИ в сети Интернет
2019-05-09 в 11:42, admin, рубрики: data mining, будущее здесь, госзакупки, сми в интернетеУправление делами президента РФ разместило на сайте госзакупок тендер на Оказание услуг по мониторингу СМИ, социальных сетей и блогосферы информационно-телекоммуникационной сети «Интернет».
Крайний срок подачи заявок – 16.05.2019. Начальная (максимальная) цена контракта – 1 100 000 руб.
Читать полностью »
Моя численная проверка гипотезы «Абсолютных курсов»
2019-05-07 в 13:32, admin, рубрики: data mining, data science, RПривет!
Мне показалась интересной данная публикация: Получаем абсолютные курсы из парных кросс-курсов валют и я захотел проверить возможность найти этот аааабсолютный курс валюты через численное моделирование, вообще отказавшись от линейной алгебры.
Результаты получились интересными.
Читать полностью »
Получаем абсолютные курсы из парных кросс-курсов валют
2019-05-03 в 16:53, admin, рубрики: data mining, wolfram cloud, wolfram mathematica, Абсолютный курс валют, валюты, математика, финансы, финансы в IT
Проект: “Абсолютный курс валют”
Введение
О проекте
Проект “Абсолютный курс валют” занимается анализом парных валютных курсов, выделением из них абсолютных валютных курсов и их анализом.
В рамках проекта получена методика преобразования от парных курсов к абсолютным валютным курсам. Для этого определена абсолютная валюта ABS. Курсы всех имеющихся валют выражаются в отношении к ABS.
В проекте исследуются свойства абсолютных курсов. Исследуются различные применения абсолютных курсов валют.