Рубрика «парсинг данных»

в 11:17, , рубрики: llm-агент, python, автоматизация, биология, биотехнология, дзен, ии-агенты, парсинг данных, телеграм-бот, телеграм-каналы

Короткий дисклеймер: Проект живой, ленту бот крутит дважды в сутки. Почитать готовый результат можно в моём Telegram‑канале Bio_news (ссылка в конце), а покритиковать — тут. А теперь к тому, как вся эта система устроена.

  • Введение (Кто меня пнул или что меня пнуло?)

    Биология, как известно, — наука XXI века. Сейчас ею занимаются все, кому не лень, ну а те немногие, кто не занимается профессионально, как минимум активно интересуются. При этом «мокрых» данных генерируется огромное количество, а уж in silicoЧитать полностью »

в 12:26, , рубрики: creo, low-code, windchill, автоматизация, парсинг данных

в 10:31, , рубрики: база дынных, базы данных, законодательство, защита данных, защита данных пользователей, парсинг, парсинг данных, парсинг контента, парсинг сайта, парсинг сайтов

в 5:26, , рубрики: python, python 3, анализ, анализ данных, парсинг, парсинг данных, парсинг контента

Что будем делать

В этой статье мы разберём основы парсинга данных в Python. Мы начнём с простых строк с помощью регулярных выражений, перейдём к парсингу HTML с использованием библиотеки BeautifulSoup, познакомимся с pandas для работы с данными и, наконец, соберём всё вместе, чтобы спарсить реальный датасет (например, топ фильмов с IMDb) и сохранить его в CSV-файл.

Все примеры будут сопровождаться кодом на Python, который вы можете запустить самостоятельно. Для выполнения кода вам понадобится установить необходимые библиотеки: beautifulsoup4 requests pandasЧитать полностью »

в 13:38, , рубрики: искусственный интеллект, машинное обучение, открытые данные, парсинг данных, разметка данных, разметка датасета, сбор данных для ИИ, управление проектами

В нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко.

Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки.

Читать полностью »

в 14:18, , рубрики: нейросети для агропрома, нейросети для табунов и конюшен, нейросети для ферм, парсинг данных, разметка данных, разметка датасета, сбор данных для ИИ

В нашей работе хватает безумных задач. Мы собирали датасеты с уличными драками, где сами вживались в роль дебоширов перед камерами, и делали много чего еще, о чем не всегда можно рассказать. В общем, мы в своей работе привыкли к странным задачам. Но когда к нам пришли с просьбой научить искусственный интеллект узнавать «в лицо» 10 000 лошадей, мы поняли — будет интересно...

Здесь было все: почти сорванный дедлайн, паника, отчаяние и, как вишенка на торте, нейросеть, которую мы создали, чтобы обучить другую нейросеть.

Кони-авторитеты и спокойствие стада

Читать полностью »

в 16:00, , рубрики: regex, regexp, ruvds_перевод, Блог компании RUVDS.com, композиция, ненормальное программирование, парсеры, парсинг данных, Программирование, Регулярные выражения

Если вы отказались от регулярных выражений, то теперь у вас три проблемы - 1


Известная шутка программистов гласит, что если решение вашей проблемы включает в себя парсинг текста при помощи регулярного выражения, то теперь у вас есть две проблемы. Некоторые программисты, прочитав шутку, решают попробовать иной подход. Возможно, регулярные выражения не так уж нужны. Возможно, задачу можно решить простым split строки или чем-то подобным. Однако другие могут задуматься немного глубже и задаться вопросом: «А если я сделаю нечто настолько дерзкое, что в результате получу три проблемы?» Мой пост написан в таком духе!

В нём используется код на Python, однако его легко можно адаптировать под любой язык с поддержкой функций высшего порядка.
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js