Рубрика «парсинг данных»
Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?
2026-05-13 в 10:31, admin, рубрики: база дынных, базы данных, законодательство, защита данных, защита данных пользователей, парсинг, парсинг данных, парсинг контента, парсинг сайта, парсинг сайтов
Парсинг данных в Python: от простых строк до датасетов
2025-08-24 в 5:26, admin, рубрики: python, python 3, анализ, анализ данных, парсинг, парсинг данных, парсинг контентаЧто будем делать
В этой статье мы разберём основы парсинга данных в Python. Мы начнём с простых строк с помощью регулярных выражений, перейдём к парсингу HTML с использованием библиотеки BeautifulSoup, познакомимся с pandas для работы с данными и, наконец, соберём всё вместе, чтобы спарсить реальный датасет (например, топ фильмов с IMDb) и сохранить его в CSV-файл.
Все примеры будут сопровождаться кодом на Python, который вы можете запустить самостоятельно. Для выполнения кода вам понадобится установить необходимые библиотеки: beautifulsoup4 requests pandasЧитать полностью »
200 000+ снимков мусора: что мы узнали о датасетах
2025-07-03 в 13:38, admin, рубрики: искусственный интеллект, машинное обучение, открытые данные, парсинг данных, разметка данных, разметка датасета, сбор данных для ИИ, управление проектамиВ нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко.
Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки.
Как мы научили нейросеть узнавать 10 000 лошадей «в лицо» и чуть не сошли с ума
2025-07-02 в 14:18, admin, рубрики: нейросети для агропрома, нейросети для табунов и конюшен, нейросети для ферм, парсинг данных, разметка данных, разметка датасета, сбор данных для ИИВ нашей работе хватает безумных задач. Мы собирали датасеты с уличными драками, где сами вживались в роль дебоширов перед камерами, и делали много чего еще, о чем не всегда можно рассказать. В общем, мы в своей работе привыкли к странным задачам. Но когда к нам пришли с просьбой научить искусственный интеллект узнавать «в лицо» 10 000 лошадей, мы поняли — будет интересно...
Здесь было все: почти сорванный дедлайн, паника, отчаяние и, как вишенка на торте, нейросеть, которую мы создали, чтобы обучить другую нейросеть.
Кони-авторитеты и спокойствие стада
Если вы отказались от регулярных выражений, то теперь у вас три проблемы
2023-04-10 в 16:00, admin, рубрики: regex, regexp, ruvds_перевод, Блог компании RUVDS.com, композиция, ненормальное программирование, парсеры, парсинг данных, Программирование, Регулярные выражения
Известная шутка программистов гласит, что если решение вашей проблемы включает в себя парсинг текста при помощи регулярного выражения, то теперь у вас есть две проблемы. Некоторые программисты, прочитав шутку, решают попробовать иной подход. Возможно, регулярные выражения не так уж нужны. Возможно, задачу можно решить простым split строки или чем-то подобным. Однако другие могут задуматься немного глубже и задаться вопросом: «А если я сделаю нечто настолько дерзкое, что в результате получу три проблемы?» Мой пост написан в таком духе!
В нём используется код на Python, однако его легко можно адаптировать под любой язык с поддержкой функций высшего порядка.
Читать полностью »