Рубрика «парсинг» - 3

в 15:42, , рубрики: 223-ФЗ, postgresql, redis, swift, vapor, web scraping, госзакупки, ЕИС, парсинг

Делаю pet-проект — приложение, чтобы свайпать тендеры в телефоне и видеть AI-скоринг заказчика. Идея простая: свайпнул, посмотрел «ваш шанс — высокий/средний/низкий», дальше принимаешь решение, лезть в этот тендер или нет.

Чтобы скоринг был не из воздуха, нужно собрать всю историю заказчика — какие контракты у него были, как он платил, какой типичный дисконт от стартовой цены. Источник один — ЕИС zakupki.gov.ru. И вот тут я наступил на грабли которыми и хочу поделиться.

Если кто тоже думает парсить госзакупки — пост сэкономит вам пару недель.

Что у Минфина есть из официального

Читать полностью »

в 8:16, , рубрики: hh.ru, pandas, python, sql, анализ данных, аналитика, зарплаты, парсинг, рынок труда, статистика

Привет! (И тебе, HR, который ставит в вакансию «Python, SQL, Linux, Docker, K8s, Spark, Airflow, английский C1, опыт 1-3 года, зарплата 40-60К». Особенно тебе.)

Сегодня будем препарировать рынок Python-разработки в России. По-настоящему. С графиками, цифрами и верой в светлое будущее.

Поехали.

P.S Если вводная часть того как я анализировал не интересна смело переходи к главе 2, не мучай себя избыточной информацией))

Читать полностью »

в 10:31, , рубрики: база дынных, базы данных, законодательство, защита данных, защита данных пользователей, парсинг, парсинг данных, парсинг контента, парсинг сайта, парсинг сайтов

в 11:06, , рубрики: авторское право, антимонопольное право, базы данных, веб-скрапинг, интеллектуальная собственность, парсинг, персональные данные, скрапинг, судебная практика

Компании используют парсинг каждый день: мониторинг цен, сбор контактов, агрегация объявлений. При этом большинство не задумывается о правовых рисках, ссылаясь на то, что «интернет открытый». В статье разбираю, что говорит закон и чем закончились реальные споры.

Парсинг (скрапинг) — автоматизированный сбор данных с сайтов. Технически всё выглядит просто: задаёшь условия, программа проходится по сайту, сортирует данные, выдаёт отчёт. Однако юридически могут возникать определенные риски.

Когда парсер проходится по сайту, он потенциально затрагивает сразу несколько правовых режимов:

в 5:21, , рубрики: webassembly, парсинг

В статьях 2021 года можно встретить довольно пессимистичный вывод: «ресурс окончательно уничтожил возможность сбора информации с помощью Selenium» . Но, как оказалось, это не совсем так.

Читать полностью »

в 8:06, , рубрики: cheerio, next.js, sharp, web 1.0, деградация, парсинг, ретровэб

Современные проблемы требуют современных решений. Когда важные люди в высоких кабинетах планомерно замедляют привычные сервисы, режут трафик и заставляют глобальную сеть работать со скоростью уставшего почтового голубя, у любого нормального инженера рано или поздно сдают нервы.

Смотреть на то, как твой вылизанный бандл грузится рывками из-за отваливающихся узлов связи, больше нет сил. Все эти бесконечные битвы за 100/100 в Google PageSpeed, микро-оптимизации LCP и внедрение Edge-кэширования теряют смысл, когда пакеты просто не доходят до адресата.

И в какой-то момент я осознал простую истину: Читать полностью »

в 6:16, , рубрики: AI, api, claude, Puppeteer, авиабилеты, антибот, монетизация, парсинг, реверс-инжиниринг

С чего всё началось

Мы периодически летаем на Бали, и с каждым годом наша компания растёт. Сначала летали вдвоём с женой, потом втроём с дочкой, а в этом году полетит вообще 4 взрослых + 1 ребёнок.

В декабре 2025, устав от уральской зимы, я открыл сервис по поиску дешёвых авиабилетов. Билеты по маршруту Екатеринбург–Москва–Бали стоили дорого. Подписался на уведомления о ценах и стал ждать.

Читать полностью »

в 11:10, , рубрики: api, claude, fullstack разработка, kotlin, nestjs, open source, postgresql, Prisma, Trigrams, парсинг

TL;DR: Я хотел просто сделать JSON с хадисами. В итоге написал свой парсер для PDF, боролся с Gradle и доменами в Maven Central, ломал генерацию картинок в Satori и оптимизировал Fuzzy Search с 5 секунд до 2.7 секунд с помощью AI. Это история о том, как пет-проект превратился в экосистемо на NestJS, Prisma и Redis.

Введение: "Всё должно было быть просто"

Идея казалась элементарной: сделать удобное API для хадисов — изречений Пророка Мухаммада (мир ему). Казалось бы, 2026 год на дворе, всё уже должно быть оцифровано, лежать на GitHub в красивом JSON, бери и пользуйся.

Я начал гуглить. Реальность ударила сразу:

в 12:07, , рубрики: Агент, клиенты, парсинг, поисковый маркетинг, поисковый робот, рассылка, спам

Meta Description: Сравнение подходов к лидогенерации в Telegram: массовые рассылки и AI-таргетирование. Данные, конверсии, риски бана, архитектура фильтрации.

Два подхода к Telegram-маркетингу

В 2026 году Telegram — один из главных каналов B2B-лидогенерации в рунете. Но подходы к нему диаметрально разные:

Подход A: Массовая рассылка. Купить базу, написать всем, надеяться на 0.5% конверсию.

Подход B: Таргетированная лидогенерация. Найти релевантных людей в группах, написать персонализированно, получить 15-25% ответов.

Разберём оба — с цифрами, рисками и технической стороной.

Читать полностью »

в 11:16, , рубрики: beautifulsoup, scraping, парсинг

BeautifulSoup используется для эффективного поиска элементов на html странице.

Установка:

pip install beautifulsoup4, lxml

Для запросов установите библиотеку requests, если она у вас не установлена:

pip install requests

Тренироваться будем на "тренажёре".

Получаем HTML-документ по HTTP и строим DOM-дерево с помощью BeautifulSoup

from bs4 import BeautifulSoup
import requests

response = requests.get('http://parsingme.ru/beautifulsoup/1.html')
soup = BeautifulSoup(response.text, 'lxml')
print(soup)

Первым параметром мы передаем html-код страницы, а вторым парсер. Помимо lxml (это лучший вариант) парсер может быть:

1...234...10...12
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js