Рубрика «beautifulsoup»

BeautifulSoup используется для эффективного поиска элементов на html странице.

Установка:

pip install beautifulsoup4, lxml

Для запросов установите библиотеку requests, если она у вас не установлена:

pip install requests

Тренироваться будем на "тренажёре".

Получаем HTML-документ по HTTP и строим DOM-дерево с помощью BeautifulSoup

from bs4 import BeautifulSoup
import requests

response = requests.get('http://parsingme.ru/beautifulsoup/1.html')
soup = BeautifulSoup(response.text, 'lxml')
print(soup)

Первым параметром мы передаем html-код страницы, а вторым парсер. Помимо lxml (это лучший вариант) парсер может быть:

Разбираем на примере Russia Today, Коммерсант и Meduza*

Парсинг российских СМИ - 1

Читать полностью »

Когда только начинаешь кодить, многое приходится делать вручную: переименовывать файлы, проверять данные, снова и снова запускать тест. Это нормально, но рано или поздно приходит мысль: «А можно ли сделать так, чтобы всё работало само?» 

Всё, конечно, не заработает, но Python заметно сокращает рутину. Например, с его помощью можно скачивать файлы, отправлять отчёты, проверять API, заходить в браузер и кликать по кнопкам. Если какое-то действие приходится выполнять слишком часто — значит, пора его автоматизировать.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js