В виду отсутствия хорошего материала по парсингу с помощью скриптового браузера SlimerJS и наличия свободного времени решил написать небольшую статью.
Рубрика «парсинг сайтов» - 2
Простой парсинг сайтов с помощью SlimerJS
2015-01-14 в 8:57, admin, рубрики: javascript, slimerJS, парсинг сайтов
Grab — новый интерфейс для работы с DOM-деревом HTML-документа
2013-03-19 в 22:11, admin, рубрики: data mining, dom, html, lxml, python, xpath, парсинг сайтов, метки: data mining, dom, html, lxml, python, xpath, парсинг сайтовНе так страшен черт, или сколько же реально используемых доменов
2012-12-19 в 19:47, admin, рубрики: python, парсинг сайтов, Песочница, метки: python, парсинг сайтовПонадобилось мне собрать определенного рода статистику по вебу. Но поисковики даже приблизительно не захотели выдавать стату, какими только запросами я их ни кормил. В итоге, по исконно русской традиции, принялся писать свой «поисковик». Итак, начнем.
Первое, что нам необходимо — список всех зарегистрированных доменов. Читать полностью »
Что такое Grab:Spider?
2012-04-18 в 3:30, admin, рубрики: grab, grablab, python, spider, парсинг сайтов, метки: grab, grablab, spider, парсинг сайтовНикак не могу дописать документацию по Grab:Spider — это часть библиотеки Grab — для написания асинхронных пауков. Подумал выкладывать куски документации на хабрахабр. Думаю, с некоторым фидбэком дело быстрей пойдёт. На данный момент в документации есть лишь введение, описывающие в общих чертах, что за это за зверь такой Grab:Spider. Его и выкладываю.Читать полностью »
Использование Grab:Spider для парсинга сайтов
2012-04-17 в 6:07, admin, рубрики: grab, grablab, python, парсинг сайтов, метки: grab, grablab, парсинг сайтовВсем привет!
Я активный пользователь open-source фрэймворка Grab (itforge уже писал о нем здесь и здесь) и 1/2 проекта GrabLab (который занимается собственно коммерческой эксплуатацией фрэймворка). Т.к. парсим сайты мы часто, помногу и задания как правило совершенно не похожи друг на друга, хотелось бы поделится своим опытом в вопросе построения типичного парсинг проекта.
Немного про инструментарий который помогает мне в работе
В качестве рабочего браузера я использую FireFox с плагинами HttpFox (анализировать входящий/исходящий http трафик), XPather (позволяет проверять xpath выражения), SQLite Manager (просмотр sqlite таблиц), код набираю в emacs, где активно использую сниппеты (YASnippets) для часто встречающихся конструкций.
Из-за специфики фрэймворка, как правило, на первом этапе сайт полностью (или если данных много — то частично, для удобства последующей разработки) сохраняется в локальный кэш на базе mongodb, что очень экономит время, т.к. считывание страниц идет из кэша.