Разделим парсинг (скраппинг) сайтов на две подзадачи.
- Собственно сам парсинг – поиск данных, которые нам интересны на страницах.
- Осмысливание полученных данных.
Рубрика «бд» - 4
Парсинг сайтов-магазинов. Личный опыт и немного how-to
2013-02-14 в 10:46, admin, рубрики: .net, бд, парсинг, поиск, Программирование, метки: бд, парсинг, поискPostgreSQL — Asynchronous Replication + Pooling + Failover
2012-11-15 в 8:59, admin, рубрики: pgpool, postgresql, postgresql 9.1, Администрирование баз данных, бд, высокая производительность, репликация базы данных, метки: pgpool, postgresql 9.1, бд, репликация базы данныхВариант простой для понимания асинхронной master-slave репликации на базе Postgresql 9.1
Впервые встала задача единоличной реализации полноценной репликации и впервые был написан мини-мануал, который и хочу здесь представить.
Для системы репликации Мастер-Слейв использовалась комбинация
- PostgreSQL 9.1 (БД) +
- Bucardo 4.5 (репликатор) +
- PgPool-II (пулер и файловер)
Создание графиков с помощью pChart. Данные из MySQL
2012-07-25 в 16:20, admin, рубрики: php, бд, Веб-разработка, график, легко, построение графиков, метки: PHP, бд, график, легко, построение графиковЗдравствуйте читатели! В этом посте я хотел рассказать вам о построении графиков с помощью pChart. Сложного в нем ничего нет, но стандартно(позже, на сайте девелопера нашел и MySQL инфу) он берет данные из файла. Мне это никак не подходило под свои нужны, и я начал ковыряться в скрипте. Результат ниже.
Итак, что нам понадобится:
1. Модуль GD(для апаче естественно).
2. Скачать библиотеку pChart 1.27.
Чтобы долго все это дело не описывать, я сразу дам готовый скрипт для построения графиков, данные берутся из БД.
Читать полностью »
Скорость работы корпоративных приложений
2012-03-19 в 3:16, admin, рубрики: java, oracle, sql, бд, СУБД, метки: c++, java, oracle, бд, СУБД Никто не будет спорить, что современные процессоры очень и очень быстры. Но вместе с тем, работая на крупном предприятии, всё время сталкиваешься с невероятной тормознутостью программного обеспечения. Никуда не годится, когда процедура закрытия месяца в бухгалтерии идёт больше суток и если что-то где то не так, то расчёт приходится запускать заново. Давайте поговорим об этом…
Читать полностью »
Блог компании Centrobit / Подход к проектированию платформы интернет дистрибьюции с помощью шаблонов
2012-03-02 в 12:11, admin, рубрики: 1С, Agora, api, B2B, Centrobit, ecommerce, MAPPINGP, orm, php, smarty, sql, бд, бронь, дистрибуция, дистрибьюция, классы, коды, маппинг, объект, ошибки, Платформа, примеры, продукт, проектирование, разработка, центробит, шаблоны, электронная коммерция Привет, читатели!
Хочу рассказать о проекте Agora, которым занимается наша команда.
Agora — это платформа, позволяющая организовать дистрибьюцию товаров через интернет. Платформа интегрируется с ERP дистрибьютора и автоматизирует прием заказов, просмотр остатков, получение актов взаиморасчетов и много другое. Пользователь работает в веб-интерфейсом платформы и все его действия отражаются в ERP дистрибьютора.
В статье “Как я написал «драфт» системы В2В” в блоге нашей компании я описал некоторые проблемы, c которыми мы столкнулись, создавая нашу платформу.Читать полностью »
PHP / Много текста про практику работы с PHPUnit/DbUnit
2012-02-25 в 20:00, admin, рубрики: dbunit, mysql, php, phpunit, unit test, бд, костыль, модульное тестирование, метки: dbunit, mysql, PHP, phpunit, unit test, бд, костыль, модульное тестирование Доброго времени суток, друзья!
Хочу поделиться опытом по борьбе с PHPUnit/DbUnit в связке с MySQL. Далее небольшая предыстория.
Краткая предыстория
В процессе написания одного веб-приложения возникла необходимость тестировать код на PHP, интенсивно взаимодействующий с БД MySQL. В проекте в качестве фреймворка модульного тестирования использовался порт xUnit — PHPUnit. В результате было принято решение писать тесты для модулей, непосредственно взаимодействующих с базой, подцепив плагин PHPUnit/DbUnit. Дальше я расскажу о тех трудностях, которые возникли при написании тестов и о том, каким способом я их преодолел. В ответЧитать полностью »