Информация, находящаяся в свободном доступе на веб-сайтах сети Интернет, с одной стороны, кажется общедоступной — если что-то выложено в сеть, то это можно скопировать тем или иным способом. С другой — при попытках автоматизировать сбор и анализ таких данных с какой-нибудь целью (например веб-поиска или статистики), как оказывается, возникает множество проблем в деталях. Поэтому не удивительно, что успешные системы такого рода единичны в глобальном масштабе — Google, Bing, Baidu и Яндекс. В данной статье приведу некоторые примеры с которыми столкнулся лично автор в попытках отладить сбор данных о рынке труда (вакансии, резюме и зарплаты) с публичных веб-сайтов. Это может пригодиться тем, кто вдохновится идеями типа I Don't Need No Stinking API: Web Scraping For Fun and Profit и решит парсить контент с чужих сайтов напрямую вместо того, чтобы договориться с владельцами о доступе к данным по API или другим эффективным способом.Читать полностью »
Рубрика «html» - 54
Проблемы извлечения информации с веб-страниц автоматизированным способом
2017-11-06 в 10:57, admin, рубрики: curl, html, phantomjs, scraping, xpath, веб-аналитика, поисковые технологииДайджест свежих материалов из мира фронтенда за последнюю неделю №287 (30 октября — 5 ноября 2017)
2017-11-05 в 21:42, admin, рубрики: angular, css, ES6, html, html5, javascript, JS, React, vue, Блог компании Zfort Group, браузеры, дайджест, подкасты, Разработка веб-сайтов, ссылки, фронтендПредлагаем вашему вниманию подборку с ссылками на новые материалы из области фронтенда и около него.
Пробел в знаниях основ веб-разработки
2017-11-03 в 11:14, admin, рубрики: css, html, javascript, React, ReactJS, SPA, Разработка веб-сайтов, фронтенд-фреймворки
Вчера я разговаривал с другом, который ищет разработчика на открытую вакансию. Он выразил некоторое разочарование, которое я тоже испытываю в последнее время:
У меня проблемы с поиском фронтенд-разработчика, в основном, по WP, Foundation, CSS, JS, на низкоуровневую позицию. Не могу понять, в чём дело. Ни у кого из кандидатов нет «базовых знаний» ничего из перечисленного. Но они могут делать сайты на React или других JS-фреймворках, или на базе WP-шаблонов. Но если я говорю, что нужно сделать простые изменения в CSS, смотрят пустыми глазами… Или какую-нибудь мелочь на чистом JS, ничего.
Нет недостатка в учебных лагерях, курсах, полно ресурсов для изучения фронтенд-разработки. Но я собеседовал кучу ребят из этих учебных лагерей и думаю, что там серьёзно недооценивают важность CSS и основ JavaScript.
Конечно, есть ограничения на то, сколько можно усвоить за 12 недель обучения. Но огромная часть проблемы в том, что наша индустрия восхищается новым, одержима самыми последними и прекрасными SPA-фреймворками, в то же время обесценив CSS и «старые» имплементации.
Читать полностью »
Кроссбраузерная вёрстка
2017-11-02 в 14:17, admin, рубрики: css, html, pixel perfect, Блог компании HTML Academy, браузеры, верстка, для начинающих, для новичков, кросс-браузерность, кроссбраузерность, новичкам
Что такое кроссбраузерная вёрстка? Какие есть браузеры и нужен ли пиксель-пёрфект?
Список лучших инструментов для web-анимации
2017-11-02 в 12:51, admin, рубрики: canvas, css, html, javascript, Web-animation
Список лучших инструментов для web-анимации. SVG/CSS/Canvas/DOM анимация + GUI инструменты для генерации кривых Безье и CSS анимации.
В будущем список будет дополнен книгами и видео-курсами по web-анимации. Если вы заметите, что какого-то стоящего инструмента не присутствует — пожалуйста, напишите об этом и я добавлю его.
Также буду рад отзывам на инструменты из текущего списка, с помощью ваших отзывов я смогу сделать описание инструментов более полным.
FrontFest.Kvartirniki — говорим о будущем JavaScript и судьбе фронтенд-разработчика
2017-11-02 в 8:22, admin, рубрики: css, frontfest, html, javascript, Блог компании 2ГИС, квартирники, конференция, Разработка веб-сайтов, фронтенд
На FrontFest будет много общения — живых неформальных разговоров в формате, который мы называем квартирником. На квартирниках мы спорим с экспертами и другими участниками, обсуждаем важные и острые темы. Все проходит в формате прямого диалога, потому получается динамично и увлекательно. По-умному это называют дискуссионными панелями. Но это как «лекция» и «делегат» — звучит скучно, а у нас будет улетно.
Каждый квартирник проходит на определенную тему, которую задают и разгоняют наши эксперты. Первый квартирник — о будущем JavaScript глазами Владимира Дашукевича и Евгения Гусева. На втором обсуждаем с Владиславом Козулей профессию фронтендера с разных сторон. И на финал рефлексируем на тему происходящего в мире фронтенд-разработки с Никитой Прокоповым и Виктором Грищенко. Квартирники переходят в виски-энд, где дискуссии идут еще в более неформальной плоскости.
Рассказываем в статье, почему эти темы важнее других и чем хороши эксперты.
Читать полностью »
Типографика и современный CSS
2017-10-31 в 5:50, admin, рубрики: css, html, web-разработка, Блог компании Wargaming, Разработка веб-сайтов
Пока одни новые CSS свойства, отвечающие за разного рода красивости (вроде filter, mix-blend-mode или transition) привлекают внимание всех и каждого, другие многим кажутся недостойными внимания и мало освещаются в интернете. Взять хотя бы свойства, отвечающие за типографику. Многие из них работают уже давно, но известны немногим. А зря, ведь они тоже могут быть весьма полезными и эффектными. Давайте же исправим эту несправедливость и осветим то, что обычно остается в тени.
Читать полностью »
Задачка про страницу в три столбца, один из них в сто пикселей
2017-10-30 в 10:26, admin, рубрики: css, html, web-разработка, верстка, лабораторные работы, оформление кодаЭта статья задумывалась как небольшое руководство к выполнению лабораторной работы для студентов, начинающих изучать веб-технологии.
Разработать страницу, состоящую из трех разноцветных столбцов. Левый столбец шириной 100 пикселей, центральный и правый занимают все оставшееся до края страницы место равномерно. Высота всех трех 100% страницы. Не должно быть скроллбара и белых полос вокруг страницы.
После нескольких лет работы во фронтенд-разработке, задачи подобные этой классифицируются как «5 минут, сто раз так делал», ведь, казалось бы, страница в три столбца, что может быть проще. Но проблемы у студентов возникли на всех стадиях решения задачи: от понимания сути и разработки структуры до защиты лабораторной работы.
И если, обучение чтению условия задачи и ораторскому мастерству лежит за гранью предмета «Основы веб-технологий», то отрефлексировать поразившее меня многообразие идей структурирования такой простой раскладки кажется интересным.
Студенты продемонстрировали в общей сложности около десяти разных вариантов решения этой задачи. От совсем никуда не годных до вполне приемлемых. Рассматривать я, разумеется, буду только вменяемую половину, то есть будет пять примеров.
Читать полностью »
Дайджест свежих материалов из мира фронтенда за последнюю неделю №286 (23 — 29 октября 2017)
2017-10-29 в 21:46, admin, рубрики: angular, css, ES6, html, html5, javascript, JS, React, vue, Блог компании Zfort Group, браузеры, дайджест, подкасты, Разработка веб-сайтов, ссылки, фронтендПредлагаем вашему вниманию подборку с ссылками на новые материалы из области фронтенда и около него.
Разработка 2D песочницы на JavaScript с нуля
2017-10-28 в 18:08, admin, рубрики: Gamedev, html, javascript, skanersoft, причем тут linux?, Программирование, разработка игрКак-то для своих некоторых планов мне потребовалось сделать небольшую песочницу в 2D пространстве с базовыми возможностями:
1. Передвижение по игровому миру
2. Физика при движении, столкновения
3. Создание блоков
4. Удаление блоков
Графическое исполнение меня не беспокоило, поэтому я решил оформить все в серых тонах, выглядит это так:
Читать полностью »