Основная цель статьи — поделиться практическим опытом создания и анализа индексов с помощью Spark SQL. Разумеется, это настолько обширная тема, что данная статья только поверхностно коснётся основных подходов в контексте упомянутой задачи. Создание индексов часто требуется после сложного анализа огромного числа документов. Допустим, аналитическая система записывает в лог уникальный идентификатор документа и ряд его метрик. Необходимо проанализировать этот отчёт, чтобы выбрать только необходимые идентификаторы документов.
Рубрика «php» - 112
Как начать разработку крупного, нетипичного проекта. Практическое пособие
2016-07-07 в 7:57, admin, рубрики: AngularJS, php, website development, yii, yii2, ооп, Разработка веб-сайтов
Выбор платформы для бекенда
Чтобы создать качественное и производительное Web-приложение, необходимо уделить должное внимание выбору платформы для разработки. Этим нужно заняться сразу же после того, как вы ознакомились, какие задачи должно выполнять это приложение.
В данном случае, немаловажным фактором в техническом задании была предположительно высокая нагрузка на сервис. На рынке есть много хороших инструментов, с помощью которых можно решить поставленную задачу. Некоторые мы используем в разработке, но в этот раз выбор все-таки пал на Yii2.Читать полностью »
Сигналы и слоты в PHP. Такие же как в Qt. Ну почти
2016-07-06 в 23:53, admin, рубрики: just like in Qt, open source, packagist, php, php5, qt, signals and slots, slot, ПрограммированиеСигналы и слоты — подход, используемый в некоторых языках программирования и библиотеках (например, Boost и Qt) который позволяет реализовать шаблон «наблюдатель», минимизируя написание повторяющегося кода. Концепция заключается в том, что компонент (часто виджет) может посылать сигналы, содержащие информацию о событии (например: был выделен текст «слово», была открыта вторая вкладка). В свою очередь другие компоненты могут принимать эти сигналы посредством специальных функций — слотов. Система сигналов и слотов хорошо подходит для описания Графического интерфейса пользователя. Также механизм сигналов/слотов может быть применён для асинхронного ввода-вывода (включая сокеты, pipe, устройства с последовательным интерфейсом, др.) или уведомления о событиях. В библиотеке Qt благодаря Метаобъектному компилятору (англ.)русск. отпадает необходимость писать код регистрации/дерегистрации/вызова, так как эти шаблонные участки кода генерируются автоматически.
Говорит нам Википедия. Читать полностью »
Приглашаем в Одессу на WebCamp 2016! Море, отдых и любимые технологии
2016-07-06 в 10:16, admin, рубрики: BizDev, devops, FlyElephant, front-end, javascript, php, project management, python, WebCamp, Блог компании FlyElephant, конференция
С 29 по 31 июля в Одессе уже в 7-й раз пройдет конференция WebCamp, которая посвящена технологиям веб-разработки, управлению проектами и развитию бизнеса. Традиционно, мероприятие состоит из нескольких направлений. В этом году это: Front-End, Python, PHP, DevOps, PM, BizDev.
WebCamp 2016 соберет более 600 участников со всей Украины и ближнего зарубежья. Конференция рассчитана на участников уровня Middle/Senior, где у каждого будет возможность обменяться опытом, поделиться своими идеями, отлично провести время с коллегами на афтерпати и отдохнуть у Черного моря.
Наша команда FlyElephant сейчас активно работает над финализацией программы конференции и у вас еще есть шанс присоединиться к нам. С докладами выступят представители таких компаний как: Microsoft, Wargaming, Looksery, Upwork, Provectus, Ciklum, DataArt, Zillion Whales, SoftServe, YouScan, WebbyLab, Coderiver, CartFresh, RevJet, FlyElephant, Netpeak, DataRobot, KeepSolid, VertaMedia и других.
Читать полностью »
Свершилось! Спустя более двух лет разработки увидел свет первый стабильный релиз October CMS, которая основана на фреймворке Laravel 5.1 LTS. За эти два года система была установлена более 100 тысяч раз.
Читать полностью »
Прочитав данный пост habrahabr.ru/post/303028/#first_unread. Я призадумался а почему многие разработчики не спешат её использовать? И почему у людей складываеться мнение, что они умнее тех кто разрабатывал, и поддерживал этот функционал годами. И как вы уже догадались поговорим о ORM!
Читать полностью »
Концепция производительности и масштабируемости Spryker
2016-07-02 в 17:05, admin, рубрики: e-commerce, performance, performance tests, php, высокая производительность, Разработка под e-commerceПредлагаю вашему вниманию перевод статьи Spryker Performance and Scalability Concepts.
Spryker это e‑commerce фреймворк, является результатом реализации более чем 100 индивидуальных e‑commerce проектов. Он предоставляет из коробки два важнейших архитектурных качества — высокую производительность и масштабируемость. В этой статье описываются основные концепции для их достижения.
Читать полностью »
Пакет-географ – первая рабочая версия
2016-07-02 в 8:42, admin, рубрики: laravel, php, Геоинформационные сервисы, локализация, переводы, Разработка веб-сайтовПрежде всего хотел бы поблагодарить за более, чем 80 звёзд на GitHub, которые мне дали читатели Хабра по результатам предыдущего поста. И это несмотря на то, что репозиторий был почти пустой, а ссылка была неочевидна. На лицо полезность этого пакета!
Для тех, кто пропустил первый пост, маленькое повторение. Если у Вас в приложении есть что-то вроде:
SuggestBundle или выпадающие ajax списки в Symfony
2016-07-01 в 13:45, admin, рубрики: php, select2, suggest-bundle, symfonyПрактически во всех проектах возникает необходимость отобразить выпадающий список в форме, данный в котором грузились бы с помощью ajax. В связи с этим еще 2 года назад я написал SuggestBundle для симфони, который содержит дополнительный тип формы, который может использоваться вместо стандартных типов entity и document. Ключевая особенность бандла в том, что выпадающий список подгружается с помощью ajax (при помощи библиотеки select2). На днях я наконец собрался с силами, чтобы написать документацию по бандлу и решил поделиться разработкой с сообществом.
Кроме того бандл можно использовать и для построения выпадающих список, которые никак не связаны с Doctrine ORM и Doctrine ODM.
Под катом инструкция по установке, настройке и использованию бандла.
Управление действиями процессов. Не превышение лимита RPS (QPS) API
2016-07-01 в 7:37, admin, рубрики: open source, php, publisher, ReactPHP, zmq
Структурно-функциональная схема модуля
Хочу рассказать о разработанном и используемом в продакшне модуле Publisher Pulsar (github), который позволяет синхронизировать действия процессов.
Например, есть множество (десятки или сотни) процессов, независимо друг от друга обращающихся к API Google Analytics с одного IP.
При этом, GA установлен лимит в 10 queries per second с одного IP.
Если не регулировать обращения к API, то постоянно будет возвращаться ошибка превышения лимита некоторыми процессами, и либо они не смогут выполнить свою задачу без данных API, либо будут снова и снова пытаться получить данные в цикле, создавая проблему для других процессов, увеличивая количество ошибок. То есть будет хаос и отсутствие прогнозируемости в части процента корректно получаемых данных и процента ошибок при обращениях к API.