Взаимодействие PHP и Erlang посредством RabbitMQ

в 13:15, , рубрики: erlang, Erlang/OTP, php, RabbitMQ, rebar, Веб-разработка, высокая производительность, метки: , , ,

Вступление

Чем больше программируешь на php, тем чаще попадаются задачи, для решения которых нужен демон на сервере. Да, конечно существует phpDaemon, cron или костыли, которые при каждом n-ом запуске скрипта вызывают какой-то определенный набор операций. Но когда мы говорим о проектах с нагрузкой больше, чем на обычном сайте, мы начинаем расстраиваться.

В одном из проектов для решения такой задачи мы решили использовать связку php+RabbitMQ+erlang. На php уже был написан необходимый функционал, нам надо было лишь разнести вызовы по времени и на разные машинки. Конкретно задача звучала так: написать парсер пользователей с внешнего хранилища данных и, самое главное, поддерживать актуальность данных, а в случае их изменения, посылать уведомления.

Исходные данные

— Rest-функция на php, добавляющая пользователя в избранное. Из этого списка в дальнейшем и будут формироваться пользователи, актуальность информации которых мы и будем поддерживать, а в случае изменения — посылать уведомления на клиента.
— Приложение на erlange, который должен координировать, каких пользователей мы сейчас обрабатывем и т.д. Обработка информации с внешнего источника осуществляется двумя путями — это парсинг html страниц или где это возможно — запросы api. Для обработки ответов используется rest-функция, написанная на php.
— Мы должны поддерживать возможность простого масштабирования на большое количество серверов. Список пользователей, которые надо парсить, находятся в очередях, формируемых RabbitMQ.

Задача номер 1 — настроить расширение php для работы с RabbitMQ

В первую очередь устанавливаем дополнительный программные пакеты:

apt-get install gcc
apt-get install php5-dev

Далее сама установка, найденная на просторах интернета:

#download and install the rabbitmq c amqp lib
wget https://github.com/alanxz/rabbitmq-c/releases/download/v0.5.1/rabbitmq-c-0.5.1.tar.gz
tar -zxvf rabbitmq-c-0.5.1.tar.gz
cd rabbitmq-c-0.5.1/
./configure
make
sudo make install
cd ..
#download and compile the amqp
wget http://pecl.php.net/get/amqp-1.4.0.tgz
tar -zxvf amqp-1.4.0.tgz
cd amqp-1.4.0/
phpize && ./configure --with-amqp && make && sudo make install
#Add amqp extension to php mods-availabile directory
echo "extension=amqp.so" > /etc/php5/mods-available/amqp.ini
#Enabled it in cli
cd /etc/php5/cli/conf.d/
ln -s ../../mods-available/amqp.ini 20-amqp.ini
php -m | grep amqp
#Enabled it in cli
cd /etc/php5/apache2/conf.d/
ln -s ../../mods-available/amqp.ini 20-amqp.ini
#restart Apache and than check phpinfo on web
service apache2 restart

Если вам повезло, то все установилось верно.

Задача номер 2 — установить RabbitMQ и web-панель управления им

sudo apt-get install rabbitmq-server

rabbitmq-plugins enable rabbitmq_management

rabbitmqctl stop

rabbitmq-server -detached

Далее по данному адресу вы получаете доступ к управления очередями, по умолчанию логин(guest) и пароль(guest)
ip.addres:15672/

Задача номер 3 — через php влиять на очереди RabbitMQ

//создание точки обмена
$rabbit = new AMQPConnection(array('host' => '127.0.0.1', 'port' => '5672', 'login' => 'guest', 'password' => 'guest'));
$rabbit->connect();
$testChannel = new AMQPChannel($rabbit);
$exchange = new AMQPExchange($testChannel);
$exchange->setName('logoooooo');
$exchange->setType(AMQP_EX_TYPE_DIRECT);
$exchange->declare();

//создания очереди
$testChannel = new AMQPChannel($rabbit);
$queue = new AMQPQueue($testChannel); 
$queue->setName("yyyyyyy2");
$queue->declare();


//привязываем очередь к точки обмена
$testChannel = new AMQPChannel($rabbit);
$queue = new AMQPQueue($testChannel); 
$queue->setName("yyyyyyy2");
$queue->bind('logoooooo'); 
$queue->declare();

//отправить сообщение на точку
$testChannel = new AMQPChannel($rabbit);
$exchange = new AMQPExchange($testChannel);
$exchange->setName('logoooooo');
$exchange->publish('pooooooooooooooooooooooooooooooo');

Задача номер 4 — Создать приложение на erlange используя rebar

Устанавливаем rebar

apt-get install rebar
mkdir 1
rebar create template=simpleapp   srvid=my_server46
rebar create template=simplesrv   srvid=my_server46

Задача номер 5 — Запускаем приложение на erlange

Сначала устанавливаем CMake:

apt-get install make

В Makefile прописываем следующее:

all:
	rebar compile

run:
	ERL_LIBS=deps erl +K true -name myapp_app@127.0.0.1 -boot start_sasl -pa ebin -s myapp_app -sasl errlog_type error

Строчка -pa ebin -s myapp_app означает, что мы запускаем ebin/myapp_app.erl и в нем функцию myapp_app:start().
ERL_LIBS=deps означает, что мы подгружаем все библиотеки, которые расположены в папке deps.

Задача номер 6 — подключить необходимые библиотеки для связи RabbitMQ и Erlang

В rebar.config помещаем следующее:

{deps, [
	{rabbit_common, ".*", {git, "git://github.com/jbrisbin/rabbit_common.git", {tag, "rabbitmq-3.0.2"}}}
]}.

{erl_opts, [
  debug_info, 
  compressed, 
  report, 
  warn_export_all, 
  warn_export_vars, 
  warn_shadow_vars, 
  warn_unused_function, 
  warn_deprecated_function, 
  warn_obsolete_guard, 
  warn_unused_import 
%  warnings_as_errors
]}.

Выполняем rebar get-deps, подтягивающий зависимости. Далее возникли сложности с оставшимися библиотеками, поэтому пришлось использовать то, что написано на официальном сайте RabbitMQ. Но перед эти доустанавливаем необходимые пакеты:

apt-get install xsltproc
apt-get install zip

После заходим в папочку deps, которую создал rebar и, используя git, все скачиваем, а после устанавливаем:

cd deps
git clone https://github.com/rabbitmq/rabbitmq-erlang-client.git
git clone https://github.com/rabbitmq/rabbitmq-server.git
git clone https://github.com/rabbitmq/rabbitmq-codegen.git
cd rabbitmq-erlang-client
make

Задача номер 7 — из Erlangа получать сообщения из очередей RabbitMQ

Файл myapp_app.erl оставляем чуть чуть редактируем, чтобы можно было запускать из makefile, что мы написали:

-module(myapp_app).

-behaviour(application).

-export([start/0,start/2, stop/1]).

start() ->
  myapp_sup:start_link().

start(_StartType, _StartArgs) ->
    myapp_sup:start_link().

stop(_State) ->
    ok.

Файл myapp_sup.erl, отвечающий за наблюдение процессами, дописываем вызов нашего модуля из init:

-module(myapp_sup).

-behaviour(supervisor).

-export([start_link/0]).

-export([init/1]).

-define(CHILD(I, Type), {I, {I, start_link, []}, permanent, 5000, Type, [I]}).

start_link() ->
    supervisor:start_link({local, ?MODULE}, ?MODULE, []).

init([]) ->
    {ok, { {one_for_one, 5, 10}, [{my_server46_0, {my_server46, start_link, []},permanent, brutal_kill, worker, [my_server46]}]} }.

Модуль, отвечающий за связь с RabbitMQ:

-module(my_server46).
-behaviour(gen_server).

-include("deps/rabbitmq-erlang-client/include/amqp_client.hrl").

-define(SERVER, ?MODULE).

-export([start_link/0,main/0,loop/1]).

-export([init/1, handle_call/3, handle_cast/2, handle_info/2,
         terminate/2, code_change/3]).

start_link() ->
    gen_server:start_link({local, ?SERVER}, ?MODULE, [], []).

init(Args) ->
  main(),
  {ok, Args}.

main() ->
  {ok, Connection} =
    amqp_connection:start(#amqp_params_network{host = "localhost"}),
  {ok, Channel} = amqp_connection:open_channel(Connection),

  io:format(" [*] Waiting for messages. To exit press CTRL+C~n"),

  amqp_channel:call(Channel, #'basic.qos'{prefetch_count = 1}),
  amqp_channel:subscribe(Channel, #'basic.consume'{queue = <<"yyyyyyy2">>},self()),
  receive
    #'basic.consume_ok'{} -> io:fwrite(" _rec_main_ok_ "),ok
  end,
  loop(Channel),
  io:fwrite("begin~n", []).

loop(Channel)->
  receive
    {#'basic.deliver'{delivery_tag = Tag}, #amqp_msg{payload = Body}} ->
      Dots = length([C || C <- binary_to_list(Body), C == $.]),
      io:format(" [x] Received Body ~p~n", [Body]),
      receive
      after
        Dots*1000 -> io:format(" _loop_rec_after_ ~p",[0]), ok
      end,
      timer:sleep(3500),
      amqp_channel:cast(Channel, #'basic.ack'{delivery_tag = Tag}),
      loop(Channel),
      io:format(" [x] Done 3~n")
  end.



handle_call(_Request, _From, State) ->
    {reply, ok, State}.

handle_cast(_Msg, State) ->
    {noreply, State}.

handle_info(_Info, State) ->
    {noreply, State}.

terminate(_Reason, _State) ->
    ok.

code_change(_OldVsn, State, _Extra) ->
    {ok, State}.


Тут все достаточно просто, мы подписываемся на очередь «yyyyyyy2»:

amqp_channel:subscribe(Channel, #'basic.consume'{queue = <<"yyyyyyy2">>},self())

Затем сообщаем RabbitMQ, что сообщение успешно обработано:

amqp_channel:cast(Channel, #'basic.ack'{delivery_tag = Tag})

Автор: Alexc5c5c5

Источник


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js