您现在的位置是:网站首页>>PHP>>laravel

laravel 队列系统

发布时间:2018-12-14 14:24:09作者:wangjian浏览量:738点赞量:0

    laravel框架中队列的目的是将耗时的任务延时处理,比如发送邮件,从而大幅度缩短 Web 请求和相应的时间

    一:队列配置

    队列的配置文件放置在config/queue.php文件中

    laravel框架中支持的队列驱动有:sync, database, beanstalkd, sqs, redis,null对应着:同步(本地使用)驱动,数据库驱动,beanstalkd ,Amazon SQS ,redis,null 队列驱动用于那些放弃队列的任务

    queue.php文件中一些重要配置

    (1):默认驱动配置

    'default' => env('QUEUE_DRIVER', 'sync'),

    (2):驱动配置

    'connections' => [
               //syns驱动配置
            'sync' => [
                'driver' => 'sync',
            ],
            //数据库驱动配置
            'database' => [
                'driver' => 'database',
                'table' => 'jobs',//数据库驱动配置使用的数据库
                'queue' => 'default',
                'retry_after' => 90,//指定了任务最多处理多少秒后就被当做失败重试,比如说,如果这个选项设置为 90,那么当这个任务持续执行了 90 秒而没有被删除,那么它将被释放回队列
            ],
            //beanstalkd驱动配置
            'beanstalkd' => [
                'driver' => 'beanstalkd',
                'host' => 'localhost',//使用beanstalkd驱动地址
                'queue' => 'default',
                'retry_after' => 90,
            ],
            //sqs驱动配置
            'sqs' => [
                'driver' => 'sqs',
                'key' => env('SQS_KEY', 'your-public-key'),//
                'secret' => env('SQS_SECRET', 'your-secret-key'),
                'prefix' => env('SQS_PREFIX', 'https://sqs.us-east-1.amazonaws.com/your-account-id'),
                'queue' => env('SQS_QUEUE', 'your-queue-name'),
                'region' => env('SQS_REGION', 'us-east-1'),
            ],
            //redis驱动配置
            'redis' => [
                'driver' => 'redis',
                'connection' => 'default',//使用哪个连接的redis,redis配置是在config/database.php文件中
                'queue' => 'default',
                'retry_after' => 90,
            ],
        ],

    (1):使用数据库驱动需要生成一个队列驱动表

    php artisan queue:table
    php artisan migrate

    执行上面的命令之后会发现数据库中会增加一个jobs表

    (2):使用redis驱动需要安装一个predis/predis 插件

    composer require predis/predis

    (3):使用Amazon SQS驱动时需要安装aws/aws-sdk-php拓展

    composer require aws/aws-sdk-php

    (4):使用Beanstalkd驱动需要安装pda/pheanstalk拓展

    composer require pda/pheanstalk

    二:创建队列任务

    列的任务类都默认放在 app/Jobs 目录下

    php artisan make:job TestJobs

    使用上述命令创建一个对垒任务类,这时候会发现在app/jobs目录下生成一个TestJobs.php文件

    下面是我的例子插入数据

    <?php
    namespace App\Jobs;
    use App\Models\blog\User;
    use Illuminate\Bus\Queueable;
    use Illuminate\Queue\SerializesModels;
    use Illuminate\Queue\InteractsWithQueue;
    use Illuminate\Contracts\Queue\ShouldQueue;
    use Illuminate\Foundation\Bus\Dispatchable;
    class TestJobs implements ShouldQueue
    {
        use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
        /**
         * 任务最大尝试次数。
         *
         * @var int
         */
        public $tries = 5;
        /**
         * 任务运行的超时时间。
         * 指定了 Laravel 队列处理器最多执行多长时间后就应该被关闭掉
         * --timeout 应该永远都要比 retry_after 短至少几秒钟的时间。这样就能保证任务进程总能在失败重试前就被杀死了。
         * 如果你的 --timeout 选项大于 retry_after 配置选项,你的任务可能被执行两次
         *
         * @var int
         */
        public $timeout = 120;
        public $info;
        /**
         * Create a new job instance.
         *
         * @return void
         */
        public function __construct($info)
        {
            //
            $this->info = $info;
        }
        /**
         * Execute the job.
         *
         * @return void
         */
        public function handle()
        {
            //
            $user = new User();
            $user->user_no = $this->info['user_no'];
            $user->user_name = $this->info['user_name'];
            $user->save();
        }
    }

    三:分发任务

    在控制器中:

    $info = [
                'user_no'=>'006',
                'user_name'=>'testName'
            ];
    TestJobs::dispatch($info);

    这里我使用的是数据库驱动,访问上面的控制器的方法,然后会看到数据表jobs中多了一条数据,但是在user表中没有数据加入,这时候说明已经加入到了队列中

    (1):你可以配置延时分发

    TestJobs::dispatch($info)->delay(Carbon::now()->addMinutes(10));//表示延时十分钟分发任务

    (2)可以指定队列

    TestJobs::dispatch($info)->onQueue('processing');//表示使用默认驱动的processing队列

    (3)可以指定连接及驱动

    TestJobs::dispatch($info)->onConnection('redis');//使用redis驱动的默认队列

    (4)制动驱动和队列

    TestJobs::dispatch($info)->onConnection('redis')->onQueue('processing');//使用redis驱动的processing队列

    四:队列处理器

    在项目目录下执行

    php artisan queue:work

    这时候打开数据库就会在user表中发现多了一条user_no为006,user_name为testName数据

    但是如果你指定了驱动和队列的话,这时候执行php artisan queue:work,你就会发现数据库中没有数据加进去,这是因为php artisan queue:work命令是对默认驱动和'default'队列监听,这时候就要使用:

    php artisan queue:work redis --queue="processing"  //redis表示指定驱动 processing表示指定队列

    这样才会在数据库中看到数据添加进去了

    一旦使用queue:work 命令,它将一直运行,直到你手动停止或者你关闭控制台,如果你想要让queue:work 命令永久在后台运行,你应该使用进程监控工具Supervisor 

    Supervisor 配置

    Supervisor 是一个 Linux 操作系统上的进程监控软件,一般你在本地测试时只需要在命令号执行php artisan queue:work命令就可以了

    1:安装Supervisor

    (1)使用easy_install安装

    yum install python-setuptools
    easy_install supervisor

    (2)直接去Supervisor官网下载安装

    wget https://pypi.python.org/packages/7b/17/88adf8cb25f80e2bc0d18e094fcd7ab300632ea00b601cbbbb84c2419eae/supervisor-3.3.2.tar.gz
    tar -zxvf supervisor-3.3.2.tar.gz
    cd supervisor-3.3.2
    python setup.py install

    使用下面的命令进行测试是否安装完成

    echo_supervisord_conf

    2:配置Supervisor

    (1)创建文件夹和配置文件

    mkdir /etc/supervisor
    echo_supervisord_conf > /etc/supervisor/supervisord.conf

    (2)修改/etc/supervisor/supervisord.conf文件内容

    在文件结尾[include]节点处把

    ;files = relative/directory/*.ini

    image.png

    修改成

    files = conf.d/*.conf

    image.png

    (3)执行supervisorctl reload命令使配置文件生效

    执行supervisorctl reload命令时可能回报

    error: <class 'socket.error'>, [Errno 2] No such file or directory: file: /usr/lib64/python2.7/socket.py line: 224

    解决方法:

    /usr/bin/python2 /usr/bin/supervisord -c /etc/supervisor/supervisord.conf
    supervisorctl update //更新新的配置到supervisord 
    supervisorctl reload //重新启动配置中的所有程序

    (4)在/etc/supervisor/下创建conf.d文件夹,conf.d文件夹下面放置的就是Supervisor的项目文件

    3:让 queue:work 进程永久在后台运行配置

    在/etc/supervisor/conf.d 目录下创建一个laravel-worker.conf文件

    [program:laravel-worker]
    process_name=%(program_name)s_%(process_num)02d
    command=php /home/forge/app.com/artisan queue:work database --sleep=3 --tries=3  #/home/forge/app.com项目地址
    autostart=true
    autorestart=true
    user=forge
    numprocs=8 #numprocs 命令会要求 Supervisor 运行并监控 8 个 queue:work 进程
    redirect_stderr=true
    stdout_logfile=/home/forge/app.com/worker.log

    4:启动 Supervisor

    supervisorctl reread  #重新加载配置
    supervisorctl update #更新配置
    supervisorctl start laravel-worker:* #运行laravel-worker.conf

    五:处理失败队列任务

    php artisan queue:failed-table
    php artisan migrate

    执行上面命令后会在数据库中增加一张failed_jobs表

    在TestJobs类中添加一个failed方法处理失败队列

    /**
         * 要处理的失败任务。
         *
         * @param  Exception  $exception
         * @return void
         */
        public function failed(Exception $exception)
        {
            // 给用户发送失败通知,等等...
        }

    如果你想要注册一个当队列任务失败时会被调用的事件,我们可以在 Laravel 内置的 AppServiceProvider 中对这个事件附加一个回调函数

    在app/Providers/AppServiceProvider.php文件中

    /**
         * 启动任意应用程序的服务。
         *
         * @return void
         */
        public function boot()
        {
            Queue::failing(function (JobFailed $event) {
                // $event->connectionName
                // $event->job
                // $event->exception
            });
        }


0 +1