国产95亚洲,亚洲欧洲精品一区二区精品久久久,678在线观看视频

主頁 > 知識庫 > PHP如何限制定時任務的進程數量

PHP如何限制定時任務的進程數量

前言

現在的工作中，經常要寫一些腳本做一些異步的操作。

一般是大量的數據修改，或者解決部分并發問題。

為了能夠穩定的做好數據處理，一般情況下會用定時腳本的方式。

那么問題來了。

可能存在的問題

當我們處理大量數據的時候，腳本的執行時間可能很長，或者重復處理某條數據(寫錯的情況下)。

為了避免數據的重復處理、運行腳本過多導致服務器壓力過大等問題，我們需要限制腳本的運行數量。

如何做

思路一

查詢某種標識的進程數量，如果超過一定數量，則直接退出，不處理。

思路二

記錄每次的PID，可以使用文件、redis、memcached 等來存儲。

當啟動一個新進程的時候，去查一下這個標識下面有哪些PID，是否還在運行，且與當前標識有關系。

當超過一定數量的時候，直接退出，不處理。

實踐

思路一實踐

這里通過 linux 的 ps、grep、wc 的命令來獲取指定標識的運行進程數。

?php
/**
 * 是否可以運行
 *
 * @param string $ident 標識
 * @param integer $maxNum 最大運行數量
 *
 * @return bool
 */
function canRun($ident, $maxNum)
{
  $cmd = sprintf('ps ax | grep %s | grep -v /bin/sh | grep -v grep | wc -l', $ident);
  $fp = @popen($cmd, 'r');
  $num = (int)trim(@fread($fp, 2096));
  @pclose($fp);
  return $num = $maxNum;
}

思路二實踐

這里使用 redis 存儲 pid 信息。

通過 /proc/{pid}/cmdline 文件檢測指定進程是否還在運行。

?php
/**
 * 檢查 pid 是否存活
 *
 * @param string $pid  PID
 * @param string $ident 標識
 *
 * @return bool
 */
function isSurvive($pid, $ident)
{
  // 獲取指定pid的cmdline文件
  $cmdlinePath = sprintf('/proc/%s/cmdline', $pid);
  if (!is_file($cmdlinePath)) {
   return false;
  }
  $cmdline = trim(file_get_contents($cmdlinePath));
  // 檢查標識是否在 cmdline 中
  return strpos($cmdline, $ident) !== false;
}

/**
 * 是否可以運行
 *
 * @param string $ident 標識
 * @param integer $maxNum 最大運行數量
 *
 * @return bool
 */
function canRun($ident, $maxNum)
{
  // 假設已經鏈接上
  $redisHandler = getRedis();
  // 定義一個key
  $key = sprintf('php:job:%s:pid', $ident);
  // 當前的PID
  $currentPid = getmypid();
  // 將當前的PID寫入redis
  $redis->sAdd($key, $currentPid);
  // 獲取redis中的所有pid
  $pids = $redis->sMembers($key);
  // 遍歷pid，檢查是否有效
  foreach ($pids as $index => $pid) {
    if ($currentPid == $pid) {
      continue;
    }
    // 檢查 pid 是否還在運行中
    if (isSurvive($pid, $ident)) {
      continue;
    }
    // 若不再運行，則直接刪除
    unset($pids[$index]);
    $redis->sRemove($key, $pid);
  }
  return count($pids) = $maxNum;
}

關于標識

關于標識，可能我們在運行一些定時腳本的時候，統一的部分可能就是 php 了；或者，擁有相同標識的腳本，我們要歸為幾類。

為了能夠實現這些需求，我們可以通過 php 的內置函數 cli_set_process_title 來實現自定義 COMMAND。
demo.php:

這個時候，我們運行 demo.php，然后通過 ps ax 可以看到如下結果：

PID  USER   TIME COMMAND
  1 root   0:09 php-fpm: master process (/usr/local/etc/php-fpm.conf)
  7 root   0:16 php-fpm: pool www
  8 root   0:15 php-fpm: pool www
  9 root   0:14 php-fpm: pool www
  10 root   0:00 sh
 663 root   0:00 sh
 690 root   0:00 {php} Job Demo
 691 root   0:00 ps ax

修改指定腳本的進程標題，我們就可以實現定義某些腳本的標識了。