校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > Linux Shell多進程并發以及并發數控制

Linux Shell多進程并發以及并發數控制

熱門標簽:京東外呼系統怎么操作 ai人工電話機器人 常州云呼叫外呼系統 小藍鴿電話機器人 阿克蘇市地圖標注app 上海營銷外呼系統定制 bs外呼系統 長沙人工外呼系統公司 河北機器人電銷

本文小編為大家詳細的講解shell多進程并發,在大部分用戶眼中,所謂的多進程 只不過是將多個任務放到后臺執行而已,一起來看看吧具體的內容吧。

1. 基礎知識準備

1.1. linux后臺進程

Unix是一個多任務系統,允許多用戶同時運行多個程序。shell的元字符提供了在后臺運行不需要鍵盤輸入的程序的方法。輸入命令后,其后緊跟字符,該命令就會被送往到linux后臺執行,而終端又可以繼續輸入下一個命令了。
比如:

sh a.sh 
sh b.sh 
sh c.sh 

這三個命令就會被同時送往linux后臺執行,在這個程度上,認為這三個命令并發執行了。

1.2. linux文件描述符

文件描述符(縮寫fd)在形式上是一個非負整數。實際上,它是一個索引值,指向內核為每一個進程所維護的該進程打開文件的記錄表。當程序打開一個現有文件或者創建一個新文件時,內核向進程返回一個文件描述符。每一個unix進程,都會擁有三個標準的文件描述符,來對應三種不同的流:

文件描述符 名稱
0 Standard Input
1 Standard Output
2 Standard Error

每一個文件描述符會對應一個打開文件,同時,不同的文件描述符也可以對應同一個打開文件;同一個文件可以被不同的進程打開,也可以被同一個進程多次打開。

/proc/PID/fd中,列舉了進程PID所擁有的文件描述符,例如

#!/bin/bash
source /etc/profile;

# $表示當前進程的PID
PID=$

# 查看當前進程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo

# 文件描述符1與文件tempfd1進行綁定
( [ -e ./tempfd1 ] || touch ./tempfd1 )  exec 1>./tempfd1

# 查看當前進程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo;
[ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

[ouyangyewei@localhost learn_linux]$ cat tempfd1 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

上述的例子中第12行,將文件描述符1與文件tempfile進行了綁定,此后,文件描述符1指向了tempfile文件,標準輸出被重定向到了文件tempfile中。

1.3. linux管道

在Unix或類Unix操作系統中,管道是一個由標準輸入輸出鏈接起來的進程集合,因此,每一個進程的輸出將直接作為下一個進程的輸入,

linux管道包含兩種:

匿名管道命名管道

管道有一個特點,如果管道中沒有數據,那么取管道數據的操作就會滯留,直到管道內進入數據,然后讀出后才會終止這一操作;同理,寫入管道的操作如果沒有讀取管道的操作,這一動作就會滯留。

1.3.1. 匿名管道

在Unix或類Unix操作系統的命令行中,匿名管道使用ASCII中垂直線|作為匿名管道符,匿名管道的兩端是兩個普通的,匿名的,打開的文件描述符:一個只讀端和一個只寫端,這就讓其它進程無法連接到該匿名管道。

例如:

cat file | less

為了執行上面的指令,Shell創建了兩個進程來分別執行cat和less。下圖展示了這兩個進程是如何使用管道的:

有一點值得注意的是兩個進程都連接到了管道上,這樣寫入進程cat就將其標準輸出(文件描述符為fd 1)連接到了管道的寫入端,讀取進程less就將其標準輸入(文件描述符為fd 0)連接到了管道的讀入端。實際上,這兩個進程并不知道管道的存在,它們只是從標準文件描述符中讀取數據和寫入數據。shell必須要完成相關的工作。

1.3.2. 命名管道(FIFO,First In First Out)

命名管道也稱FIFO,從語義上來講,FIFO其實與匿名管道類似,但值得注意:

在文件系統中,FIFO擁有名稱,并且是以設備特俗文件的形式存在的;任何進程都可以通過FIFO共享數據;除非FIFO兩端同時有讀與寫的進程,否則FIFO的數據流通將會阻塞;匿名管道是由shell自動創建的,存在于內核中;而FIFO則是由程序創建的(比如mkfifo命令),存在于文件系統中;匿名管道是單向的字節流,而FIFO則是雙向的字節流;

比如,可以利用FIFO實現單服務器、多客戶端的應用程序:

有了上面的知識準備,現在可以開始講述,linux多進程并發時,如何控制每次并發的進程數。

2. linux多進程并發數控制

最近小A需要生產2015年全年的KPI數據報表,現在小A已經將生產腳本寫好了,生產腳本一次只能生產指定一天的KPI數據,假設跑一次生產腳本需要5分鐘,那么:
* 如果是循環順序執行,那么需要時間:5 * 365 = 1825 分鐘,約等于 6 天
* 如果是一次性放到linux后臺并發執行,365個后臺任務,系統可承受不住哦!

既然不能一次性把365個任務放到linux后臺執行,那么,能不能實現自動地每次將N個任務放到后臺并發執行呢?當然是可以的啦。

#! /bin/bash
source /etc/profile;

# -----------------------------

tempfifo=$.fifo        # $表示當前執行文件的PID
begin_date=$1           # 開始時間
end_date=$2             # 結束時間

if [ $# -eq 2 ] 
then
    if [ "$begin_date" \&; "$end_date" ]
    then
        echo "Error! $begin_date is greater than $end_date"
        exit 1;
    fi
else
    echo "Error! Not enough params."
    echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
    exit 2;
fi

# -----------------------------

trap "exec 1000>-;exec 1000-;exit 0" 2
mkfifo $tempfifo
exec 1000>$tempfifo
rm -rf $tempfifo

for ((i=1; i=8; i++))
do
    echo >1000
done

while [ $begin_date != $end_date ]
do
    read -u1000
    {
        echo $begin_date
        hive -f kpi_report.sql --hivevar date=$begin_date
        echo >1000
    } 

    begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done

wait
echo "done!!!!!!!!!!"

第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:

$1表示腳本入參的第一個參數,等于2015-01-01

$2表示腳本入參的第二個參數,等于2015-12-01

$#表示腳本入參的個數,等于2

第13行用于比較傳入的兩個日期的大小,\&;是轉義

第26行:表示在腳本運行過程中,如果接收到Ctrl+C中斷命令,則關閉文件描述符1000的讀寫,并正常退出

exec 1000>-;表示關閉文件描述符1000的寫

exec 1000-;表示關閉文件描述符1000的讀

trap是捕獲中斷命令

第27~29行:

第27行,創建一個管道文件

第28行,將文件描述符1000與FIFO進行綁定,讀的綁定,>寫的綁定,>則標識對文件描述符1000的所有操作等同于對管道文件$tempfifo的操作

第29行,可能會有這樣的疑問:為什么不直接使用管道文件呢?事實上這并非多此一舉,管道的一個重要特性,就是讀寫必須同時存在,缺失某一個操作,另一個操作就是滯留,而第28行的綁定文件描述符(讀、寫綁定)正好解決了這個問題

第31~34行:對文件描述符1000進行寫入操作。通過循環寫入8個空行,這個8就是我們要定義的后臺并發的線程數。為什么是寫空行而不是寫其它字符?因為管道文件的讀取,是以行為單位的

第37~42行:

第37行,read -u1000的作用就是讀取管道中的一行,在這里就是讀取一個空行;每次讀取管道就會減少一個空行

第39~41行,注意到第42行結尾的嗎?它表示進程放到linux后臺中執行

第41行,執行完后臺任務之后,往文件描述符1000中寫入一個空行。這是關鍵所在了,由于read -u1000每次操作,都會導致管道減少一個空行,當linux后臺放入了8個任務之后,由于文件描述符1000沒有可讀取的空行,將導致read -u1000一直處于等待。

標簽:周口 忻州 銅仁 甘南 甘孜 泉州 來賓 邢臺

巨人網絡通訊聲明:本文標題《Linux Shell多進程并發以及并發數控制》,本文關鍵詞  Linux,Shell,多,進程,并發,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Linux Shell多進程并發以及并發數控制》相關的同類信息!
  • 本頁收集關于Linux Shell多進程并發以及并發數控制的相關信息資訊供網民參考!
  • 推薦文章

    上一篇:u盤安裝centos 7圖文教程

    下一篇:Linux CentOS上編譯并安裝Clang教程

    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    成人毛片在线观看| 国产亚洲自拍一区| 久久新电视剧免费观看| 亚洲久草在线视频| 国产一区二区三区免费在线观看| 不卡的av网站| 久久美女艺术照精彩视频福利播放| 亚洲美女精品一区| 成人在线综合网| 久久亚区不卡日本| 久久精品国内一区二区三区| 在线看日本不卡| 国产精品久久久久久亚洲伦| 久久99精品久久久久久动态图 | 久久久久一区二区三区四区| 亚洲一级二级三级| 成人性生交大片免费看中文 | 69av一区二区三区| 亚洲一区二区三区四区的 | 欧美一二三四在线| 香蕉久久夜色精品国产使用方法 | 国产不卡在线视频| 2021中文字幕一区亚洲| 奇米影视在线99精品| 制服丝袜成人动漫| 亚洲国产视频直播| 欧美精品自拍偷拍| 亚洲成人av免费| 欧美三级电影一区| 亚洲国产精品久久一线不卡| 欧美伊人久久久久久久久影院| 国产精品不卡在线| www.欧美日韩国产在线| 国产精品美日韩| 99视频一区二区| 亚洲裸体xxx| 日本丶国产丶欧美色综合| 亚洲欧美欧美一区二区三区| 欧美系列一区二区| 丝袜美腿成人在线| 精品国产精品网麻豆系列| 激情av综合网| 中文字幕 久热精品 视频在线| 成人免费视频播放| 亚洲一区二区在线播放相泽| 欧美蜜桃一区二区三区| 美腿丝袜亚洲综合| 国产色综合一区| 99r国产精品| 亚洲国产一区视频| 日韩精品在线看片z| 国产剧情一区二区三区| 国产精品乱人伦一区二区| 日本精品一级二级| 人人爽香蕉精品| 国产欧美一区二区三区沐欲| av电影在线不卡| 天堂久久一区二区三区| 久久精品人人做人人爽97| 91天堂素人约啪| 日韩成人一级大片| 国产精品天美传媒沈樵| 欧美色视频在线观看| 另类中文字幕网| 中文字幕制服丝袜一区二区三区| 色婷婷狠狠综合| 狠狠久久亚洲欧美| 亚洲一区中文日韩| 26uuu国产一区二区三区| 97精品视频在线观看自产线路二| 日韩av中文字幕一区二区| 欧美国产综合色视频| 欧美tk—视频vk| 国产成人精品三级麻豆| 亚洲午夜视频在线观看| 精品国产乱码久久久久久老虎| 成人亚洲一区二区一| 秋霞电影网一区二区| 1000精品久久久久久久久| 日韩视频国产视频| 91视频你懂的| 国产v综合v亚洲欧| 日本中文在线一区| 一区二区在线观看av| 国产午夜亚洲精品午夜鲁丝片| 欧美色老头old∨ideo| 国产乱理伦片在线观看夜一区| 亚洲福利一区二区| 国产精品色哟哟网站| www国产成人免费观看视频 深夜成人网| 色哟哟精品一区| 大胆亚洲人体视频| 久久99精品国产.久久久久| 偷拍亚洲欧洲综合| 一区二区三区精品| 中文字幕中文字幕一区二区| 国产亚洲一区二区三区在线观看 | 日本aⅴ免费视频一区二区三区 | 亚洲国产成人一区二区三区| 5566中文字幕一区二区电影| 欧美曰成人黄网| 99re这里只有精品首页| 成人自拍视频在线| 国产69精品久久99不卡| 久久国产尿小便嘘嘘| 蜜芽一区二区三区| 日韩精品1区2区3区| 亚洲一卡二卡三卡四卡| 亚洲日本免费电影| 亚洲欧美电影一区二区| 国产精品网友自拍| 亚洲欧洲成人av每日更新| 国产目拍亚洲精品99久久精品| 久久久久久麻豆| 欧美激情艳妇裸体舞| 国产性色一区二区| 欧美—级在线免费片| 国产亲近乱来精品视频 | 欧美精品乱码久久久久久| 色网综合在线观看| 精品视频在线看| 欧美美女一区二区三区| 日韩一区二区三区视频在线观看| 欧美另类一区二区三区| 91精品在线免费观看| 欧美一区二区三区在线看| 日韩视频一区二区在线观看| 精品女同一区二区| 久久久久久久av麻豆果冻| 日本一区二区三区免费乱视频 | 91捆绑美女网站| 欧美最猛性xxxxx直播| 欧美性大战久久久久久久| 欧美日韩一区二区三区免费看| 欧美另类videos死尸| xnxx国产精品| 中文字幕在线观看一区二区| 亚洲精品欧美激情| 日韩激情av在线| 久久99精品久久久久久久久久久久 | 欧美日韩视频第一区| 欧美一区二区三区在| 久久精品视频一区| 亚洲欧美日韩国产另类专区| 日韩精品一二区| 国产·精品毛片| 欧美日韩一级视频| 国产亚洲欧洲997久久综合| 亚洲三级电影全部在线观看高清| 日韩中文字幕一区二区三区| 国产一区二区电影| 日本韩国精品在线| 精品美女一区二区| 亚洲蜜桃精久久久久久久| 狠狠色综合播放一区二区| 色婷婷av久久久久久久| 久久久亚洲精品石原莉奈| 一区二区三区精品久久久| 国产高清视频一区| 欧美日韩中文一区| 国产精品美女视频| 精品亚洲国内自在自线福利| 在线一区二区观看| 国产欧美在线观看一区| 免费观看日韩电影| 色呦呦网站一区| 国产欧美一区二区精品婷婷 | 国产伦理精品不卡| 在线一区二区观看| 国产精品午夜电影| 久久精品99久久久| 欧美性猛交xxxx乱大交退制版| 国产丝袜美腿一区二区三区| 日本亚洲最大的色成网站www| 91网上在线视频| 国产精品婷婷午夜在线观看| 久久国产精品第一页| 欧美日韩免费视频| 亚洲免费在线视频一区 二区| 国内精品自线一区二区三区视频| 欧美日韩亚洲综合在线 欧美亚洲特黄一级| 国产无一区二区| 国产精品自在欧美一区| 日韩一区二区三区视频在线| 亚洲综合色自拍一区| 99久久精品国产导航| 国产精品久久久久久久久久免费看| 精品无人区卡一卡二卡三乱码免费卡| 欧美日韩一二三区| 亚洲一区在线免费观看| 色婷婷久久久久swag精品| 亚洲欧美色综合| 日本乱人伦aⅴ精品| 亚洲精品第1页| 欧美在线观看你懂的| 亚洲一区在线观看免费观看电影高清 | 欧美福利电影网| 香蕉久久夜色精品国产使用方法| 欧美制服丝袜第一页| 亚洲一区二区三区三|