校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點

Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點

熱門標簽:德陽400電話申請 怎么在百度地圖標注公司的位置 天津電話外呼系統排名 鶴崗400電話申請 測繪地圖標注名稱 百度地圖標注直線距離 商機地圖標注 外呼電話系統怎么操作 智能電銷機器人有用嗎

一開始搭建中國博客聯盟,既有博友提醒我,做網址大全這類網站維護很麻煩,需要大量的精力去Debug一些已夭折的網站,更是拿松哥的博客大全舉例。當然,我也是深以為然。前些時間,看到夢軒麗人的boke123網址大全的維護記錄,好像是純手工檢查,張戈實在是佩服的五體投地,太有毅力了。

現在博客聯盟也收錄的博客也已破200了,全部來自自主提交,不管你是草博還是名博,張戈不會強買強賣。由于大部分都是建站不過半年的新站,半路放棄、提前太監的博客估計還是有的,于是我決定還是把站點維護這個工作做起來。

上午用PHP做了一個放到了京東云試了下,發現檢測速度一般,要等上半天(我寫的php太蹩腳,就不獻丑了)。

隨后,我在VPS上寫了一個多線程的網站狀態檢測腳本,直接從數據庫load站點地址,然后用curl去檢測返回碼,發現速度非常好,基本1分鐘內就能出結果
以下是腳本代碼:

#!/bin/bash
#Author:ZhangGe
#Date:2014-08-21
#Desc:Check the site of ZGboke Alliance.
#取出網站數據
data=`/usr/bin/mysql -uroot -p123456 -e "use zgboke;select web_url from dir_websites where web_status='3';" -N -B | awk '{print $1}'`
if [ -z "$data" ];then
    echo "Faild to connect database!"
    exit 1
fi
test -f result.log  rm -f result.log
function delay {
    sleep 3
}
tmp_fifofile=/tmp/$$.fifo
mkfifo $tmp_fifofile
exec 6>$tmp_fifofile
rm $tmp_fifofile
#定義并發線程數,需根據vps配置進行調整。
thread=100
for ((i=0 ;i$thread;i++ ))
do
    echo
done>6
#開始多線程循環檢測
for url in $data
do
    read -u6
    {
    #curl抓取網站http狀態碼
    code=`curl -o /dev/null --retry 3 --retry-max-time 8 -s -w %{http_code} $url`
    echo "$code ---> $url">>result.log
    #判斷子線程是否執行成功,并輸出結果
    delay  {
        echo "$code ---> $url"
    } || {
        echo "Check thread error!"
    }
    echo > 6
}
done
#等待所有線程執行完畢
wait
exec 6>-
#找出非200返回碼的站點
echo List of exception website:
cat result.log | grep -v 200
exit 0 

Ps:關于shell多線程腳本,后續文章會有一個詳細說明,本文篇幅有限,就不多說了。
以下是中國博客聯盟第一次成員站點存活檢測的結果:
①、 非200返回碼的異常站點:

②、腳本抓取的無法訪問站點:

人工訪問篩選結果:
wangyingxue.net(王英學博客):無法訪問,經確認處于備案中 √
www.tao0102.com(長江博客):可以訪問 √
blog.hack7d.com(Mcdull技術博客):無法訪問 ×
www.1992621.com(教師日記):可以訪問 √
www.3miaotu.com(三秒兔):無法訪問 ×
xiaoxiaomayi.com(小小螞蟻博客):可以訪問 √
www.awrui.com(李文棟博客):可以訪問 √

Ps:腳本檢測機制為:8s內未連通的判定為異常,并重試3次,最后輸出結果,若三次均異常則為000。從圖中和人工篩選可以看出,存在一些誤殺,這個和8s的設定有一定關系。可以考慮設置為更長時間,得到更準確的結果,當然最終還是要結合人工確認的,所以也沒多大關系。
后續,中國博客聯盟會制訂一個檢查周期,最短每星期檢查一次,最長一個月檢查一次,爭取讓每個展示的站點都能正常訪問。當然,我也會將每次檢查的結果公布在中國博客聯盟的站長資訊專欄,方便所有成員查看。
由于目前中國博客聯盟部署在京東云擎,無法遠程操控數據庫,所以只好暫時用半自動的模式。等以后有時間搬到了阿里云等VPS上后,將會將腳本改成全自動狀態,當有網站聯系多次檢測為失聯狀態時,將會暫時將其設置為隱藏狀態。

您可能感興趣的文章:
  • Linux Shell中curl和wget使用代理IP的方法教程
  • Linux下命令行cURL的10種常見用法示例
  • Linux下模擬http的get/post請求(curl or wget)詳解
  • Linux中curl命令和wget命令的使用介紹與比較
  • Linux中的curl命令詳解
  • Linux 中 CURL常用命令詳解
  • linux curl命令詳解及實例分享
  • linux命令行下使用curl命令查看自己機器的外網ip
  • linux下為php添加curl擴展的方法
  • Linux curl命令詳解

標簽:丹東 鎮江 優質小號 百色 武漢 六盤水 滁州 自貢

巨人網絡通訊聲明:本文標題《Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點》,本文關鍵詞  Linux,Shell+Curl,網站,健康,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點》相關的同類信息!
  • 本頁收集關于Linux Shell+Curl網站健康狀態檢查腳本,抓出中國博客聯盟失聯站點的相關信息資訊供網民參考!
  • 推薦文章
    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    91黄色激情网站| www国产亚洲精品久久麻豆| 午夜精彩视频在线观看不卡| 欧美日韩免费观看一区三区| 日韩av一区二区在线影视| 日韩精品综合一本久道在线视频| 国产一区二区在线观看免费| 久久精品一区二区三区av| 99视频精品免费视频| 亚洲精品日韩综合观看成人91| 欧美三级三级三级爽爽爽| 蜜臀久久99精品久久久画质超高清| 久久尤物电影视频在线观看| 成人一区二区三区| 一区二区三区日韩在线观看| 日韩亚洲欧美高清| 国产成人精品免费视频网站| 亚洲欧美日韩久久精品| 91精品国产手机| 国产精品一级二级三级| 亚洲欧美一区二区不卡| 日韩欧美国产综合一区 | 夜夜嗨av一区二区三区中文字幕 | 亚洲五码中文字幕| 精品99一区二区三区| 不卡视频在线看| 日韩影院精彩在线| 国产日韩亚洲欧美综合| 欧美亚洲综合色| 精品亚洲成a人| 综合亚洲深深色噜噜狠狠网站| 欧美日韩日日夜夜| 国产传媒久久文化传媒| 夜夜嗨av一区二区三区网页| 欧美大片拔萝卜| 一本到不卡免费一区二区| 蜜臀av性久久久久蜜臀aⅴ| 国产精品麻豆欧美日韩ww| 88在线观看91蜜桃国自产| 国产超碰在线一区| 亚洲123区在线观看| 国产欧美日韩一区二区三区在线观看| 在线观看国产一区二区| 韩国一区二区三区| 亚洲国产一区二区三区青草影视| 亚洲精品在线电影| 在线观看国产精品网站| 国产成人亚洲精品狼色在线| 五月婷婷另类国产| 国产精品每日更新| 日韩欧美精品在线视频| 色琪琪一区二区三区亚洲区| 国产盗摄视频一区二区三区| 水蜜桃久久夜色精品一区的特点| 中文在线一区二区| 日韩午夜在线影院| 在线看日韩精品电影| 国产91丝袜在线观看| 日本欧美在线观看| 亚洲猫色日本管| 欧美极品美女视频| 欧美本精品男人aⅴ天堂| 欧美视频日韩视频| 91同城在线观看| 国产99久久久精品| 免费亚洲电影在线| 亚洲成人午夜影院| 成人欧美一区二区三区在线播放| 精品国产亚洲在线| 欧美剧情片在线观看| 91麻豆精品视频| 国产a视频精品免费观看| 免费观看一级欧美片| 亚洲一区二区三区视频在线播放 | 一区二区三区91| 中文子幕无线码一区tr| 2024国产精品视频| 欧美一区二区三区四区视频| 日本韩国欧美国产| www.久久精品| 国产精品中文欧美| 久久99精品久久久久久久久久久久 | 国产女同互慰高潮91漫画| 欧美一区二区三区啪啪| 欧美三级电影网| 在线观看欧美黄色| 色婷婷综合中文久久一本| 成人黄色777网| 国产精品2024| 国产一区二区三区蝌蚪| 激情综合网激情| 美女高潮久久久| 日韩二区在线观看| 视频在线在亚洲| 亚洲第一主播视频| 亚洲国产婷婷综合在线精品| 伊人性伊人情综合网| 亚洲欧美一区二区在线观看| 中文字幕一区二区三| 中文字幕在线播放不卡一区| 国产精品情趣视频| 国产视频一区二区在线观看| 久久色成人在线| 久久综合成人精品亚洲另类欧美| 精品第一国产综合精品aⅴ| 精品国产伦一区二区三区观看方式| 精品欧美一区二区在线观看| 精品国产一区二区精华| 久久久一区二区三区| 久久综合999| 国产欧美视频在线观看| 日本一区二区在线不卡| 国产精品成人一区二区艾草| 中文字幕一区二区视频| 亚洲日本免费电影| 亚洲免费成人av| 午夜婷婷国产麻豆精品| 热久久一区二区| 韩国v欧美v日本v亚洲v| 岛国一区二区三区| 99久久国产综合精品女不卡| 91片在线免费观看| 在线观看亚洲a| 91精品国产乱| 欧美精品一区二区三区在线| 久久久91精品国产一区二区三区| 欧美激情资源网| 亚洲精品久久久久久国产精华液| 亚洲夂夂婷婷色拍ww47| 日韩福利电影在线| 国产中文一区二区三区| 成人精品国产一区二区4080| 91免费看片在线观看| 欧美日韩黄视频| 日韩精品一区二区三区在线播放 | 91精品黄色片免费大全| 精品电影一区二区| 国产精品乱子久久久久| 一区二区视频在线| 日韩激情在线观看| 国产精品亚洲第一| 99国产精品一区| 欧美另类变人与禽xxxxx| 精品国产电影一区二区| 国产精品沙发午睡系列990531| 一区二区三区在线免费播放| 日韩高清国产一区在线| 国产成人在线色| 色婷婷av一区二区| 日韩欧美在线123| 国产拍揄自揄精品视频麻豆| 亚洲在线中文字幕| 精品一区二区综合| 不卡大黄网站免费看| 欧美三级在线视频| 久久久精品影视| 亚洲国产日韩在线一区模特| 久久99久国产精品黄毛片色诱| 不卡视频一二三| 91精品国产色综合久久ai换脸| 国产拍揄自揄精品视频麻豆| 亚洲主播在线观看| 精品一区二区三区的国产在线播放| youjizz久久| 日韩一区二区三区视频| 亚洲三级电影网站| 久久精品99国产精品日本| av在线播放不卡| 日韩一区二区视频| 国产精品福利一区二区| 毛片不卡一区二区| 91蝌蚪国产九色| 欧美va亚洲va在线观看蝴蝶网| 亚洲免费高清视频在线| 国产一级精品在线| 欧美中文字幕久久| 欧美激情综合五月色丁香小说| 日韩电影在线一区| 91在线观看美女| 久久一二三国产| 天天操天天综合网| 99久久精品国产一区二区三区| 欧美电视剧在线观看完整版| 亚洲影视在线播放| 丁香天五香天堂综合| 日韩欧美国产综合一区| 亚洲影视在线播放| www.激情成人| 久久你懂得1024| 日韩av在线发布| 91黄色免费观看| 国产精品福利一区| 国产乱码字幕精品高清av| 欧美日韩精品一区二区天天拍小说| 国产精品卡一卡二| 国产一区二区影院| 日韩一级在线观看| 亚洲妇女屁股眼交7| 色综合天天综合网天天狠天天| 国产午夜精品一区二区|