Linux實戰教學筆記13:定時任務補充

来源:http://www.cnblogs.com/chensiqiqi/archive/2017/02/11/6389611.html
-Advertisement-
Play Games

第十三節 定時任務補充 標簽(空格分隔): Linux實戰教學筆記 [更多資料點我查看][1] 1,生產環境常用Crontab專業實例 1.1書寫crontab定時任務多個基本要領 1.1.1 規範定時任務兩例 例1:每分鐘列印一次自己的名字拼音全拼到“/server/log/自己的名字命名的文件” ...


第十三節 定時任務補充

標簽(空格分隔): Linux實戰教學筆記

---[更多資料點我查看][1]

1,生產環境常用Crontab專業實例

1.1書寫crontab定時任務多個基本要領

1.1.1 規範定時任務兩例

例1:每分鐘列印一次自己的名字拼音全拼到“/server/log/自己的名字命名的文件”中。

[root@chensiqi1 ~]# mkdir -p /server/log/
[root@chensiqi1 ~]# echo "chensiqi" >>/server/log/chensiqi
[root@chensiqi1 ~]# cat /server/log/chensiqi 
chensiqi
[root@chensiqi1 ~]# crontab -e
crontab: installing new crontab
[root@chensiqi1 ~]# crontab -l
##print name to file
* * * * * /bin/echo "chensiqi" >>/server/log/chensiqi
[root@chensiqi1 ~]# 

解答:
方法1:

#print my name to log by chensiqi at 2017211
* * * * * /bin/echo "chensiqi" >>/server/log/chensiqi

方法2

#print my name to log by chensiqi at 2017211
*/1 * * * * /bin/echo "chensiqi" >>/server/log/chensiqi >dev/null 2>&1
提示:這是一個錯誤的定時任務,請同學們思考錯在了哪裡?

解答知識小結:

1,定時任務要加註釋
2,如果已經要定向到文件中,結尾不要有>/dev/null 2>&1
3,/server/log目錄必須要存在才能出結果,如沒有創建這個目錄。
4,定時任務中的路徑一定要絕對路徑
5,crond服務必須首先開啟
6,查看定時任務日誌tail /var/log/cron

例2:每周六,日上午9點和下午14點(執行/server/scripts/chensiqi.sh).要求:/server/scripts/chensiqi.sh腳本的功能是列印當天的日期:格式為2017-02-11可以隨意。

解答:

##
00 9,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/dev/null 2>&1

步驟:

  • 1,創建對應的目錄
    mkdir /server/scripts -p
  • 2,命令行測試
    date +%F 2017-02-11
  • 3,書寫腳本
    echo 'date +%F' >/server/scripts/chensiqi.sh cat /server/scripts/chensiqi.sh
  • 4,命令行測試腳本
    /bin/sh /server/scripts/chensiqi.sh
    2017-02-11
  • 5,編輯定時任務(讓他快速執行*****)
    crontab -e
    #sync time chensiqi at 20170211 */5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >>/server/log/chensiqi.log 2>&1

註意:
測試的時候最好定向到一個文件中。

  • 6,測試
    tail -f /server/log/chensiqi.log
    2017-02-11
  • 7,按照原來的要求更改定時任務的時間

    #go to chensiqi trainning by chensiqi at 20170211
    00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >>/server/log/chensiqi.log

技巧:

  1. 定時任務一定要儘量用腳本實現。
  2. 命令行操作成功,然後放入腳本執行(/bin/sh 腳本全路徑)成功,最後在配置任務
  3. 複製操作成功的命令行腳本,再定時任務里黏貼配置。
  4. 加/bin/sh執行腳本 /bin/sh /server/script/chensiqi.sh
  5. 要把腳本的執行結果定向到空或者是一個文件中,不要什麼都不加。

1.1.2 定時任務書寫要領

  • 要領1:為定時任務規則加必要的註釋

加必要註釋:寫定時任務規則時儘可能的加上註釋(最好是英文註釋),這是個好的習慣和規範。
例如:誰在什麼時間幹了什麼(註釋內容)什麼人,什麼時間,因為什麼,做了什麼。如果這些都標記清楚了,這樣其他的運維人員可以很容易的理解任務的信息,從而提升團隊的工作效率。

  • 要領2:執行shell腳本任務前加/bin/sh

執行定時任務時,如果是執行腳本,請儘量在腳本前面加上/bin/sh命令,否則有可能因為忘了為腳本設定執行許可權(x),從而以為OK了,結果無法完成任務,這樣就“悲劇”了

  • 要領3:定時任務命令或腳本的結尾加>/dev/null 2>&1

定時任務(一般是腳本任務)規則的結尾最好加上>/dev/null 2>&1等內容,如果需要列印日誌,則可以追加到指定的日誌文件里(此時不要和/dev/null同時存在),儘量不要留空。如果任務是命令的話,結尾使用“>/dev/null 2>&1”時要多測試下,要有檢查手段。如:/1 * * * echo "==" >>/tmp/chensiqi.log>/dev/null 2>&1 任務規則就是無法執行的。

  • 要領4:定時任務命令超過2條的命令執行,最好用腳本文件

超過2條的命令執行,最好用腳本文件。下麵的方法就是不規範的,不專業的。
* * * * * sleep 1;echo chensiqi >> /server/log/chensiqi.log

標準寫法:

[root@chensiqi /]# cat /server/scripts/log.sh
sleep1
echo chensiqi >> /server/log/chensiqi.log

定時任務寫法:

* * * * * /bin/sh /server/scripts/log.sh >dev/null 2>&1

定時任務,給定時任務看病的日誌/var/log/cron
  • 要領5:在指定用戶下執行相關定時任務

需要root許可權執行的任務可以登錄到root用戶下然後設置,如果不需要root許可權,可以登錄到普通用戶下(也可以直接在root下crontab -u chensiqi -e 的寫法直接設置),然後設置。這裡要特別註意不同用戶的環境變數問題,如果是調用了系統環境變數/etc/profile(如生產場景中java程式的定時任務),最好在程式腳本中將用到的環境變數重新export下(下文有案例)。

  • 要領6:生產任務程式不要隨意列印輸出信息。
    儘量關閉取消沒有用的輸出(命令的執行過程)
    1,定向到文件
    2,>/dev/null 2>&1
    在開發定時任務程式或腳本時,在調試好腳本程式後,應儘量把DEBUG及命令輸出的內容信息屏蔽掉,如果確實需要輸出日誌,可定向到執行日誌文件里,避免產生系統垃圾。

  • 要領7:定時任務命令或程式最好寫到腳本里執行

  • 要領8:定時任務執行的腳本要規範路徑

例如:/server/scripts

  • 要領9:配置定時任務規範操作過程,防止出錯。

1,首先要在命令行操作成功,然後複製成功的命令到腳本里,在各個細小環節減少出錯的機會。
2,然後測試腳本,測試成功後,複製腳本的規範路徑到定時任務配置里,不要手敲。
3,先在測試環境下測試,然後正式環境規範部署

小結:

書寫定時任務的若幹要領方法:
要領1:為定時任務規則加必要的註釋。
要領2:執行shell腳本任務前加/bin/sh
要領3:定時任務命令或腳本結尾加>/dev/null 2>&1
要領4:定時任務命令或程式最好寫到腳本里執行
要領5:在指定用戶下執行相關的定時任務
要領6:生產任務程式不要隨意列印輸出信息
要領7:定時任務執行的腳本要規範路徑(/server/scripts)
要領8:配置定時任務規範操作過程

1.1.3 在命令行輸入./chensiqi.sh(/server/scripts/chensiqi.sh)與sh chensiqi.sh區別在哪?

 [root@chensiqi1 ~]# cat chensiqi.sh
 #!/bin/bash

echo "chensiqi"
[root@chensiqi1 ~]# ll chensiqi.sh
-rw-r--r--. 1 root root 29 Feb 10 21:44 chensiqi.sh
[root@chensiqi1 ~]# sh chensiqi.sh
chensiqi
[root@chensiqi1 ~]# ./chensiqi.sh
-bash: ./chensiqi.sh: Permission denied
[root@chensiqi1 ~]# 

命令說明:
sh chensiqi.sh表示用/bin/sh這個命令來解析並啟動chensiqi.sh這個腳本。而./chensiqi.sh表示利用linux的預設解釋器來解析並啟動這個腳本。因此,./chensiqi.sh需要linux下x的執行許可權,而sh chensiqi.sh不需要。

1.1.4 定時任務不加>/dev/null 2>&1的後果

  • 如果定時任務規則結尾不加>/dev/null 2>&1等命令配置,有可能有大量輸出信息,時間長了,可能由於系統未開啟郵件服務而導致郵件臨時目錄/var/spool/clientmqueue 文件數猛增的隱患發生,大量文件會占用大量磁碟inode節點(每個文件占一個inode),以致磁碟inode滿而無法寫入正常數據(下文有案例)。
  • 提示:上面的>/dev/null 2>&1 寫法也可以寫成1>/dev/null 2>/dev/null,例:$JAVA-jar $RESIN_HOME/lib/resin.jar $ARGS stop 1>/dev/null 2>/dev/null 此寫法來自resin服務預設啟動腳本
  • 上述是centos5.8的情況,假如系統不安裝sendmail(Centos6.4),那是不是就沒有上述問題了?

企業案例::如果定時任務規則結尾不加>/dev/null 2>&1,很容易導致硬碟inode空間被占滿,從而系統服務不正常。

當一個定時任務執行的時候,就會給系統發一封郵件。sendmail郵件服務,經常是關閉的,所以定時任務發送的郵件就會臨時堆在/var/spool/clientmqueue/,時間長了,/var/spool/clientmqueue/文件數特別多。Centos5的時候一定會有這個問題。

Centos6呢?請往下看。

[root@chensiqi1 ~]# cat /etc/redhat-release 
CentOS release 6.8 (Final)
[root@chensiqi1 ~]# crontab -l 
#go to chensiqi trainning by chensiqi at 20170211
* * * * * /bin/sh /root/chensiqi.sh
[root@chensiqi1 ~]# ls /var/spool/postfix/maildrop/
D3AD0C6  DB2BAC9  E14E6D0  E5222D1
[root@chensiqi1 ~]# 

命令說明:
定時任務沒定向到空,postfix服務沒有開啟的話,那麼每執行一次定時任務,/var/spool/postfix/maildrop/文件夾下就會產生一個小文件,隨著時間累計,就會越來越多,導致出現問題。
如果開啟了郵件服務,就會直接給root發送郵件。

解決方法:
1,刪除大量小文件/var/spool/postfix/maildrop/下所有文件(ls|xargs rm -f)
2,臨時開啟postfix(sendmail)服務
3,vi /etc/crontab:將‘MAILTO=root’替換成‘MAILTO=“”’然後service crond restart即可。(如果還不行,crontab -e 第一行增加MAILTO=“”)

亡羊補牢:

定時任務定向到空>/dev/null 2>&1

目錄名 解釋
/var/spool/clientmqueue centos5.xsendmail臨時郵件文件目錄,有很多原因會導致這個目錄碎文件很多,比如crontab定時任務命令不加>/dev/null等,並且sendmail服務沒開。工作中偶爾會因為該目錄文件太多,導致/var所在的分區inode數量被消耗盡,無法寫入文件的情況
/var/spool/postfix/maildrop/ centos6.x postfix臨時隊列目錄/var/spool/postfix/maildrop/預設定時任務執行時會給root發郵件,如果郵件服務不開,就會把郵件推到上述目錄。當定時任務結尾不加>/dev/null 2>&1的時候,定時任務就會在上述目錄存大量小文件

1.2 定時任務的系統配置文件/etc/crontab

[root@chensiqi1 ~]# cat /etc/crontab
SHELL=/bin/bash  
PATH=/sbin:/bin:/usr/sbin:/usr/bin 
MAILTO=root  
HOME=/  

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

SHELL=/bin/bash #shell解釋器
PATH=/sbin:/bin:/usr/sbin:/usr/bin #PATH環境變數
MAILTO=root #定義如果任務有輸出,發給哪個用戶,預設發給root用戶
HOME=/ #定時任務執行命令從根目錄開始

輪詢的日誌(日誌輪詢):周期性切割日誌
系統的定時任務+logrotate

[root@chensiqi1 ~]# cat /etc/cron.daily/logrotate 
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
[root@chensiqi1 ~]ll /var/log/messages*
-rw-------. 1 root root   58049 Feb 10 23:18 /var/log/messages
-rw-------. 1 root root 1492005 Jan  2 06:51 /var/log/messages-20170102
-rw-------. 1 root root  633737 Jan  8 08:02 /var/log/messages-20170108
-rw-------. 1 root root 1594144 Feb  4 04:25 /var/log/messages-20170204
-rw-------. 1 root root   21512 Feb  6 03:41 /var/log/messages-20170206
[root@chensiqi1 ~]# ll /var/log/secure*
-rw-------. 1 root root  4810 Feb 10 22:39 /var/log/secure
-rw-------. 1 root root 64822 Jan  2 06:27 /var/log/secure-20170102
-rw-------. 1 root root 14187 Jan  8 07:22 /var/log/secure-20170108
-rw-------. 1 root root 13540 Jan 12 00:17 /var/log/secure-20170204
-rw-------. 1 root root  5723 Feb  6 02:50 /var/log/secure-20170206

1.3 企業生產場景如何調試crontab定時任務

1.3.1 增加執行任務頻率調試任務(某些任務不能用於生產環境)

1,在調試時,把任務執行頻率調快一點,如:每分鐘,每5分鐘執行一次,或者比當前時間推遲5分鐘以後,看能否執行,是不是按照你想象的去執行了,如果正常沒問題了,在改成需要的任務的執行時間。

強調:有些計劃任務是不允許頻繁執行的,例如:定時往資料庫里插入數據,這樣的任務就要在測試機上測試好,然後部署到正式線上,這樣正式工作出問題的機會就少了。

規範的公司開發和運維人員操作流程,個人的開發配置環境-->辦公室的測試環境-->idc機房的測試環境-->idc機房的正式環境。

使用log文件調試任務

          • /bin/sh /server/scripts/del_sys_file.sh >/tmp/file.log 2>&1

1.3.2 調整系統時間調試任務(不能用於生產環境)

如字面意思,調整系統時間,以達到接近觸發計劃任務的目的進行調試。

1.3.3 通過腳本日誌輸出調試定時任務

在腳本中加入日誌輸出,然後把輸出打到指定的日誌中,然後觀察日誌內容結果,看是否執行或正確執行。或像下麵的內容把腳本結果定向到一個log文件里,重定向>即可,不需要>>追加,這樣日誌就不會一直變大,如/app/log.log。

#study task by chensiqi at 20170211
00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/app/log.log 2>&1
也可以在腳本裡面echo 1 >/tmp/a.log
腳本中加輸出
[root@chensiqi ~]# cat tar.sh
cd /
tar zcvf /tmp/etc_$(date +%Y%m%d%H).tar.gz ./etc >/tmp/tmp.log 2>&1

sh -x 顯示腳本的執行過程

[root@chensiqi ~]# /bin/sh /server/scripts/chensiqi.sh
2017-02-11
[root@chensiqi ~]# /bin/sh -x /server/scripts/chensiqi.sh
+ date +%F
2017-02-11

1.3.4 註意環境變數導致的定時任務故障

PATH
在調試java程式任務的時候,註意環境變數,把環境變數的定義加到腳本里。
例:

[root@chensiqi ~]# cat /scripts/resin/shell/Task.sh
#!/bin/bash
export JAVA_HOME=/application/jdk1.6
export PATH=$JAVA_HOME/bin:$PATH
export SH_HOME=/application/resin/webapps/ROOT/
export LIB=$SH_HOME/WEB-INF/lib
以下省略...

定時任務:
00 09,14 * * * nohup /scripts/resin/shell/Task.sh & >/app/log.log 2>&1
提示:命令也要儘可能寫全路徑。

1.3.5 通過crond定時任務服務日誌調試定時任務

查看定時任務服務日誌

[root@chensiqi1 ~]# tail -f /var/log/cron
Feb 10 23:50:01 chensiqi1 CROND[15949]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Feb 10 23:53:01 chensiqi1 CROND[15955]: (root) CMD (/usr/lib64/sa/sa2 -A)
Feb 11 00:00:01 chensiqi1 CROND[15987]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Feb 11 00:01:01 chensiqi1 CROND[15992]: (root) CMD (run-parts /etc/cron.hourly)
Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[15992]: starting 0anacron
Feb 11 00:01:01 chensiqi1 anacron[16003]: Anacron started on 2017-02-11
Feb 11 00:01:01 chensiqi1 anacron[16003]: Jobs will be executed sequentially
Feb 11 00:01:01 chensiqi1 anacron[16003]: Normal exit (0 jobs run)
Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[16005]: finished 0anacron
Feb 11 00:10:01 chensiqi1 CROND[16008]: (root) CMD (/usr/lib64/sa/sa1 1 1)

1.3.6 其他稀奇古怪的問題調試的辦法

直接命令行執行無問題而放到定時任務就不行
綜合前邊1-5的方法就可以解決幾乎所有遇到的問題了,此類問題主要是多看crond服務日誌,並且把程式輸出到指定日誌分析。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Nosql的一個簡單的介紹,以及Nosql資料庫和傳統的資料庫的區別 ...
  • 我配置好的配置文件為: ...
  • 1. 輸入命令: 2. 輸入命令: 3. 可能會出現錯誤: 解決的辦法是依次輸入命令: 然後再運行: 就可以了: ...
  • Nginx 的負載均衡功能,其實實際上和 nginx 的代理是同一個功能,只是把代理一臺機器改為多台機器而已。 Nginx 的負載均衡和 lvs 相比,nginx屬於更高級的應用層,不牽扯到 ip 和內核的修改,它只是單純地把用戶的請求轉發到後面的機器上。這就意味著,後端的 RS 不需要配置公網。 ...
  • 問題描述: 同一個域內的server1上安裝了SqlServer,在server2上進行連接訪問,提示訪問拒絕。 備註,已經設置了允許遠程連接 解決辦法: 查看SqlServer的埠,本例中為預設的1433,然後在server1中的防火牆中入站規則添加一個新的規則,然後輸入埠1433,重啟Sql ...
  • OpenVPN伺服器與 VPN 客戶端之間的身份驗證, 主要是通過證書來進行的。有時我們需要禁止某個用戶連接 VPN 伺服器,則將其證書吊銷即可。要吊銷(Revoke) OpenVPN 客戶端證書, (以 Linux 系統為例。Windows 下的大同小異): 進入 OpenVPN 安裝目錄的 ea ...
  • 網上下載的軟體,如果來自身份不明的開發者,在MAC上打開時會提示無法確認開發者的身份,在網上找到了一篇嘗試解決的文章,文章鏈接地址為http://jingyan.baidu.com/article/f71d60377960651ab741d140.html,原文內容如下: 使用 Mac 電腦系統的小 ...
  • 非同步通知的全稱是"信號驅動的非同步IO",通過"信號"的方式,放期望獲取的資源可用時,驅動會主動通知指定的應用程式,和應用層的"信號"相對應,這裡使用的是信號" SIGIO "。操作步驟是 1. 應用層程式將自己註冊為接收來自設備文件的SIGIO信號的進程 2. 驅動實現相應的介面,以期具有向所有註冊 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...