艾銻知識(shí) |運(yùn)維人員處理服務(wù)器故障的方法總結(jié)

2020-03-10 14:33 作者：艾銻無(wú)限 瀏覽量：

據(jù)不完全統(tǒng)計(jì),中國(guó)有近5000萬(wàn)家中小微企業(yè),這個(gè)數(shù)據(jù)隨著互聯(lián)網(wǎng)的發(fā)展還在持續(xù)增長(zhǎng),但這些企業(yè)的存活率是非常低的,60%的初創(chuàng)企業(yè)活不過(guò)1年,30%的初創(chuàng)企業(yè)活不過(guò)3年,還有超過(guò)9%的企業(yè)只有5年左右的生

存期,剩下不到1%的企業(yè)活過(guò)5年以上,幸運(yùn)的可以達(dá)到10年,甚至更長(zhǎng)一些.

為什么中小微企業(yè)的存活率這么低呢?
透過(guò)成千上萬(wàn)的失敗案例,我們總結(jié)了以下五大方面的原因:

第一,創(chuàng)業(yè)失敗創(chuàng)始人難辭其咎,我們?cè)趯W(xué)校里是沒(méi)有一堂課是教如何創(chuàng)業(yè),如何才能創(chuàng)業(yè)成功,即使現(xiàn)在有很多大學(xué)嘗試著在學(xué)校開辦一些創(chuàng)業(yè)的課程,也不系統(tǒng),更不專業(yè),因?yàn)閯?chuàng)業(yè)是一件極其復(fù)雜的工作,是需要多項(xiàng)

技能的集合以及熟練的運(yùn)用才有可能應(yīng)對(duì)突如其來(lái)的變化,創(chuàng)業(yè)初期就像一艘孤獨(dú)的小船面對(duì)波濤洶涌的大海,但船長(zhǎng)從來(lái)都沒(méi)有開過(guò)任何一艘船駛出過(guò)海港,風(fēng)浪來(lái)的時(shí)候,只有慌張和恐懼,最后被海水吞沒(méi).

第二,創(chuàng)業(yè)失敗是價(jià)值觀不統(tǒng)一,方向不一致,團(tuán)隊(duì)不團(tuán)結(jié),風(fēng)平浪靜,風(fēng)和日麗,其實(shí)沒(méi)什么關(guān)系,大家都在享受陽(yáng)光帶來(lái)的美好和快樂(lè),只有遇到風(fēng)浪,生死攸關(guān)或個(gè)人利益受到極大沖突時(shí),人性的弱點(diǎn)才會(huì)突顯,當(dāng)每個(gè)人

只盯著個(gè)人得失或眼光短淺時(shí),如果這個(gè)時(shí)候創(chuàng)始人沒(méi)有力挽狂瀾,強(qiáng)大的信念和人格魅力來(lái)一統(tǒng)所有人的行動(dòng)準(zhǔn)則,在危機(jī)中遲疑,就等于在死神面前跳舞,當(dāng)年阿里的“中國(guó)供應(yīng)商”客戶涉嫌欺詐事件,如果不是馬云明

察秋毫,當(dāng)即立斷,我相信也不會(huì)有今天阿里世界霸主的地位.

第三,創(chuàng)業(yè)失敗是固步自封,看不見高山,如果我們只能看見自己的山最高,沒(méi)有走出去,沒(méi)有學(xué)習(xí)的心態(tài),沒(méi)有敬畏之心,很快時(shí)代就會(huì)把我們淘汰,當(dāng)年的諾基亞,柯達(dá)就是最好的例子.無(wú)論企業(yè)多大,都要有一顆創(chuàng)業(yè)的心,

永遠(yuǎn)相信還能做的更好,還可以再創(chuàng)新,還會(huì)想出其它的可能性.真正的對(duì)手不在外面,而在我們心中,心中無(wú)敵,才能無(wú)敵于天下.

第四,創(chuàng)業(yè)失敗是誤解了”客戶是上帝”,上帝并不是時(shí)時(shí)都知道自己要什么,我們不能只限于客戶表面的表達(dá)就決定了他們的需求,很多企業(yè)死就死在客戶的假需求中,看起來(lái)好像是客戶追求的產(chǎn)品,需要的服務(wù),但實(shí)際

當(dāng)產(chǎn)品生產(chǎn)出來(lái),當(dāng)服務(wù)送到客戶面前,并沒(méi)有真正吸引到客戶的注意,愿意為此而買單,核心本質(zhì)就是我們曲解了”客戶是上帝”這句話,真正的上帝是不會(huì)當(dāng)自己是至高無(wú)上的,也不會(huì)對(duì)品質(zhì)無(wú)底限的追求,更不會(huì)對(duì)服

務(wù)沒(méi)有節(jié)制要求,其實(shí)客戶就是客戶,他們絕大部分人都是普通人,有著普通人的欲望,有著普通人的不滿足,有著普通人想要花更少的錢卻要得到更多的意識(shí),他們的只忠誠(chéng)于更便宜更高的品質(zhì),這一切都是企業(yè)需要認(rèn)

知到的本質(zhì),不然你的”上帝”是不會(huì)為你持續(xù)付費(fèi)的.

第五,創(chuàng)業(yè)失敗是講多了人情講少了制度,公司小,三五個(gè)人可以不需要任何制度,甚至也不需要任何系統(tǒng),因?yàn)槟菚r(shí)彼此聯(lián)結(jié)非常深,情感的能量可以喚醒每個(gè)人的斗志和決心 ,但當(dāng)企業(yè)發(fā)展到幾十個(gè)人甚至幾百個(gè)人

時(shí),那種深深的聯(lián)結(jié)感很難在感受到,人性的弱點(diǎn)就會(huì)被環(huán)境所喚醒,就會(huì)被利益所綁架,就會(huì)被自私所控制,但也不是有了制度就有了保障,制度是人的工具,制度最終是服務(wù)于人,只有促進(jìn)發(fā)展的制度,可能激勵(lì)人性向

善的制度才能長(zhǎng)久, 反之亦然.

如果你想想創(chuàng)立一家公司?

如果你是一家剛剛開始創(chuàng)業(yè)的公司?

如果你現(xiàn)在在創(chuàng)業(yè)的過(guò)程中遇到了挑戰(zhàn)?

結(jié)合上面的五大常見創(chuàng)業(yè)失敗,我們總結(jié)出來(lái)了五個(gè)可以讓你有更大成功機(jī)率的法則,可以讓你活的更久一些,但不保證你一定成功,因?yàn)槭率伦兓?因緣和合,萬(wàn)法無(wú)常,只能隨機(jī)而變.

第一法則:準(zhǔn)備自己

創(chuàng)始人需要自我審視,首先要準(zhǔn)備好自我犧牲的精神,要做好大海有風(fēng)暴的思想準(zhǔn)備,其次利用一切可以實(shí)踐的機(jī)會(huì)去鍛煉自己的綜合能力,不僅僅相信前輩和書本的聲音,更需要相信實(shí)戰(zhàn)后帶來(lái)的思考和反思.即要有

遠(yuǎn)大的理想和抱負(fù),又要有腳踏實(shí)地做好每一件事的決心.

第二法則:認(rèn)識(shí)自我

創(chuàng)始人要極早的認(rèn)識(shí)自我,想清楚為什么要?jiǎng)?chuàng)業(yè)比創(chuàng)業(yè)更重要,清晰明確的了解自己的價(jià)值是什么?什么是自己會(huì)堅(jiān)持的,什么是自己抗拒的,混亂的價(jià)值觀就會(huì)吸引五花八門的人,企業(yè)內(nèi)部的斗爭(zhēng)都是創(chuàng)始人自己思想

的斗爭(zhēng),初創(chuàng)企業(yè)所呈現(xiàn)出來(lái)的一切現(xiàn)象都是創(chuàng)始人內(nèi)在的顯化.當(dāng)年阿里快速成長(zhǎng),內(nèi)部也出現(xiàn)了一系列的問(wèn)題,但極其智慧的馬云沒(méi)有去解決這些問(wèn)題,反而把自己關(guān)在道觀中整整7天,最后終于想明白了三個(gè)問(wèn)題:

我要什么,我有什么,我要放棄什么,當(dāng)他想清晰這三個(gè)問(wèn)題后,并向全公司傳遞出來(lái),最后所有那些紛繁復(fù)雜的問(wèn)題都不解自明.

第三法則:持續(xù)打開

創(chuàng)始人的天花板就是企業(yè)的天花板,企業(yè)無(wú)法突破,就是創(chuàng)始人沒(méi)有突破自己,突破其實(shí)不容易,因?yàn)楣逃械挠^念就像萬(wàn)里長(zhǎng)城一樣,非一日之功,是多少個(gè)春夏秋冬,嚴(yán)寒酷暑的積累和沉淀,這些不是沒(méi)有價(jià)值,而是幫助

過(guò)我們創(chuàng)了價(jià)值,讓我們來(lái)到了今天這一步,但如果我們期望有一個(gè)更大的世界,就需要放下它們,放下我們?cè)?jīng)一直的堅(jiān)持和執(zhí)著,打開自己,讓自己接納一個(gè)全新的可能性,也許過(guò)不了多久,我們又會(huì)把這些新的東西奉

為圭臬但只要我們還想看到一個(gè)更大的可能性,就需要再次打開自己,重新建立認(rèn)知,我們一生都是在打開和重建過(guò)程中,直到生命的終結(jié),又一切回歸原點(diǎn).

第四法則:回歸本質(zhì)

創(chuàng)始人剛開始需要和團(tuán)隊(duì)一起參與戰(zhàn)斗,甚至做具體細(xì)節(jié)工作,因?yàn)槌鮿?chuàng)需要激情來(lái)點(diǎn)燃,而創(chuàng)始人是這個(gè)團(tuán)隊(duì)最有激情的一個(gè)人,初創(chuàng)團(tuán)隊(duì)需要有人帶動(dòng)去點(diǎn)燃更大的燃料.當(dāng)所有團(tuán)隊(duì)和部門走向正軌時(shí),創(chuàng)始人更大

的價(jià)值是深度的思考,有效的區(qū)分,精神的引領(lǐng)和正確的選擇.

企業(yè)越來(lái)越大,事情就會(huì)越來(lái)越多,如果沒(méi)有一個(gè)清醒的大腦保持深度的思考,就像讓企業(yè)很多人很忙,忙是一種現(xiàn)象,并不代表有價(jià)值,只有透過(guò)深度思考發(fā)現(xiàn)事物的本質(zhì),才知道忙什么才是最重要的,

懂得有效的區(qū)分是一個(gè)領(lǐng)導(dǎo)者必須掌握的能力, 《尼布爾的祈禱文》說(shuō):”上帝，請(qǐng)賜予我平靜，去接受我無(wú)法改變的。給予我勇氣，去改變我能改變的，賜我智慧，分辨這兩者的區(qū)別。”只有具備分辨的智慧,才不

會(huì)讓自己誤入歧途.

創(chuàng)始人要有強(qiáng)大的精神力量,讓所有員工感受到這股力量,因?yàn)樗械某晒Χ茧x不開一個(gè)偉大的精神領(lǐng)袖,就像蘋果的喬布斯,微軟的比爾蓋茨和阿里的馬云.

選擇比努力更重要,這句話告訴我們順勢(shì)而為的選擇可以讓我們?cè)谕瑯拥呐η闆r下獲得不同的結(jié)果,如何才能具備這樣明智選擇的能力呢,強(qiáng)大的深度思考能力和有效的區(qū)分能力就可以幫到我們看見正確的選擇.

第五法則:創(chuàng)造系統(tǒng)

創(chuàng)始人是人,是人就會(huì)有七情六欲,就會(huì)有生老病死,就會(huì)有悲歡離合,這些人性的因素會(huì)讓我們很不穩(wěn)定,但企業(yè)能持久有效的運(yùn)轉(zhuǎn)一定是在穩(wěn)定的能量下運(yùn)行,所以不能始終靠人來(lái)推動(dòng),企業(yè)想要活的久一定是有內(nèi)生

的系統(tǒng),只有建立一個(gè)自動(dòng)運(yùn)轉(zhuǎn)的系統(tǒng)才能保持穩(wěn)定健康的成長(zhǎng).
以上的分享像從管子里看豹，只看見豹身上的一塊花斑，看不到全豹,以此拋磚引玉,希望有更多人可以把自己創(chuàng)業(yè)的經(jīng)歷和經(jīng)驗(yàn)分享出來(lái),從而讓我們更全面的看見一家企業(yè)怎樣做才能活得久,活的好,活的更有價(jià)

值.
 
 
遇到服務(wù)器故障，問(wèn)題出現(xiàn)的原因很少可以一下就想到。我們基本上都會(huì)從以下步驟入手：

一、盡可能搞清楚問(wèn)題的前因后果
不要一下子就扎到服務(wù)器前面，你需要先搞明白對(duì)這臺(tái)服務(wù)器有多少已知的情況，還有故障的具體情況。不然你很可能就是在無(wú)的放矢。
必須搞清楚的問(wèn)題有：
故障的表現(xiàn)是什么？無(wú)響應(yīng)？報(bào)錯(cuò)？
故障是什么時(shí)候發(fā)現(xiàn)的？
故障是否可重現(xiàn)？
有沒(méi)有出現(xiàn)的規(guī)律（比如每小時(shí)出現(xiàn)一次）
最后一次對(duì)整個(gè)平臺(tái)進(jìn)行更新的內(nèi)容是什么（代碼、服務(wù)器等）？
故障影響的特定用戶群是什么樣的(已登錄的, 退出的, 某個(gè)地域的…)?
基礎(chǔ)架構(gòu)（物理的、邏輯的）的文檔是否能找到?
是否有監(jiān)控平臺(tái)可用? （比如Munin、Zabbix、 Nagios、 New Relic… 什么都可以）
是否有日志可以查看?. （比如Loggly、Airbrake、 Graylog…）
最后兩個(gè)是最方便的信息來(lái)源，不過(guò)別抱太大希望，基本上它們都不會(huì)有。只能再繼續(xù)摸索了。

二、有誰(shuí)在?
復(fù)制代碼 代碼如下:

$ w
$ last
用這兩個(gè)命令看看都有誰(shuí)在線，有哪些用戶訪問(wèn)過(guò)。這不是什么關(guān)鍵步驟，不過(guò)最好別在其他用戶正干活的時(shí)候來(lái)調(diào)試系統(tǒng)。有道是一山不容二虎嘛。（ne cook in the kitchen is enough.）

三、之前發(fā)生了什么?
$ history查看一下之前服務(wù)器上執(zhí)行過(guò)的命令。看一下總是沒(méi)錯(cuò)的，加上前面看的誰(shuí)登錄過(guò)的信息，應(yīng)該有點(diǎn)用。另外作為admin要注意，不要利用自己的權(quán)限去侵犯別人的隱私哦。
到這里先提醒一下，等會(huì)你可能會(huì)需要更新 HISTTIMEFORMAT 環(huán)境變量來(lái)顯示這些命令被執(zhí)行的時(shí)間。對(duì)要不然光看到一堆不知道啥時(shí)候執(zhí)行的命令，同樣會(huì)令人抓狂的。

四、現(xiàn)在在運(yùn)行的進(jìn)程是啥?
復(fù)制代碼 代碼如下:

$ pstree -a
$ ps aux
這都是查看現(xiàn)有進(jìn)程的。 ps aux 的結(jié)果比較雜亂， pstree -a 的結(jié)果比較簡(jiǎn)單明了，可以看到正在運(yùn)行的進(jìn)程及相關(guān)用戶。

五、監(jiān)聽的網(wǎng)絡(luò)服務(wù)
復(fù)制代碼 代碼如下:

$ netstat -ntlp
$ netstat -nulp
$ netstat -nxlp
我一般都分開運(yùn)行這三個(gè)命令，不想一下子看到列出一大堆所有的服務(wù)。netstat -nalp倒也可以。不過(guò)我絕不會(huì)用 numeric 選項(xiàng) （鄙人一點(diǎn)淺薄的看法：IP 地址看起來(lái)更方便）。
找到所有正在運(yùn)行的服務(wù)，檢查它們是否應(yīng)該運(yùn)行。查看各個(gè)監(jiān)聽端口。在netstat顯示的服務(wù)列表中的PID 和 ps aux 進(jìn)程列表中的是一樣的。
如果服務(wù)器上有好幾個(gè)Java或者Erlang什么的進(jìn)程在同時(shí)運(yùn)行，能夠按PID分別找到每個(gè)進(jìn)程就很重要了。
通常我們建議每臺(tái)服務(wù)器上運(yùn)行的服務(wù)少一點(diǎn)，必要時(shí)可以增加服務(wù)器。如果你看到一臺(tái)服務(wù)器上有三四十個(gè)監(jiān)聽端口開著，那還是做個(gè)記錄，回頭有空的時(shí)候清理一下，重新組織一下服務(wù)器。

六、CPU 和內(nèi)存
復(fù)制代碼 代碼如下:

$ free -m
$ uptime
$ top
$ htop
注意以下問(wèn)題:
還有空余的內(nèi)存嗎? 服務(wù)器是否正在內(nèi)存和硬盤之間進(jìn)行swap?
還有剩余的CPU嗎? 服務(wù)器是幾核的? 是否有某些CPU核負(fù)載過(guò)多了?
服務(wù)器最大的負(fù)載來(lái)自什么地方? 平均負(fù)載是多少?

七、硬件
復(fù)制代碼 代碼如下:

$ lspci
$ dmidecode
$ ethtool
有很多服務(wù)器還是裸機(jī)狀態(tài)，可以看一下：
找到RAID 卡 (是否帶BBU備用電池?)、 CPU、空余的內(nèi)存插槽。根據(jù)這些情況可以大致了解硬件問(wèn)題的來(lái)源和性能改進(jìn)的辦法。
網(wǎng)卡是否設(shè)置好? 是否正運(yùn)行在半雙工狀態(tài)? 速度是10MBps? 有沒(méi)有 TX/RX 報(bào)錯(cuò)?

八、IO 性能
復(fù)制代碼 代碼如下:

$ iostat -kx 2
$ vmstat 2 10
$ mpstat 2 10
$ dstat --top-io --top-bio
這些命令對(duì)于調(diào)試后端性能非常有用。
檢查磁盤使用量：服務(wù)器硬盤是否已滿?
是否開啟了swap交換模式 (si/so)?
CPU被誰(shuí)占用：系統(tǒng)進(jìn)程? 用戶進(jìn)程? 虛擬機(jī)?
dstat 是我的最愛(ài)。用它可以看到誰(shuí)在進(jìn)行 IO： 是不是MySQL吃掉了所有的系統(tǒng)資源? 還是你的PHP進(jìn)程?

九、掛載點(diǎn) 和 文件系統(tǒng)
復(fù)制代碼 代碼如下:

$ mount
$ cat /etc/fstab
$ vgs
$ pvs
$ lvs
$ df -h
$ lsof +D / /* beware not to kill your box */
一共掛載了多少文件系統(tǒng)?
有沒(méi)有某個(gè)服務(wù)專用的文件系統(tǒng)? (比如MySQL?)
文件系統(tǒng)的掛載選項(xiàng)是什么： noatime? default? 有沒(méi)有文件系統(tǒng)被重新掛載為只讀模式了？
磁盤空間是否還有剩余?
是否有大文件被刪除但沒(méi)有清空?
如果磁盤空間有問(wèn)題，你是否還有空間來(lái)擴(kuò)展一個(gè)分區(qū)？

十、內(nèi)核、中斷和網(wǎng)絡(luò)
復(fù)制代碼 代碼如下:

$ sysctl -a | grep ...
$ cat /proc/interrupts
$ cat /proc/net/ip_conntrack /* may take some time on busy servers */
$ netstat
$ ss -s
你的中斷請(qǐng)求是否是均衡地分配給CPU處理，還是會(huì)有某個(gè)CPU的核因?yàn)榇罅康木W(wǎng)絡(luò)中斷請(qǐng)求或者RAID請(qǐng)求而過(guò)載了？
SWAP交換的設(shè)置是什么？對(duì)于工作站來(lái)說(shuō)swappinness 設(shè)為 60 就很好, 不過(guò)對(duì)于服務(wù)器就太糟了：你最好永遠(yuǎn)不要讓服務(wù)器做SWAP交換，不然對(duì)磁盤的讀寫會(huì)鎖死SWAP進(jìn)程。
conntrack_max 是否設(shè)的足夠大，能應(yīng)付你服務(wù)器的流量?
在不同狀態(tài)下(TIME_WAIT, …)TCP連接時(shí)間的設(shè)置是怎樣的？
如果要顯示所有存在的連接，netstat 會(huì)比較慢， 你可以先用 ss 看一下總體情況。
你還可以看一下 Linux TCP tuning 了解網(wǎng)絡(luò)性能調(diào)優(yōu)的一些要點(diǎn)。

十一、系統(tǒng)日志和內(nèi)核消息
復(fù)制代碼 代碼如下:

$ dmesg
$ less /var/log/messages
$ less /var/log/secure
$ less /var/log/auth
查看錯(cuò)誤和警告消息，比如看看是不是很多關(guān)于連接數(shù)過(guò)多導(dǎo)致？
看看是否有硬件錯(cuò)誤或文件系統(tǒng)錯(cuò)誤?
分析是否能將這些錯(cuò)誤事件和前面發(fā)現(xiàn)的疑點(diǎn)進(jìn)行時(shí)間上的比對(duì)。

十二、定時(shí)任務(wù)
復(fù)制代碼 代碼如下:

$ ls /etc/cron* + cat
$ for user in $(cat /etc/passwd | cut -f1 -d:); do crontab -l -u $user; done
是否有某個(gè)定時(shí)任務(wù)運(yùn)行過(guò)于頻繁?
是否有些用戶提交了隱藏的定時(shí)任務(wù)?
在出現(xiàn)故障的時(shí)候，是否正好有某個(gè)備份任務(wù)在執(zhí)行？

十三、應(yīng)用系統(tǒng)日志
這里邊可分析的東西就多了, 不過(guò)恐怕你作為運(yùn)維人員是沒(méi)功夫去仔細(xì)研究它的。關(guān)注那些明顯的問(wèn)題，比如在一個(gè)典型的LAMP（Linux+Apache+Mysql+Perl）應(yīng)用環(huán)境里:
Apache & Nginx; 查找訪問(wèn)和錯(cuò)誤日志, 直接找 5xx 錯(cuò)誤, 再看看是否有 limit_zone 錯(cuò)誤。
MySQL; 在mysql.log找錯(cuò)誤消息，看看有沒(méi)有結(jié)構(gòu)損壞的表， 是否有innodb修復(fù)進(jìn)程在運(yùn)行，是否有disk/index/query 問(wèn)題.
PHP-FPM; 如果設(shè)定了 php-slow 日志, 直接找錯(cuò)誤信息 (php, mysql, memcache, …)，如果沒(méi)設(shè)定，趕緊設(shè)定。
Varnish; 在varnishlog 和 varnishstat 里, 檢查 hit/miss比. 看看配置信息里是否遺漏了什么規(guī)則，使最終用戶可以直接攻擊你的后端？
HA-Proxy; 后端的狀況如何？健康狀況檢查是否成功？是前端還是后端的隊(duì)列大小達(dá)到最大值了？