6月22日,全國人民正沉浸在端午假期第一天的放松與愉悅中,但設計公司的部分員工還在家中遠程工作。傍晚17點45分,公司微信群里突然出現(xiàn)了這樣一條信息:
“204服務器上不去了”。
正是這簡簡單單的一句話,拉開了行政管理中心信息專員姚旭為期二十余天辛勤工作的序幕。
事發(fā)突然 妥善應對
22日當天,姚旭正在家里陪著9月初預產(chǎn)的妻子聊天??吹饺豪镄畔⒑?他立即回復同事、詢問詳細情況、開展遠程排查;但在排除幾種常規(guī)故障后,依舊無法判斷服務器訪問異常的原因出在哪里。該服務器作為公司的NAS存儲服務器,訪問需求迫切,姚旭決定第二天去公司加班排查故障,并提前聯(lián)系了服務器專業(yè)運維人員。
23日早9點,姚旭協(xié)同兩名運維人員駕車趕到公司。經(jīng)過一個多小時的仔細檢查,三人形成初步判斷:問題應該出在服務器的硬盤上。
10點半開始,三個人立即開展了全面的服務器排查工作,沒想到一干就是四個小時。在對服務器端操作系統(tǒng)及總共12塊硬盤檢測一遍后,檢測小組得出結(jié)論:有兩塊(同組)硬盤出現(xiàn)了故障,導致磁盤陣列崩潰、系統(tǒng)無法運行,所有用戶無法登錄及訪問服務器。
更加雪上加霜的事情還在后面:設計公司服務器的磁盤陣列采取了RAID 5模式,只允許單盤故障,系統(tǒng)才會通過算法將數(shù)據(jù)重組恢復。在這種模式下,如果損壞的硬盤只有一塊,那么維修起來會比較方便,直接替換損壞硬盤即可;若反之,損壞兩塊及以上硬盤,就只能采取修復盤體、強制上線或者鏡像備份等方式嘗試恢復數(shù)據(jù),后期再重建RAID與FreeNAS系統(tǒng)(一種專門針對網(wǎng)絡存儲設計和優(yōu)化的操作系統(tǒng))。
很不幸,公司此次剛好遇到了第二種情況。懷著復雜的心情,姚旭讓兩名運維人員把服務器及硬盤搬離機房,運至專業(yè)機構(gòu)進行維修。
當天恰逢北京高溫,機房空調(diào)系統(tǒng)出現(xiàn)故障,機房溫度超過40攝氏度。離開公司之際,三人已是汗流浹背、饑腸轆轆。
長期作戰(zhàn) 不辱使命
自6月25日上班開始,姚旭經(jīng)歷了二十天的長期作戰(zhàn)。
經(jīng)運維人員測算,設計公司服務器硬盤中總共存儲了約40TB的數(shù)據(jù),其中不重復的有效數(shù)據(jù)約25TB,主要關(guān)系到各個生產(chǎn)部門的設計咨詢、生產(chǎn)經(jīng)營工作。
由于數(shù)據(jù)總量過于龐大,維修機構(gòu)只能采取最為保險的方式:完整鏡像備份故障RAID中所有硬盤,基于鏡像文件分析,進行數(shù)據(jù)重組及提取工作,將數(shù)據(jù)導入大容量移動硬盤內(nèi),最后寄回姚旭手中。在此情況下,姚旭每天在初步核驗數(shù)據(jù)后,只能向公司備用服務器上傳約1TB的數(shù)據(jù)。先恢復哪個部門的數(shù)據(jù)、后恢復哪個部門的數(shù)據(jù),就成了一道頗難抉擇的考題。
在三周的時間內(nèi),姚旭不斷與各個部門開展溝通,根據(jù)工作緩急程度,統(tǒng)籌安排數(shù)據(jù)上傳順序。期間雖有個別性急的部門員工表達過優(yōu)先上傳本部門數(shù)據(jù)的意見與理由,終被姚旭手中詳細編制、入情入理的數(shù)據(jù)恢復方案所打動,轉(zhuǎn)而采取支持理解的態(tài)度。
“凡事預則立,不預則廢。有了這份方案,不但生產(chǎn)部門同事和我吵架吵不起來,各生產(chǎn)部門之間應該也不會產(chǎn)生意見。咱們干工作本來是為了解決矛盾的,要是因為我的疏忽產(chǎn)生了不必要的矛盾,那不就‘越幫越忙’了嗎?”
截止7月14日,數(shù)據(jù)傳輸工作已完成約90%。
事無巨細 一力承擔
據(jù)姚旭估計,數(shù)據(jù)上傳工作7月中旬即可結(jié)束,接下來還要實施重建RAID、重裝服務器系統(tǒng)、更新域控權(quán)限、同步主服務器與備份服務器數(shù)據(jù)等工作。照此推斷,公司服務器NAS系統(tǒng)整體修復工作預計8月份才能完成。
在此期間,姚旭還要完成復印機租賃招標、集團信息化經(jīng)費分攤、辦公網(wǎng)絡專線費用支付、財務系統(tǒng)歷史數(shù)據(jù)核銷、協(xié)助財務函證對賬等雜項工作,同時落實集團公司2023年網(wǎng)絡安全演練相關(guān)工作,擬定執(zhí)行方案。
聊到這里,這位準爸爸也不免感嘆:最近確實挺忙的。
“不過呢,忙點兒也好,忙起來心里踏實,忙起來才能體現(xiàn)自身的價值。咱們既然吃的是網(wǎng)絡信息這口飯,就要干好網(wǎng)絡信息這攤活兒。小寶貝兒就要出生了,這個夏天之所以忙,也保不齊是TA給我來了一個小考驗。畢竟,更大的考驗還在后面呢?!?/p>
——只見姚旭滿臉的溫柔與幸福。(撰稿:王沈浩)
來源:中華網(wǎng)
網(wǎng)站簡介 / 廣告服務 / 聯(lián)系我們
主辦:華夏經(jīng)緯信息科技有限公司 版權(quán)所有 華夏經(jīng)緯網(wǎng)
Copyright 2001-2024 By m.612g.cn