故事一：教訓(xùn)，數(shù)據(jù)丟失引發(fā)的“血案”

　　時(shí)間：2006年夏;地點(diǎn)：蘇州;起因：某市級(jí)監(jiān)控項(xiàng)目，采用數(shù)模結(jié)合方式，前端模擬攝像機(jī)接入編碼器，將編碼視頻上傳到監(jiān)控中心通過視頻平臺(tái)軟件進(jìn)行集中管理、控制、存儲(chǔ)。全市采用多級(jí)聯(lián)網(wǎng)模式，以各行政區(qū)為分中心，并統(tǒng)一建設(shè)市級(jí)監(jiān)控中心，對(duì)全市分中心進(jìn)行管理。各分中心分別7*24小時(shí)進(jìn)行視頻錄像，統(tǒng)一采用IPSAN模式。事情就出現(xiàn)在其中的一個(gè)分中心：高新區(qū)分中心。

　　某日，高清區(qū)分中心內(nèi)，系統(tǒng)集成公司駐場(chǎng)人員在一次例行檢查中發(fā)現(xiàn)，某個(gè)時(shí)間段以內(nèi)的錄像完全無法查找到，并且服務(wù)器上掛載的iSCSI卷也消失了，該名系統(tǒng)管理人員意識(shí)到，情況復(fù)雜了，需要馬上聯(lián)系上級(jí)以及各廠到現(xiàn)場(chǎng)進(jìn)行支持。

　　待人員到齊，并逐一對(duì)各設(shè)備進(jìn)行排查后確定，問題出在磁盤陣列上。在這起事故中，整個(gè)系統(tǒng)方案，設(shè)備選用上，磁盤陣列的安全性和可靠性配置不說是最好的，但也肯定是排在前列的，偏偏問題出在這種設(shè)備上，可想而知，當(dāng)時(shí)設(shè)備廠商以及系統(tǒng)集成商肩膀上的壓力有多大。

　　經(jīng)過事后查明，iSCSI磁盤陣列上的一組raid5出現(xiàn)一塊硬盤損壞，熱備盤頂替上去恢復(fù)后，壞硬盤未能得到及時(shí)更換，導(dǎo)致后續(xù)有硬盤持續(xù)損壞不能得到恢復(fù)，最終造成兩塊硬盤的離線，raid5損壞。到這里為止，事實(shí)比較清楚，但深層次的原因需要進(jìn)一步挖掘。

　　首先，導(dǎo)致該事故的表面原因是硬盤損壞。但我們知道，硬盤在大容量數(shù)據(jù)存儲(chǔ)領(lǐng)域，是屬于“易耗品”，硬盤損壞是不可避免的，我們需要做到的是及時(shí)更換。如何能“及時(shí)”?這就考驗(yàn)設(shè)備的報(bào)警機(jī)制了。對(duì)設(shè)備的維護(hù)，我們通常都采取主動(dòng)以及被動(dòng)兩種方式，主動(dòng)式相對(duì)設(shè)備來說，需要有完善的警告機(jī)制，將故障、問題、事件等要素事無巨細(xì)的上報(bào)。而被動(dòng)式需要人工干預(yù)，建立完善的巡檢機(jī)制，及時(shí)發(fā)現(xiàn)各種隱患、故障點(diǎn)，并進(jìn)行恢復(fù)。主動(dòng)、被動(dòng)結(jié)合才能使系統(tǒng)穩(wěn)定運(yùn)行。從這起事故我們可以發(fā)現(xiàn)，整個(gè)分中心對(duì)于設(shè)備的維護(hù)存在問題的。設(shè)備報(bào)警機(jī)制不完善，導(dǎo)致硬盤損壞未能及時(shí)報(bào)警從而未能引起管理人員重視;熱備盤未更新，設(shè)備不報(bào)這種隱患事件給管理員，導(dǎo)致熱備盤真空期，從而導(dǎo)致整個(gè)事件最終走向raid損壞的深淵。

　　其次，該中心對(duì)設(shè)備的選擇存在問題。一般來說，為了保證穩(wěn)定可靠，集中存儲(chǔ)設(shè)備都會(huì)選擇專業(yè)型產(chǎn)品，采用控制器架構(gòu)，模塊化設(shè)計(jì)的產(chǎn)品，保證無單點(diǎn)故障，設(shè)備對(duì)硬盤以及raid的控制通過專業(yè)硬件芯片進(jìn)行，并且設(shè)備可以通過多種方式(如SNMP、Email、Syslog、Windows Messenger等)進(jìn)行主動(dòng)報(bào)警上傳，將各種事件以及設(shè)備狀態(tài)及時(shí)呈現(xiàn)在系統(tǒng)里面，給維護(hù)工作提供最及時(shí)的幫助。反觀該分中心的設(shè)備，對(duì)于硬盤以及raid的報(bào)警機(jī)制，只提供了Email一種手段，非常單薄，給系統(tǒng)維護(hù)造成一定障礙。

　　最后，該中心設(shè)備是一款國內(nèi)典型的入門級(jí)產(chǎn)品，采用PC服務(wù)器架構(gòu)，內(nèi)部未能實(shí)現(xiàn)模塊化無線纜連接模式，系統(tǒng)對(duì)于硬盤以及raid的管理存在單點(diǎn)問題，增加了硬盤掉線風(fēng)險(xiǎn)，導(dǎo)致整體穩(wěn)定性不盡如人意，也是引起本次事故的一大隱患。

　　經(jīng)過本次事故以后，甲方客戶對(duì)于錄像的丟失感到非常痛心，對(duì)系統(tǒng)集成公司以及設(shè)備提供商的信任都跌到了谷底，導(dǎo)致后續(xù)的幾期擴(kuò)容項(xiàng)目不再考慮該品牌產(chǎn)品，且在整個(gè)區(qū)域內(nèi)的類似項(xiàng)目中也不推薦該品牌產(chǎn)品。對(duì)于設(shè)備提供商來說，這是血淋淋的教訓(xùn)。

　　故事二：千里奔襲，還客戶業(yè)務(wù)于穩(wěn)定

　　時(shí)間：2004年秋;地點(diǎn)：沈陽;起因：某日，晚上8點(diǎn)左右，北京某公司，正完成加班準(zhǔn)備回家的小楊接到領(lǐng)導(dǎo)的電話通知，某商業(yè)銀行沈陽分行數(shù)據(jù)中心一臺(tái)核心存儲(chǔ)設(shè)備出現(xiàn)報(bào)警，該設(shè)備其中一個(gè)控制器故障，無法提供服務(wù)，該控制器上的業(yè)務(wù)已經(jīng)全部切換，還沒有影響到客戶的正常使用，但客戶需要快速響應(yīng)，為了保證明天上班后業(yè)務(wù)負(fù)荷上來后沒有安全隱患，必須于第二天上班前保證設(shè)備恢復(fù)到雙控狀態(tài)。

　　接到電話后小楊犯了難，這么晚了，飛機(jī)沒了航班，火車沒了班次，怎么辦?控制器備件公司倒是現(xiàn)成的，但怎么送到呢?最后只能選擇了出租車。小楊9點(diǎn)左右打車從北京出發(fā)趕往沈陽，完成了生平唯一一次千里奔襲。

　　7個(gè)多小時(shí)的奔波，小楊在凌晨5點(diǎn)左右到達(dá)了沈陽。到了目的地，馬不停蹄的趕往數(shù)據(jù)機(jī)房，機(jī)房?jī)?nèi)早有該銀行技術(shù)人員陪同小楊去故障設(shè)備處，在對(duì)設(shè)備進(jìn)行一番排查判斷后，在取得該行領(lǐng)導(dǎo)同意后，在6點(diǎn)20分左右小楊以及該行陪同技術(shù)人員決定對(duì)問題設(shè)備進(jìn)行控制器更換。

　　時(shí)間過去得很快，控制器更換過程也一切順利，沒有讓人失望，該設(shè)備在更換新控制器后，恢復(fù)了正常，業(yè)務(wù)測(cè)試也沒有出現(xiàn)問題，本次維護(hù)取得了意料中的勝利。整個(gè)過程表面上雖然波瀾不驚，但懂行的都知道，沒有苛刻的產(chǎn)品品質(zhì)保證，沒有過硬的故障恢復(fù)能力，以上的波瀾不驚可能就會(huì)演變?yōu)椴龥坝俊Ⅲ@濤駭浪了。

　　現(xiàn)在我們?cè)撋顚哟蔚姆治鲭[藏在這個(gè)故事中的種種暗礁了。首先，映入我們眼簾的第一個(gè)暗礁就是故障恢復(fù)能力。得益于設(shè)備的架構(gòu)，該行的問題設(shè)備采用的是配置雙控制器的存儲(chǔ)設(shè)備，因此，在發(fā)現(xiàn)控制器故障以后，業(yè)務(wù)能夠?qū)崿F(xiàn)無縫切換，并且不影響業(yè)務(wù)的運(yùn)行，真正做到了在線故障切換能力。有了這種保障，才能順利的避開故障恢復(fù)這個(gè)龐大的海底暗礁。

　　其次，產(chǎn)品品質(zhì)問題。不是所有的控制器產(chǎn)品故障恢復(fù)能力都能達(dá)到企業(yè)級(jí)應(yīng)用。上面這則故事里面的設(shè)備，如果不是有可靠的硬件架構(gòu)，配合扎實(shí)的后臺(tái)軟件，經(jīng)歷嚴(yán)格的測(cè)試，是不可能如此出色的完成任務(wù)的。如果要用數(shù)字量化一個(gè)設(shè)備的可靠性，業(yè)界接受的數(shù)字是：99.95%-99.99%，再高的99.999%，就不是幾個(gè)設(shè)備、一套軟件能完成的工作了。

　　總結(jié)

　　就安防監(jiān)控對(duì)于專業(yè)存儲(chǔ)產(chǎn)品的應(yīng)用來看，尚處于入門階段。很多項(xiàng)目追求的是產(chǎn)品價(jià)格，對(duì)于大容量數(shù)據(jù)的安全性尚未引起足夠的重視，因此大部分監(jiān)控項(xiàng)目選用的產(chǎn)品是入門級(jí)存儲(chǔ)產(chǎn)品，只能解決基本的數(shù)據(jù)存儲(chǔ)需求。穩(wěn)定性不佳，故障恢復(fù)能力不強(qiáng)是入門級(jí)產(chǎn)品普遍存在的現(xiàn)象。

　　近年來，安防視頻監(jiān)控技術(shù)在不斷地尋求突破，不僅是技術(shù)本身的升級(jí)，更要不斷地尋求引進(jìn)其他行業(yè)的成熟技術(shù)。在安防視頻監(jiān)控行業(yè)，我們最近看到了廣電行業(yè)HD-SDI技術(shù)的引用。再往前，我們把業(yè)務(wù)擴(kuò)展到以太網(wǎng)上，實(shí)現(xiàn)了集中監(jiān)控、網(wǎng)絡(luò)化應(yīng)用，等等。這些都證明只要有應(yīng)用需求，就可以借鑒及消化其他行業(yè)先進(jìn)的技術(shù)，完善整體解決方案。

　　隨著高清應(yīng)用越來越成熟，高清監(jiān)控建設(shè)是每個(gè)使用者、每個(gè)廠商都要考慮的問題。在高清錄像面前，圖像細(xì)節(jié)已經(jīng)不是奢望。在圖像清晰度越來越高，參考價(jià)值越來越大的前提下，錄像存儲(chǔ)的安全性已經(jīng)是必須實(shí)現(xiàn)與解決的問題，隨意丟失錄像就是一種對(duì)投資、對(duì)效率、對(duì)用戶的不負(fù)責(zé)。

　　目前，存儲(chǔ)設(shè)備的安全性、可靠性成為行業(yè)普遍關(guān)注的問題。因此，我們完全可以把數(shù)據(jù)專業(yè)存儲(chǔ)行業(yè)成熟的技術(shù)引進(jìn)，借鑒他們先進(jìn)的概念，改善安防視頻監(jiān)控方案中集中存儲(chǔ)存在的問題，甚至于可以結(jié)合視頻監(jiān)控行業(yè)數(shù)據(jù)讀寫的特殊性進(jìn)行優(yōu)化，打造出符合行業(yè)應(yīng)用的專業(yè)產(chǎn)品。

　　基于此，大華股份定位自己為網(wǎng)絡(luò)存儲(chǔ)“專業(yè)、可靠”倡導(dǎo)者，“高效、穩(wěn)定”實(shí)踐者，率先在行業(yè)內(nèi)掀起專業(yè)存儲(chǔ)產(chǎn)品推廣風(fēng)暴，在“以客戶為中心”的指導(dǎo)下，將監(jiān)控錄像安全的保存下來。