企業(yè)和其他組織一直在充滿敵意的信息安全環(huán)境中運(yùn)行，在這個(gè)環(huán)境中，計(jì)算和存儲(chǔ)資源成為攻擊者使用入侵系統(tǒng)進(jìn)行惡意攻擊的目標(biāo)。其中，個(gè)人機(jī)密信息被竊取，然后被放在地下市場(chǎng)出售，而國(guó)家支持的攻擊導(dǎo)致大量數(shù)據(jù)泄露。在這種情況下，一個(gè)企業(yè)需要部署大數(shù)據(jù)安全性分析工具來(lái)保護(hù)有價(jià)值的公司資源。
信息安全的很大一部分工作是監(jiān)控和分析服務(wù)器、網(wǎng)絡(luò)和其他設(shè)備上的數(shù)據(jù)。如今大數(shù)據(jù)分析方面的進(jìn)步也已經(jīng)應(yīng)用于安防監(jiān)控中，并且它們可被用   于實(shí)現(xiàn)更廣泛和更深入的分析。它們與傳統(tǒng)的信息安全分析存在顯著的差異，本文將從兩個(gè)方面分別介紹大數(shù)據(jù)安全分析的新的特點(diǎn)，以及企業(yè)在選擇大數(shù)據(jù)分析技  術(shù)時(shí)需要考慮的關(guān)鍵因素。
大數(shù)據(jù)安全分析的特征
在許多方面，大數(shù)據(jù)安全分析是[安全信息和事件管理security information and event management   ，SIEM）及相關(guān)技術(shù)的延伸。雖然只是在分析的數(shù)據(jù)量和數(shù)據(jù)類型方面存在量的差異，但對(duì)從安全設(shè)備和應(yīng)用程序提取到的信息類型來(lái)說(shuō)，卻導(dǎo)致了質(zhì)的差異。
大數(shù)據(jù)安全分析工具通常包括兩種功能類別：SIEM，以及性能和可用性監(jiān)控（PAM）。SIEM工具通常包括日志管理、事件管理和行為分析，以及數(shù)據(jù)庫(kù)和應(yīng)用程序監(jiān)控。而PAM工具專注于運(yùn)行管理。然而，大數(shù)據(jù)分析工具比純粹地將SIEM和PAM工具放在一起要擁有更多的功能；它們的目的是實(shí)時(shí)地收集、整合和分析大規(guī)模的數(shù)據(jù)，這需要一些額外的功能。
與SIEM一樣，大數(shù)據(jù)分析工具具有在網(wǎng)絡(luò)上準(zhǔn)確發(fā)現(xiàn)設(shè)備的能力。在一些情況下，一個(gè)配置管理數(shù)據(jù)庫(kù)可以補(bǔ)充和提高自動(dòng)收集到的數(shù)據(jù)的質(zhì)   量。此外，大數(shù)據(jù)分析工具還必須能夠與LDAP或Active   Directory服務(wù)器，以及其他的第三方安全工具進(jìn)行集成。對(duì)事件響應(yīng)工作流程的支持對(duì)于SIEM工具可能并不是非常重要，但是當(dāng)日志和其他來(lái)源的安  全事件數(shù)據(jù)的的數(shù)據(jù)量非常大時(shí)，這項(xiàng)功能就必不可少了。
大數(shù)據(jù)信息安全分析與其他領(lǐng)域的安全分析的區(qū)別主要表現(xiàn)在五個(gè)主要特征。
主要特性1：可擴(kuò)展性【Benny注：這里應(yīng)翻譯為可伸縮性，Scalability和Extensibility是有區(qū)別的】
大數(shù)據(jù)分析其中的一個(gè)主要特點(diǎn)是可伸縮性。這些平臺(tái)必須擁有實(shí)時(shí)或接近實(shí)時(shí)的數(shù)據(jù)收集能力。網(wǎng)絡(luò)流通是一個(gè)不間斷的數(shù)據(jù)包流，數(shù)據(jù)分析的速度必須要和數(shù)據(jù)獲取的速度一樣快。該分析工具不可能讓網(wǎng)絡(luò)流通暫停來(lái)趕上積壓的需要分析的數(shù)據(jù)包。
大數(shù)據(jù)的安全分析不只是用一種無(wú)狀態(tài)的方式檢查數(shù)據(jù)包或進(jìn)行深度數(shù)據(jù)包分析，對(duì)這個(gè)問(wèn)題的理解是非常重要的。雖然這些都是非常重要和必要的，但是具備跨越時(shí)間和空間的事件關(guān)聯(lián)能力是大數(shù)據(jù)分析平臺(tái)的關(guān)鍵。這意味著只需要一段很短的時(shí)間，一個(gè)設(shè)備（比如web服務(wù)器）上記錄的事件流，可以明顯地與一個(gè)終端用戶設(shè)備上的事件相對(duì)應(yīng)。
主要特性2：報(bào)告和可視化
大數(shù)據(jù)分析的另一個(gè)重要功能是對(duì)分析的報(bào)告和支持。安全專家早就通過(guò)報(bào)表工具來(lái)支持業(yè)務(wù)和合規(guī)性報(bào)告。他們也有通過(guò)帶預(yù)配置安全指標(biāo)的儀表板來(lái)提供關(guān)鍵性能指標(biāo)的高層次概述。雖然現(xiàn)有的這兩種工具是必要的，但不足以滿足大數(shù)據(jù)的需求。
對(duì)安全分析師來(lái)說(shuō)，要求可視化工具通過(guò)穩(wěn)定和快速的識(shí)別方式將大數(shù)據(jù)中獲得的信息呈現(xiàn)出來(lái)。例如，Sqrrl使用可視化技術(shù)，能夠幫助分析師了解相互連接的數(shù)據(jù)（如網(wǎng)站，用戶和HTTP交易信息）中的復(fù)雜關(guān)系。
主要特性3：持久的大數(shù)據(jù)存儲(chǔ)
大數(shù)據(jù)安全分析名字的由來(lái)，是因?yàn)閰^(qū)別于其他安全工具，它提供了突出的存儲(chǔ)和分析能力。大數(shù)據(jù)安全分析的平臺(tái)通常采用大數(shù)據(jù)存儲(chǔ)系統(tǒng)，例如Hadoop分布式文件系統(tǒng)（HDFS）和更長(zhǎng)的延遲檔案儲(chǔ)存，以及后端處理，以及一個(gè)行之有效的批處理計(jì)算模型MapReduce。但是MapReduce并不一定是非常有效的，它需要非常密集的I  / O支出。一個(gè)流行工具Apache   Spark可以作為MapReduce的替代，它是一個(gè)更廣義的處理模型，相比MapReduce能更有效地利用內(nèi)存。
大數(shù)據(jù)分析系統(tǒng)，如MapReduce和Spark，解決了安全分析的計(jì)算需求。同時(shí)，長(zhǎng)時(shí)持久存儲(chǔ)通常還取決于關(guān)系或NoSQL數(shù)據(jù)庫(kù)。   例如，Splunk   Hunk平臺(tái)支持在Hadoop和NoSQL數(shù)據(jù)庫(kù)之上的分析和可視化。該平臺(tái)位于一個(gè)組織的非關(guān)系型數(shù)據(jù)存儲(chǔ)與應(yīng)用環(huán)境的其余部分之間。Hunk應(yīng)用直 接集成了數(shù)據(jù)存儲(chǔ)，不需要被轉(zhuǎn)移到二級(jí)內(nèi)存存儲(chǔ)。Hunk平臺(tái)包括用于分析大數(shù)據(jù)的一系列工具。它支持自定義的儀表板和Hunk應(yīng)用程序開(kāi)發(fā)，它可以直接  構(gòu)建在一個(gè)HDFS環(huán)境，以及自適應(yīng)搜索和可視化工具之上。
大數(shù)據(jù)安全分析平臺(tái)的另一個(gè)重要特點(diǎn)是智能反饋，在那里建立了漏洞數(shù)據(jù)庫(kù)以及安全性博客和其他新聞來(lái)源，潛在的有用信息能夠被持續(xù)更新。大數(shù)據(jù)安全平臺(tái)可從多種來(lái)源提取數(shù)據(jù)，能夠以它們自定義的數(shù)據(jù)收集方法復(fù)制威脅通知和關(guān)聯(lián)信息。
主要特性4：信息環(huán)境【Benny注：原文是Information context，其實(shí)應(yīng)該翻譯為情境信息，等價(jià)于context informaiton，已經(jīng)成為安全領(lǐng)域的專有名詞了】
由于安全事件產(chǎn)生這么多的數(shù)據(jù)，就給分析師和其他信息安全專業(yè)人員帶來(lái)了巨大的風(fēng)險(xiǎn)，限制了他們辨別關(guān)鍵事件的能力。有用的大數(shù)據(jù)安全分析工具都在特定用戶、設(shè)備和時(shí)間的環(huán)境下分析數(shù)據(jù)。
沒(méi)有這種背景的數(shù)據(jù)是沒(méi)什么用的，并且會(huì)導(dǎo)致更高的誤報(bào)率。背景信息還改善了行為分析和異常檢測(cè)的質(zhì)量。背景信息可以包括相對(duì)靜態(tài)的信息，   例如一個(gè)特定的雇員在特定部門(mén)工作。它還可以包括更多的動(dòng)態(tài)信息，例如，可能會(huì)隨著時(shí)間而改變的典型使用模式。例如，周一早晨有大量對(duì)數(shù)據(jù)倉(cāng)庫(kù)的訪問(wèn)數(shù)據(jù)  是很正常的，因?yàn)楣芾碚咝枰M(jìn)行一些臨時(shí)查詢，以便更好地了解周報(bào)中描述的事件。
主要特性5：功能廣泛性
大數(shù)據(jù)安全分析的最后一個(gè)顯著特征是它的功能涵蓋了非常廣泛的安全領(lǐng)域。當(dāng)然，大數(shù)據(jù)分析將收集來(lái)自終端設(shè)備的數(shù)據(jù)，可能是通過(guò)因特網(wǎng)連接到TCP或IP網(wǎng)絡(luò)的任何設(shè)備，包括筆記本電腦、智能手機(jī)或任何物聯(lián)網(wǎng)設(shè)備。除了物理設(shè)備和虛擬服務(wù)器，大數(shù)據(jù)安全分析必須加入與軟件相關(guān)的安全性。例如，脆弱性評(píng)估被用于確定在給定的環(huán)境中的任何可能的安全漏洞。網(wǎng)絡(luò)是一個(gè)信息和標(biāo)準(zhǔn)的豐富來(lái)源，例如Cisco開(kāi)發(fā)的NetFlow網(wǎng)絡(luò)協(xié)議，其可以被用于收集給定網(wǎng)絡(luò)上的流量信息。

大數(shù)據(jù)分析平臺(tái)，也可以使用入侵檢測(cè)產(chǎn)品分析系統(tǒng)或環(huán)境行為，以發(fā)現(xiàn)可能的惡意活動(dòng)。
大數(shù)據(jù)安全分析與其他形式的安全分析存在質(zhì)的不同。需要可擴(kuò)展性，需要集成和可視化不同類型數(shù)據(jù)的工具，環(huán)境信息越來(lái)越重要，安全功能的廣泛性，其讓導(dǎo)致供應(yīng)商應(yīng)用先進(jìn)的數(shù)據(jù)分析和存儲(chǔ)工具到信息安全中。
如何選擇合適的大數(shù)據(jù)安全分析平臺(tái)
大數(shù)據(jù)安全分析技術(shù)結(jié)合了先進(jìn)的安全事件分析功能和事故管理系統(tǒng)功能（SIEM），適用于很多企業(yè)案例，但不是全部。在投資大數(shù)據(jù)分析平臺(tái)之前，請(qǐng)考慮公司使用大數(shù)據(jù)安全系統(tǒng)的組織的能力水平。這里需要考慮幾個(gè)因素，從需要保護(hù)的IT基礎(chǔ)設(shè)施，到部署更多安全控制的成本和益處。
基礎(chǔ)設(shè)施規(guī)模
擁有大量IT基礎(chǔ)設(shè)施的組織是大數(shù)據(jù)安全分析主要候選者。應(yīng)用程序、操作系統(tǒng)和網(wǎng)絡(luò)設(shè)備都可以捕獲到惡意活動(dòng)的痕跡。單獨(dú)一種類型的數(shù)據(jù)不能提供足夠的證據(jù)來(lái)標(biāo)識(shí)活動(dòng)的威脅，多個(gè)數(shù)據(jù)源的組合可以為一個(gè)攻擊的狀態(tài)提供更全面的視角。
現(xiàn)有的基礎(chǔ)設(shè)施和安全控制生成了原始數(shù)據(jù)，但是大數(shù)據(jù)分析應(yīng)用程序不需要收集、采集和分析所有的信息。在只有幾臺(tái)設(shè)備，而且網(wǎng)絡(luò)結(jié)構(gòu)不是很復(fù)雜的環(huán)境中，大數(shù)據(jù)安全分析可能并不是十分必要，在這種情況下，傳統(tǒng)的SEIM可能已經(jīng)足夠。
近實(shí)時(shí)監(jiān)控
驅(qū)動(dòng)大數(shù)據(jù)安全分析需求的另一個(gè)因素是近實(shí)時(shí)采集事故信息的必要性。在一些保存著高價(jià)值數(shù)據(jù)、同時(shí)又容易遭受到嚴(yán)重攻擊的環(huán)境中，實(shí)時(shí)監(jiān)控尤為重要，如金融服務(wù)、醫(yī)療保健、政府機(jī)構(gòu)等。
最近Verizon的研究發(fā)現(xiàn)，在60％的事件，攻擊者能夠在幾分鐘內(nèi)攻克系統(tǒng)，但幾天內(nèi)檢測(cè)到漏洞的比例也很低。減少檢測(cè)時(shí)間的一種方法是從整個(gè)基礎(chǔ)設(shè)施中實(shí)時(shí)地收集多樣數(shù)據(jù)，并立即篩選出與攻擊事件有關(guān)的數(shù)據(jù)。這是一個(gè)大數(shù)據(jù)分析的關(guān)鍵用例。
詳細(xì)歷史數(shù)據(jù)
盡管盡了最大努力，在一段時(shí)間內(nèi)可能檢測(cè)不到攻擊。在這種情況下，能夠訪問(wèn)歷史日志和其它事件數(shù)據(jù)是很重要的。只要有足夠的數(shù)據(jù)可用，取證分析可以幫助識(shí)別攻擊是如何發(fā)生的。
在某些情況下，取證分析不需要確定漏洞或糾正安全弱點(diǎn)。例如，如果一個(gè)小企業(yè)受到攻擊，最經(jīng)濟(jì)有效的補(bǔ)救措施可能雇安全顧問(wèn)來(lái)評(píng)估目前的配置和做法，并提出修改建議。在這種情況下，并不需要大數(shù)據(jù)安全分析。其他的安全措施就可能很有效，而且價(jià)格便宜。
本地vs云基礎(chǔ)架構(gòu)
顧名思義，大數(shù)據(jù)安全分析需要收集和分析大量各種類型的數(shù)據(jù)。如捕獲網(wǎng)絡(luò)上的所有流量的能力，對(duì)捕獲安全事件信息的任何限制，都可能對(duì)從大數(shù)據(jù)安全分析系統(tǒng)獲得的信息的質(zhì)量產(chǎn)生嚴(yán)重影響。這一點(diǎn)在云環(huán)境下尤其突出。
云提供商限制網(wǎng)絡(luò)流量的訪問(wèn)，以減輕網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)。例如，云計(jì)算客戶不能開(kāi)發(fā)網(wǎng)段來(lái)收集網(wǎng)絡(luò)數(shù)據(jù)包的全面數(shù)據(jù)。前瞻性的大數(shù)據(jù)安全分析用戶應(yīng)該考慮云計(jì)算供應(yīng)商是如何施加限制來(lái)遏制分析范圍的。
有些情況下，大數(shù)據(jù)安全分析對(duì)云基礎(chǔ)設(shè)施是有用的，但是，特別是云上有關(guān)登錄生成的數(shù)據(jù)。例如，亞馬遜Web服務(wù)提供了性能監(jiān)控服務(wù)，稱為CloudWatch的，和云API調(diào)用的審計(jì)日志，稱為CloudTrail。云上的操作數(shù)據(jù)可能不會(huì)和其他數(shù)據(jù)源的數(shù)據(jù)一樣精細(xì)，但它可以補(bǔ)充其他數(shù)據(jù)源。
利用數(shù)據(jù)的能力
大數(shù)據(jù)安全分析攝取和關(guān)聯(lián)了大量數(shù)據(jù)。即使當(dāng)數(shù)據(jù)被概括和聚集的時(shí)候，對(duì)它的解釋也可能是很有挑戰(zhàn)性的。從大數(shù)據(jù)分析產(chǎn)生的信息的質(zhì)量，部分上講是   分析師解釋數(shù)據(jù)能力的一項(xiàng)指標(biāo)。當(dāng)企業(yè)與安全事件扯上關(guān)系的時(shí)候，它們需要那些能夠切斷攻擊鏈路，以及理解網(wǎng)絡(luò)流量和操作系統(tǒng)事件的安全分析師。
例如，分析師可能會(huì)收到一個(gè)數(shù)據(jù)庫(kù)服務(wù)器上有關(guān)可疑活動(dòng)的警報(bào)。這很可能不是一個(gè)攻擊的第一步。分析師是否可以啟動(dòng)一個(gè)警報(bào)，并通過(guò)導(dǎo)航歷史數(shù)據(jù)找到相關(guān)事件來(lái)確定它是否確實(shí)是一個(gè)攻擊？如果不能，那么該組織并沒(méi)有意識(shí)到大數(shù)據(jù)安全分析平臺(tái)帶來(lái)的好處。
其他安全控制
企業(yè)在投身大數(shù)據(jù)安全分析之前，需要考慮它們?cè)诎踩珜?shí)踐方面的整體成熟度。也就是說(shuō)，其他更便宜和更為簡(jiǎn)單的控制應(yīng)該放在第一位。
應(yīng)該定義、執(zhí)行和監(jiān)測(cè)清晰的身份和訪問(wèn)管理策略。例如，操作系統(tǒng)和應(yīng)用程序應(yīng)該定期修補(bǔ)。在虛擬環(huán)境的情況下，機(jī)器圖像應(yīng)定期重建，以確保最新的補(bǔ)丁被并入。應(yīng)該使用警報(bào)系統(tǒng)監(jiān)視可疑事件或顯著的環(huán)境變化（例如服務(wù)器上增加了一個(gè)管理員帳戶）。應(yīng)當(dāng)部署web應(yīng)用防火墻來(lái)減少注入攻擊的風(fēng)險(xiǎn)和其他基于應(yīng)用程序的威脅。
大數(shù)據(jù)安全分析的好處可能是巨大的，尤其是當(dāng)部署到已經(jīng)實(shí)現(xiàn)了全面的防御戰(zhàn)略的基礎(chǔ)設(shè)施。
大數(shù)據(jù)安全分析商業(yè)案例
大數(shù)據(jù)安全分析是一項(xiàng)新的信息安全控制技術(shù)。這些系統(tǒng)的主要用途是合并來(lái)自于多個(gè)來(lái)源的數(shù)據(jù)，并減少手動(dòng)集成解決方案的需求。同時(shí)還解決了其他安全控制存在的不足，例如跨多個(gè)數(shù)據(jù)源查詢困難。通過(guò)捕獲來(lái)自于多個(gè)來(lái)源的數(shù)據(jù)流，大數(shù)據(jù)分析系統(tǒng)提高了收集取證重要細(xì)節(jié)的機(jī)會(huì)。
大數(shù)據(jù)安全分析在資金和人力資源上的投資非常昂貴?？紤]一個(gè)新的安全平臺(tái)將如何集成現(xiàn)有的安全和日志記錄工具。雖然一個(gè)新的大數(shù)據(jù)安全分析系統(tǒng)和現(xiàn)有的安全控件之間有可能存在功能上的重疊，但這并不一定是壞事。冗余功能可以幫助減輕系統(tǒng)錯(cuò)過(guò)潛在威脅的風(fēng)險(xiǎn)。