在大航海時代,日志(Log)是船舶隨行的記錄簿,所有與航行有關的重要事件應由有權的船上官員記錄。在海事爭端中有時日志可以作為初步證據。
進入云計算時代,日志同樣具備非凡的偵查和分析意義。企業擁有成千上萬的IT系統,在此基礎上,為億萬互聯網用戶提供在線產品或服務,與系統運行、用戶行為等有關的日志事件每天可達到上千億條。如何解決海量日志的采集、處理和分析,并從中獲得寶貴的洞察,是我們面臨的一個問題。
具備海量日志分析技術的
AnyRobot Family 3.0 新引擎
如果您正在或計劃使用 ELK 來部署一套日志分析系統,您可能希望繼續閱讀并找到更好的解決方案,以避免不時的日志采集過程發生阻塞、日志查詢無響應等困擾。
您可能需要:
1.優化日志采集性能,獲得極速的日志查詢體驗
2.按需分配物理資源,實現各部門的數據共享分析
3.在海量日志中有效挖掘有價值的信息
由 ARStreaming 大數據流處理引擎、ARBunker 基于微服務的多租戶平臺、ARBrain 分析診斷引擎組成的 AnyRobot Family 3.0 新引擎,能夠采集和存儲海量、多源日志數據(PB級),并利用海量日志分析技術為您打造精彩紛呈的4 大解決方案 -- 個人信息保護方案、用戶實體行為分析方案、云基礎設施智能運維方案、業務運營分析方案。
最新出爐的 IT 大數據分析解決方案-個人信息保護方案
2017年6月1日,《中華人民共和國網絡安全法》正式實施,第四十二條明確規定,網絡運營者有責任保護用戶數據安全。
2018年5月25日,歐盟GDPR(一般數據保護條例)生效,它旨在最大限度地保護個人信息。GDPR個人數據規范中定義了兩種類型的個人數據,即PII個人數據和SPII特殊個人數據。GDPR的實施,將個人信息保護推向了極致,一時間使得人心惶惶。
如何實現個人信息保護?例如,內部雇員張三將個人簡歷上傳到文檔管理平臺,然后HR將文件下載到本地并將其發布到ERP系統中,最終未授信用戶王五通過 ERP 系統查看了張三的簡歷。這種不設防的內部泄密行為非常隱秘,難以察覺。
您可能需要:
1.明確在何處生成個人信息2.明確誰在使用個人信息3.明確是否合法使用AnyRobot 關系圖譜技術可以可視化文件的全過程數據足跡,并在檢測到未經授權的訪問行為時觸發告警通知給對管理員,以滿足GDPR “向監管機構通報個人數據泄露,以及將此類個人數據泄露告知數據主體” 的要求。
用戶實體行為分析方案
內部威脅的主要威脅形式包括系統破壞、信息泄露和商業欺詐。近年來,網絡上曝光了不少內部人員引發安全事件的案例,例如,2017年初,國內某互聯網巨頭公司的員工被爆從包含現任雇主在內的多個互聯網公司竊取大量內部用戶信息,引起輿論一片嘩然。如果您在軍工企業的安全審計部門工作,出現機密文檔(比如《XX系列產品研究和開發參數[敏感文件勿外傳].docx》)泄漏時,您可能需要:1.找出是誰非法泄密?2.
他(她)是通過何種途徑?3.
潛在的風險是什么,如何避免重蹈覆轍?用戶實體行為分析是針對內部用戶或其他實體(如終端、網絡設備和應用系統等)的內部威脅管理解決方案,可以幫助建立或彌補企業內部安全機制。通過匯聚各個系統、應用、終端的海量日志,建立基于日志的五元素(時間/主體/客體/行為/結果)模型,完整重現和展示用戶/實體的行為軌跡、數據的全生命周期,并刻畫出異常用戶的畫像。回到上面的例子,文檔傳輸出口包括但不限于U盤拷貝、打印機、電腦、文檔系統外發、郵件外發、社交外發等,AnyRobot 通過接入所有文檔中心日志、PC日志、打印機日志,并使用關系圖譜創建關于用戶(人員)、實體(文檔、打印機、文檔中心)和行為(上傳、下載、重命名等)的模型,以確定是誰對什么文檔做了什么操作,使得隱秘而復雜的文檔泄密路徑變得清晰直觀。
云基礎設施智能運維方案
現代數據中心建設成為數據中心的建設趨勢,其建設基礎是云基礎設施,具有規模大(動輒數千臺物理主機,上萬臺云主機)、響應要求高(成千上百個業務系統持續運轉)的特點。如果您正處于云基礎設施運維團隊中,可能對這些問題深有體會:1.
運行現狀黑盒化,無法從業務視角去了解整個業務的鏈路狀態2.
資源規劃靠“拍腦袋” ,缺乏有效的數據支撐3.
運維排障挑戰大,故障的起因、范圍、傳播關系未知以一個典型場景舉例。在云數據中心的管理運維中,往往存在很多管理運維角色,不同的角色可能會做不同的操作,比如業務系統管理員會登陸業務系統、會查看進程狀態、會更改配置、會重啟服務等,運維管理與可能會對云主機做重命名、創建快照、修改主機配置等操作,有的是正常合理的操作,有的是非法的或者是高風險的操作。當發現某個系統因為一些操作出現異常時,AnyRobot 可以通過實時獲取到的日志,從角色、操作類型、設備IP等維度進行統計預測,以便快速分析出是誰在什么時候做了什么操作導致的故障。同時,我們也可以根據獲取到的日志對云平臺的管理行為和業務系統的操作行為進行統計分析,實現風險行為的預測告警。
業務運營分析方案
無論您身在哪個行業,您或多或少都能感受到數字化對您工作的影響。例如,在高校行業可以協助教學管理,無疑對提高教學質量和教育管理效率起到了很大的作用,但經過了大規模采購后,如何評估業務系統的應用及由此產生的收益?在使用專家定性評價方法或數據庫查詢結果數據的過程中,我們發現很難解釋影響用戶體驗、運營熱度的因素。一個新應用上線了,運行一段時間后,您可能需要:1.
從用戶的角度來了解系統實際使用情況2.
如果有問題阻礙,需要分析哪些地方存在缺陷,以及如何改進3.
如何優化運營,更大面積的推廣使用AnyRobot 通過實時采集應用日志,可以做到:1.
系統運營現狀分析2.
訪問操作失敗等問題分析3.
操作動作熱度分析最后,我們可以通過“采集用戶行為日志,進行數據分析,完成業務目標”的正反饋循環實現業務驅動。尤其要說的是,我們支持大屏展示的定制服務,可以讓數據運營大屏可視化。現已發布全新的 AnyRobot Family 3.0。除了本文介紹的IT 大數據分析解決方案以外,AnyRobot(包含數中數團隊)還推出了教育大數據、國防大數據解決方案,以推進結構化數據和非結構化數據的深度融合分析。
文章摘自愛數
ais愛數歡迎聯系寶通集團咨詢愛數產品信息
寶通集團聯系方式
咨詢熱線:0755-88603572
寶通官網:www.btibt.com
客戶垂詢郵箱:cuifang.mo@ex-channel.com
客戶垂詢QQ:1627678462
地址:深圳市福田區深南大道1006號國際創新中心C座11樓
郵編:518026