服務熱線
0755-83647532
發表日期:2018-03-01 文章編輯:管理員 閱讀次數:
摘要
英特爾®ISA-L技術即(Intel® Intelligent Storage Acceleration Library)智能存儲加速庫技術。在英特爾®至強™處理器系列下,使用ISA-L技術解決了TFS(騰訊文件系統)在運行時的性能瓶頸。實驗結果顯示采用ISA-L技術的TFS性能提升了2.5倍。
ISA-L 技術簡介
ISA-L 技術可幫助加速和優化基于英特爾® 架構 (IA) 的存儲,在存儲可恢復性、數據完整性、數據安全性提供優化,并加速數據的壓縮。具體可以實現如下功能:Raid、Erasure Code糾刪碼、CRC (cyclic redundancy check)、Multi-buffer Hashing (MbH)(包括MD5、SHA1、SHA256 和 SHA512)、加密功能、壓縮功能,其基本原理就是使用Intel CPU中的指令集對上述功能進行優化和加速,具體包括:INTEL AES-NI - 英特爾高級加密標準、INTEL SSE - 英特爾流式單指令多數據擴展、INTEL AVX/AVX2/AVX512 - 英特爾高級矢量擴展指令集系列。現在ISA-L已經開源,英特爾®會持續對開源版本進行維護,目前最新版本是v2.21 (2018/02/26),具體可訪問:https://github.com/01org/isa-l 。
背景
在智能互聯網時代,數據以幾何級的速度爆炸增長,如何存儲并管理這些海量數據,是很多互聯網服務提供商面臨的一個難題。在這些不斷增長的數據中,大量數據例如圖片等都屬于不經常訪問,卻又不能刪除的,因為客戶依然隨時可能訪問這些數據。對于這類不常訪問的“冷”數據,通常的做法是把它們遷移到一個專為冷數據而設計的存儲系統。本文提到的就是一個英特爾®與騰訊合作的TFS冷數據存儲項目。
成立于1998年的騰訊公司是目前中國最大的互聯網綜合服務提供商之一,擁有QQ,微信,騰訊游戲等眾多互聯網明星產品,一直以來,騰訊始終在存儲技術、數據挖掘等技術領域投入巨大,致力于為互聯網用戶提供最佳的使用體驗。在這些產品背后, TFS是其眾多業務所需文件服務的核心系統。數億用戶的使用壓力使TFS面臨著巨大的計算性能,容量等方面的壓力。
挑戰
不同于傳統存儲系統,TFS冷存儲系統項目主要使用的是老舊系統中回收而來的處理器,這就使計算性能成為存儲系統的最大瓶頸。
為了在節省磁盤空間的同時保證可靠性,最初的TFS冷存儲項目采用如圖一所示的9+3糾刪碼(或擦除碼)方案。9+3是指每9份數據塊配以3份校驗數據塊,這樣可以恢復任意1-3份丟失的數據。
圖一 9+3糾刪碼方案 即使在項目中采用ISA-L技術進行優化,對這些老舊且低性能的服務器來說9+3糾刪碼方案仍會導致較重的運行負載。考慮到TFS冷存儲項目中的數據大多為圖片,這類數據偶而丟失是可以通常可以接受,加之9+3糾刪碼的冗余度對這類冷數據來說可能過于奢侈,因此騰訊改用如圖二所示的10+2糾刪碼方案。使用異或函數在每10份數據中生成2份校驗碼,這樣在發生1-2份數據丟失時,仍能恢復數據。
圖二 10+2糾刪碼方案 優化過后的糾刪碼方案仍然存在一個明顯的問題:大量的異或操作限制了系統性能。盡管優化了數據保護相關算法,但這種成本最優的解決方案不足以滿足騰訊的業務需求。 因此騰訊需要尋找一種高效且便捷的方式來減少異或操作的開銷。它需要一種經過優化且高效的異或函數來緩解系統性能瓶頸,同時滿足冷存儲系統的設計要求。 解決方案 英特爾®與騰訊的工程師們一起基于ISA-L技術優化TFS冷存儲系統,提出的優化內容有以下兩點: 1、使用ISA-L異或函數(gen_xor_avx)替換原有異或函數(galois_xor),實驗結果表明這能帶來大約50%的性能提升。 2、以指針數組的方式調用gen_xor_avx,這種方式減少了不必要的內存訪問,進一步改善了編碼效率。 結果分析 英特爾®ISA-L異或函數有效地解決了搭建冷存儲系統時遇到的實際問題,騰訊的實驗結果表明,相較于原方法改進后的方法獲得250%的性能提升。
如此顯著的性能提升成功的滿足了騰訊在線系統的業務需求。值得一提的是英特爾®ISA-L技術已開放源代碼,因此騰訊在不產生任何成本的情況下就獲得了巨大的系統性能提升。
文章摘自英特爾精英匯
歡迎聯系寶通集團咨詢英特爾產品信息
寶通集團聯系方式
咨詢熱線:0755-88603572 寶通官網:www.btibt.com 客戶垂詢QQ:1627678462 地址:深圳市福田區深南大道1006號國際創新中心C座11樓
客戶垂詢郵箱:cuifang.mo@ex-channel.com
郵編:518026