隨著震源隆隆的轟鳴聲,某石油勘探公司的項目數據采集順利進行。采集完畢后,數據的保存、處理、解釋等階段就該存儲平臺“上場”了。浪潮存儲為某石油勘探公司構建了16節點、總容量4.2PB的分布式存儲平臺,以平均寫性能27.4GB/s、讀性能30.55GB/s的極速性能,大幅縮短了石油勘探數據處理的周期,歐洲服務器租用,成為采用數字化、智能化技術提升能源行業業務效率的典型。
浪潮分布式存儲平臺服務石油勘探,縮短數據處理周期
當前石油儲備逐步減少,石油勘探、開發難度增大,借助數據技術提高石油勘探的效率成為推動石油行業增長的關鍵。存儲作為數據的載體,成為石油勘探企業轉型增效的核心競爭力。
其實數據極致性能需求已成為業界的普遍需求,根據IDC與浪潮聯合發布的《2019年數據及存儲發展研究報告》,隨著新技術發展企業對數據實時性需求日益增加,到2023年實時數據將占全球數據圈24.5%的份額。
出廠前的操練
石油勘探耗資巨大,勘探數據十分寶貴,用戶把這么重要的勘探數據托付給浪潮存儲,浪潮存儲團隊自然要全力以赴。石油勘探普遍采用地震波法,原始數據量可達數PB,后期做地震資料疊前偏移成像,會對存儲并發性能提出較高要求。根據勘探場景的數據特點,浪潮提供了容量、性能線性擴展的分布式存儲平臺。
在分布式存儲出廠前,為了確保浪潮分布式存儲平臺AS13000在地震資料處理作業環境中的功能及性能,浪潮存儲決定在實驗室里把整體環境搭起來,進行出廠前的“操練”。
濟南的測試實驗室里燈火通明,浪潮工程師團隊用16個分布式存儲節點,1:1實際搭建了一套測試系統。系統裸容量4.2PB,可用容量為3.969PB,可用容量比為73.6%。經存儲集群測試驗證,達到了進行某石油勘探公司的項目環境要求。
浪潮分布式存儲
13次調優 性能比業界平均水平“拔高”30%
接下來是最為關鍵的性能調優環節。首先,浪潮存儲工程師團隊在壓力機上部署了IOZONE測試工具。這是一款用來測試操作系統上文件系統性能的工具,范圍包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余種測試內容,可以說是360度無死角的性能測試。其次,香港服務器租用,設置測試工具模型為16MB塊大小順序讀寫,測試數據量為內存大小的2倍以上——2倍是比較合適的設置,不然Linux會給讀寫內容進行緩存,讓測試結果不真實。就這樣,浪潮分布式存儲團隊,在壓力機上基于IOZONE測試工具一遍遍運行、調優。
一次次功能調優,一個個參數試驗,不夠好,再重來。一天深夜,加班回來剛剛躺下的浪潮存儲測試工程師腦子里又開始過篩子:白天測試結果雖然達到了客戶招標要求,但能否還有提升空間呢?突然一個靈感閃過——是不是能換個功能的參數組合試試?他一骨碌從床上爬起來,迅速把想到的實驗參數記錄下來,次日便帶領項目組進行組合調優,終于讓性能上了個臺階——讀性能從25GB/s~27GB/s區間段,提升到最高28.06GB/s。
經過長達半個月的13次系統級測試,浪潮16個節點的分布式存儲平臺平均寫性能達到27.4GB/s,平均讀性能達到30.55GB/s,容量和性能超出了招標項目需求。最終,某石油勘探公司的工作組在浪潮濟南實驗室看到了測試數據的Demo演示,對測試情況非常滿意。“浪潮存儲的實力和幾年前相比有了很大提升,這次我們的招標方案,性能要求已經比較高了,沒想到浪潮存儲還能表現得更好”。
測試數據
浪潮存儲研發工程師表示:“同等配置水平下,目前分布式存儲業內平均水平為單節點寫1.3GB/s、讀1.5GB/s,這樣一來16個節點的平均寫性能是20.8GB/s、讀性能24GB/s。對比來看,浪潮分布式存儲在石油勘探項目中的性能表現,比業界平均水平高出了20%~30%。”更高的性能意味著,浪潮分布式存儲平臺可以幫助石油勘探項目縮短勘探開發周期、提高勘探開發成功率。
浪潮分布式存儲的測試性能:寫性能比業界平均水平高32%,讀性能高27%
極速性能的背后是基于場景的技術創新
同等的硬件配置,浪潮分布式存儲為何能實現更好的性能?答案在場景化定制上。浪潮存儲通過內核客戶端優化、對象聚合、高速緩存、讀寫鎖優化等技術創新,結合石油勘探不同業務階段的IO負載需求進行深度優化。