高性能OLTP解決方案——基于傲騰技術的Ceph系統(tǒng)

發(fā)表日期：2018-06-25 文章編輯：閱讀次數(shù)：

內(nèi)容簡介

本文主要介紹使用英特爾® 傲騰(Optane™)技術以及Ceph BlueStore構建能有效應對聯(lián)機事務處理過程(Online Transactional Processing, OLTP)負載的全閃存陣列（All-Flash Array, AFA）參考架構，還展示了使用傲騰技術和英特爾® SSD DC P3700系列成功在極低的延遲（Latency）下實現(xiàn)百萬級QPS(Queries Per Second)，同時分享Ceph BlueStore 與MySQL的優(yōu)化方法及參數(shù)配置。

背景

互聯(lián)網(wǎng)公司都需要處理一些典型的工作負載，如OLTP負載，其常常表現(xiàn)為大量用戶同時訪問數(shù)據(jù)庫，并要求系統(tǒng)在數(shù)毫秒內(nèi)響應請求。這類負載的主要特點是高并發(fā)，數(shù)據(jù)量大，要求快速響應等。為了應對不斷增長的業(yè)務量，現(xiàn)在很多互聯(lián)網(wǎng)公司開始探索使用Ceph系統(tǒng)配合高性能硬件來構建存儲系統(tǒng)。在這之前我們已經(jīng)研究過Ceph的CPU和SSD選型問題，詳情可見：英特爾®CPU & SSD實現(xiàn)高達1.9M IOPS Ceph存儲

文中的Journal用于Ceph 的存儲后端FileStore，主要功能是保證數(shù)據(jù)一致性（Consistency）。而WAL（Write-Ahead Logging）預寫日志系統(tǒng)與Journal是類似的，但WAL屬于BlueStore。BlueStore是一個用來替代FileStore的新存儲后端，其使用RocksDB來存儲元數(shù)據(jù)（metadata），而RocksDB使用本文提到的WAL來保證數(shù)據(jù)一致性。

Ceph AFA性能測試環(huán)境

我們的測試環(huán)境如圖1所示，該測試環(huán)境由5個Ceph存儲服務器和5個客戶端（Client）節(jié)點構成，具體的配置可見表1和表2。Ceph存儲服務器的硬件選型基于《英特爾®CPU & SSD實現(xiàn)高達1.9M IOPS Ceph存儲》研究成果，即每5個core-GHz對應1個OSD，且為了滿足低時延，高數(shù)據(jù)吞吐量等要求，選擇傲騰™ SSD DC P4800X作為Journal或WAL存儲設備。

圖1 存儲集群拓撲結構
表1. Ceph存儲系統(tǒng)配置

表2. Docker 容器配置情況

Ceph AFA性能測試結果

我們分別使用Sysbench在100% 讀，100% 寫，混合讀寫（75%/25%）的情況下測試Ceph AFA的性能，主要指標為QPS以及延遲。實驗結果如圖2所示，其中最接近于真實使用場景的混合讀寫測試可達1245k 的QPS，以及僅6.8ms的延遲時間。

圖2 Ceph系統(tǒng)性能概覽

為了提升系統(tǒng)性能，改善P99延遲時間等指標，我們分別驗證了使用英特爾® SSD P3700與傲騰™ SSD DC P4800X作為RocksDB和WAL存儲設備的實驗效果，圖3展示了兩者的延遲對比結果。從圖3中可以看出使用傲騰技術的存儲系統(tǒng)，延遲時間均有較為明顯地降低，其中，100% OLTP 寫時P99延遲降低了25%，混合OLTP讀寫時延遲降低了181%。

圖3 傲騰技術減小存儲延遲時間（P4800X VS P3700）

如圖4展示了Ceph AFA對不同數(shù)量Sysbench線程在不同讀寫模式下的性能測試結果。首先看OLTP讀性能方面，優(yōu)化后的配置方案在OLTP讀上展現(xiàn)出極佳的線程擴展能力（Thread Scale-out Ability）。隨著線程數(shù)量翻倍，QPS也增加到原來的兩倍，而延遲時間在線程數(shù)量少于CPU數(shù)量時保持在5ms以下，當線程數(shù)量超越CPU數(shù)量，延遲時間急劇增加。在OLTP寫方面，當線程數(shù)量增加至8個時QPS不再增加，同時延遲時間從此大幅增加。OLTP混合讀寫方面，QPS在一定范圍內(nèi)也隨著線程數(shù)量翻倍而增加。

圖4 Ceph AFA線程可擴展性測試

圖4和圖5展示了OLTP讀與寫的單卷吞吐量（Per Volume Throughput），從圖中可以看出，當超過5卷時，OLTP讀與寫的單卷吞吐量都在下降，同時平均延遲開始增加。

圖5. OLTP read per volume performance

圖6. OLTP write per volume performance

構建高性能Ceph AFA

本文優(yōu)化了傳統(tǒng)的Ceph AFA配置方案，即使用英特爾® 傲騰™ SSD作為Journal或WAL 存儲設備，可提供卓越的數(shù)據(jù)吞吐量以及超低的延遲。優(yōu)化后的Ceph 配置方案如下：

1. Ceph存儲使用全閃存，即全部使用NVMe/PCIe SSD。

a. 使用傲騰™ SSD作為Journal 或 WAL 存儲設備。

b. 使用英特爾NVMe/PCIe SSD作為數(shù)據(jù)存儲設備。

2. 建議每5個core-GHz對應1個OSD，根據(jù)此條件選擇對應的英特爾® 至強® 處理器。

3. 雙口10Gb以太網(wǎng)卡，如Intel® 82599ES 10 Gigabit Ethernet Controller。

4. 系統(tǒng)內(nèi)存至少為128GB。

綜上，典型的高性能Ceph 全閃存陣列硬件選型建議如圖4所示。

Ceph AFA系統(tǒng)進一步改進

在客戶端一側增加緩存設備可進一步提升Ceph AFA系統(tǒng)性能。因此我們分別測試了英特爾® SSD P3700 與英特爾® 傲騰™ SSD P4800X，作為客戶端與存儲系統(tǒng)之間的緩存設備的實驗效果。從圖3的實驗結果可以看出，增加緩存后，IOPS以及延遲時間都有很大程度的改善，尤其是使用傲騰™ SSD P4800X作為緩存后實現(xiàn)了高達345462 IOPS，平均延遲降低到0.432ms，P99延遲則更是低至4.17ms。

總結

本文主要介紹了一個高性能OLTP解決方案，使用傲騰技術以及英特爾® 至強® 處理器等硬件，配合Ceph BlueStore成功搭建了一個高性能Ceph 全閃存陣列。

文章摘自英特爾精英匯

歡迎聯(lián)系寶通集團咨詢英特爾產(chǎn)品信息

寶通集團聯(lián)系方式

咨詢熱線：0755-88603572

寶通官網(wǎng)：m.bjshst.cn
客戶垂詢郵箱：cuifang.mo@ex-channel.com

客戶垂詢QQ：1627678462

地址：深圳市福田區(qū)深南大道1006號國際創(chuàng)新中心C座11樓
郵編：518026

a级大胆欧美人体大胆666-男男gay啪啪网站18禁-激情内射日本一区二区三区-小妖精跪趴你好湿好紧好浪

高性能OLTP解決方案——基于傲騰技術的Ceph系統(tǒng)

咨詢在線客服

寶通技術1

寶通技術2

寶通技術3