應(yīng)對(duì)挑戰(zhàn)

在為用戶提供云服務(wù)的過(guò)程中，金山云發(fā)現(xiàn)，如果依然沿用傳統(tǒng)的集中式存儲(chǔ)架構(gòu)，將很難實(shí)現(xiàn)預(yù)定目標(biāo)，整個(gè)平臺(tái)將會(huì)面臨如下幾個(gè)方面的巨大挑戰(zhàn)：

如何提升IOPS 能力以滿足云計(jì)算需求？

基于云計(jì)算技術(shù)構(gòu)建的新型數(shù)據(jù)中心，對(duì)整個(gè)存儲(chǔ)系統(tǒng)提出了極高的要求：具備快速響應(yīng)、高IO 處理、高可靠、低成本、線性擴(kuò)展等特性，以解決數(shù)據(jù)快速增長(zhǎng)帶來(lái)的挑戰(zhàn)。

如何提升擴(kuò)展能力？

考慮到應(yīng)用系統(tǒng)未來(lái)3～5 年的業(yè)務(wù)發(fā)展，以及業(yè)務(wù)突發(fā)的需求，為滿足應(yīng)用系統(tǒng)的性能、容量承載需求，就需要提升存儲(chǔ)系統(tǒng)的擴(kuò)展性。這不僅僅是要求存儲(chǔ)系統(tǒng)能夠充分利用現(xiàn)階段存儲(chǔ)設(shè)備的硬件能力，不造成浪費(fèi)，還要求存儲(chǔ)系統(tǒng)在進(jìn)行擴(kuò)展的時(shí)候，不對(duì)現(xiàn)有應(yīng)用的連續(xù)性構(gòu)成影響，并最好能夠?qū)崿F(xiàn)存儲(chǔ)容量和性能可線性擴(kuò)展。

如何提升存儲(chǔ)系統(tǒng)的成本效益？

對(duì)于金山云來(lái)說(shuō)，成本是其考慮的一個(gè)重要因素。如果采用高端磁盤陣列的方式，將會(huì)產(chǎn)生極高的硬件購(gòu)置費(fèi)用，帶來(lái)巨大的成本壓力。而目前國(guó)內(nèi)云服務(wù)市場(chǎng)競(jìng)爭(zhēng)極為激烈，若無(wú)法有效控制存儲(chǔ)系統(tǒng)的建設(shè)成本，將會(huì)極大的制約金山云KingStore 的整體市場(chǎng)競(jìng)爭(zhēng)力。

如何減低系統(tǒng)運(yùn)維難度？

專屬的存儲(chǔ)系統(tǒng)往往意味著較高的系統(tǒng)復(fù)雜度與管理難度，這導(dǎo)致數(shù)據(jù)中心運(yùn)維效率低下、投入成本高等問(wèn)題，難以適應(yīng)云計(jì)算大數(shù)據(jù)時(shí)代對(duì)IT 基礎(chǔ)設(shè)施的要求。此外，在數(shù)據(jù)讀寫高負(fù)載環(huán)境下，也需要盡量避免存儲(chǔ)設(shè)備產(chǎn)生故障，并能夠在故障發(fā)生后盡快恢復(fù)數(shù)據(jù)，減少對(duì)于業(yè)務(wù)連續(xù)性的影響。

解決方案

集中式存儲(chǔ)解決方案的固有特性并不能解決存儲(chǔ)系統(tǒng)在性能、擴(kuò)展性等方面的瓶頸。因此，金山云決定開(kāi)發(fā)多節(jié)點(diǎn)網(wǎng)絡(luò)聚合，實(shí)現(xiàn)模塊化無(wú)縫橫向擴(kuò)展的軟件定義存儲(chǔ)方案KingStore，并采用超融合架構(gòu)作為實(shí)施部署方案。

存儲(chǔ)服務(wù)層包含快照、克隆、壓縮、備份、容災(zāi)等功能，可以為用戶提供高性能、高效率的存儲(chǔ)服務(wù)，同時(shí)能夠在發(fā)生意外事件時(shí)及時(shí)恢復(fù)數(shù)據(jù)，確保業(yè)務(wù)的高可用性。而存儲(chǔ)驅(qū)動(dòng)層則包含塊存儲(chǔ)服務(wù)、文件存儲(chǔ)服務(wù)、對(duì)象存儲(chǔ)服務(wù)，可為虛擬化頂層的OpenStack*、KVM 等虛擬化系統(tǒng)提供存儲(chǔ)能力支撐。

實(shí)施效果

金山云KingStore如何實(shí)現(xiàn)領(lǐng)先業(yè)界的IO 性能

金山云與英特爾（中國(guó)）云計(jì)算創(chuàng)新中心進(jìn)行緊密配合，KingStore 采用的英特爾® 固態(tài)盤S3710 或P3700 在硬件本身即具備極高的IO 能力。在模擬真實(shí)環(huán)境的測(cè)試中（服務(wù)器、硬盤部署于同一個(gè)RACK，測(cè)試配套見(jiàn)下表），采用基于SATA 協(xié)議的英特爾固態(tài)盤S3710的KingStore 最終得到平臺(tái)4KB 隨機(jī)讀和隨機(jī)寫性能分別為122.4 萬(wàn)IOPS 和18.72 萬(wàn)IOPS。如果采用基于NVMe 協(xié)議的英特爾PCIe* 固態(tài)盤，KingStore 的性能還將有大幅增長(zhǎng)。在實(shí)際測(cè)試中，采用英特爾固態(tài)盤P3700 的KingStore，最終測(cè)得4KB 隨機(jī)讀和隨機(jī)寫能力分別為662.4 萬(wàn)/43.2 萬(wàn)IOPS，遠(yuǎn)超過(guò)采用SATA 固態(tài)盤的性能，適用于峰值數(shù)據(jù)負(fù)載量大，對(duì)于業(yè)務(wù)延遲有著嚴(yán)格要求的客戶。

此外，英特爾SATA 和NVMe 固態(tài)盤都具有非常優(yōu)秀的性能一致性，IOPS 能力隨應(yīng)用環(huán)境變化的抖動(dòng)很小。如此卓越的數(shù)據(jù)讀寫性能，保證了云平臺(tái)即使在高負(fù)載的情況下，也能向客戶提供高速穩(wěn)定的云服務(wù)。

使用英特爾® 固態(tài)盤確保云服務(wù)的高可用性

對(duì)于行業(yè)用戶來(lái)說(shuō)，云服務(wù)的可用性至關(guān)重要，英特爾固態(tài)盤幫助金山云KingStore 更容易接近了這個(gè)目標(biāo)。即使在高負(fù)載的情況下，英特爾固態(tài)盤也能夠保證極低的故障率。統(tǒng)計(jì)顯示，英特爾固態(tài)盤在6 百萬(wàn)片出貨量中,真實(shí)年失效率低于0.1%，這不僅保證了存儲(chǔ)系統(tǒng)的穩(wěn)定性，也極大的降低了運(yùn)維成本。

此外，英特爾固態(tài)盤還對(duì)可靠性進(jìn)行了改進(jìn)，通過(guò)冗余存儲(chǔ)空間保護(hù)用戶數(shù)據(jù)，并提供斷電數(shù)據(jù)保護(hù)功能，支持在系統(tǒng)突然斷電時(shí)利用電容電量將緩存中的數(shù)據(jù)立即保存后再停止工作。即使固態(tài)盤發(fā)生故障，或者云數(shù)據(jù)中心出現(xiàn)供電故障也不會(huì)影響數(shù)據(jù)的完整性。在實(shí)際測(cè)試中，該KingStore 搭載了兩套VMware* 系統(tǒng)（VMware 系統(tǒng)環(huán)境為：CPU=2Core，Memory=4GB；/dev/vda=40GB，/dev/ vdb=100GB），并通過(guò)插拔固態(tài)盤模擬了固態(tài)盤損壞后的數(shù)據(jù)丟失與恢復(fù)情況。

測(cè)試結(jié)果表明，在固態(tài)盤拔出并重新插入的過(guò)程中，KingStore 所在VMware 中的數(shù)據(jù)寫入會(huì)在暫停之后恢復(fù)，這個(gè)過(guò)程中數(shù)據(jù)不會(huì)丟失。另外，在固態(tài)盤損壞或拔出之后，KingStore 存儲(chǔ)集群會(huì)以20MB/S 的速度恢復(fù)數(shù)據(jù)，這個(gè)過(guò)程中存儲(chǔ)系統(tǒng)的整體IOPS 性能基本不受影響。

另外， 采用集群管理方式，不存在單點(diǎn)故障，靈活配置多數(shù)據(jù)副本，不同數(shù)據(jù)副本存放在不同的節(jié)點(diǎn)上， 單個(gè)物理節(jié)點(diǎn)故障不影響業(yè)務(wù)的使用，并通過(guò)糾刪碼技術(shù)來(lái)提高可用性（糾刪碼是一種在分布式文件系統(tǒng)中保證數(shù)據(jù)可靠性的技術(shù)，能提供優(yōu)化的數(shù)據(jù)冗余度，以防止數(shù)據(jù)丟失，具有編碼效率高、節(jié)省存儲(chǔ)空間的特點(diǎn)）。

存儲(chǔ)系統(tǒng)總擁有成本（TCO）得到有效控制

在云存儲(chǔ)系統(tǒng)的建設(shè)中，存儲(chǔ)系統(tǒng)的硬件采購(gòu)是一筆龐大的支出，相對(duì)于昂貴的傳統(tǒng)存儲(chǔ)架構(gòu)，金山云KingStore 通過(guò)采用標(biāo)準(zhǔn)的企業(yè)級(jí)X86 服務(wù)器，整合了計(jì)算和存儲(chǔ)功能，極大地降低了存儲(chǔ)系統(tǒng)的成本支出，借助超融合節(jié)點(diǎn)上的英特爾固態(tài)盤，無(wú)需部署昂貴的磁盤陣列就可以獲得同等的IOPS 能力。數(shù)據(jù)顯示，此KingStore 超融合架構(gòu)單GB 存儲(chǔ)成本只有傳統(tǒng)存儲(chǔ)的三分之一，從根本上緩解了企業(yè)客戶的IT 成本壓力。

另外，標(biāo)準(zhǔn)的企業(yè)級(jí)X86 服務(wù)器還讓IT 人員的運(yùn)維壓力大大降低，企業(yè)可以很輕松地將標(biāo)準(zhǔn)化的運(yùn)維流程遷移到云平臺(tái)的運(yùn)維之中。同時(shí)還提供了全圖形化的統(tǒng)一操作平臺(tái)， 支持實(shí)時(shí)性能監(jiān)控、集群管理、預(yù)警及告警機(jī)制，充分簡(jiǎn)化運(yùn)維人員的操作，運(yùn)維成本也隨之降低。

未來(lái)規(guī)劃

英特爾與金山云的強(qiáng)強(qiáng)聯(lián)合打造了具有極高競(jìng)爭(zhēng)力的云平臺(tái)， 雙方還將在更多層面深化產(chǎn)品合作。除了根據(jù)用戶需求，敏捷擴(kuò)展英特爾NVMe 固態(tài)盤等更高性能的硬件設(shè)備之外，還將集成英特爾® Storage Performance Development Kit（英特爾® SPDK），其提供了一套完整的工具和庫(kù)，旨在提供高性能、可擴(kuò)展、高可靠性的用戶態(tài)存儲(chǔ)應(yīng)用。英特爾SPDK 具備全用戶態(tài)驅(qū)動(dòng)，采用輪詢模式完成數(shù)據(jù)收發(fā)、避免中斷和上下文切換，精確到per core 的資源配置力度以達(dá)到無(wú)鎖化操作等優(yōu)勢(shì)，可以實(shí)現(xiàn)資源獨(dú)占、提高內(nèi)存使用效率，進(jìn)而提升IO 性能。金山云對(duì)英特爾SPDK 提供的iSCSI Target 與TGTD 提供的 iSCSI Target 進(jìn)行了對(duì)比測(cè)試，測(cè)試配置及數(shù)據(jù)如下：

值得一提的是，金山云KingStore 在未來(lái)還將整合英特爾® Intelligent Storage Acceleration Library（英特爾® ISA-L）算法庫(kù)，其包括哈希、循環(huán)冗余校驗(yàn)、加解密、壓縮、糾刪碼等函數(shù)。主要用于加速存儲(chǔ)在數(shù)據(jù)安全、數(shù)據(jù)保護(hù)、數(shù)據(jù)去重等方面的應(yīng)用，英特爾ISA-L 使用multi-buffer 技術(shù)對(duì)哈希進(jìn)行了優(yōu)化，與openssl 1.0.2 中所使用的哈希對(duì)比，ISA-L 哈希最高可達(dá)到 15 倍的性能提升。

眾所周知，在分布式存儲(chǔ)中，糾刪碼是比多備份更高效的保證數(shù)據(jù)可靠性的技術(shù)。糾刪碼能提供優(yōu)化的數(shù)據(jù)冗余度，以防止數(shù)據(jù)丟失，恰當(dāng)?shù)厥褂眉m刪碼可以提高空間的利用效率并獲得較好的數(shù)據(jù)保護(hù)效果。 糾刪碼具有編碼效率高、節(jié)省存儲(chǔ)空間的特點(diǎn)。但是糾刪碼的復(fù)雜計(jì)算導(dǎo)致性能下降。英特爾ISA-L 提供了高性能糾刪碼的方案。對(duì)于Reed-Solomon（RS）糾刪碼10+4，在英特爾® CPU 的單核上，英特爾ISA-L 糾刪碼最高可達(dá)到9.7GB/s 的吞吐量，比目前開(kāi)源的RS 糾刪碼快10 倍左右。