对象存储加速的
实用架构方案

高性能、S3兼容的云对象存储缓存与写入加速方案

KyteStore ecosystem: S3 applications, gateway, cache and storage tiers, and public cloud object storage

生态定位:为您的应用提供S3兼容的前端接口,实现读取缓存加速与写入回传加速。

核心功能

S3兼容。透明加速。

KyteStore在完全兼容S3协议的同时,提供本地缓存与远程对象存储的写入加速,无需修改任何应用代码。

协议兼容

与现有S3兼容应用无缝对接,只需将端点地址切换为KyteStore的S3网关地址即可。

多层架构

结合ChunkServer存储层与缓存子系统,实现可靠的高性能读写加速。

数据可靠性

不同于简单文件缓存,KyteStore支持多副本可靠存储,并具备自动数据修复能力。

热数据缓存

对频繁访问的数据进行智能缓存,降低远程存储带宽成本与访问延迟。

写入加速

通过带本地持久化的缓冲写入,实现快速写操作,同时保障数据持久性。

水平扩展

无状态S3网关层可横向扩展,从容应对流量增长。

系统架构

面向性能与可靠性的多层架构设计

KyteStore将无状态S3网关、缓存层、多副本块存储与元数据服务分离,使每一层均可独立扩展与演进。下图展示了请求在系统各层间的流转过程。

KyteStore architecture diagram: S3 gateway, cache subsystem, ChunkServer, MetaServer, and remote object storage
为什么选择KyteStore?

超越简单文件缓存

传统S3加速方案

  • 基于文件的简单缓存
  • 大文件量时性能下降
  • 不支持多副本
  • 不支持自动数据修复
  • 仅支持读加速
  • 可靠性保障有限

KyteStore

  • 基于ChunkServer的多层架构
  • 大规模下持续高性能
  • 多副本存储,支持自动故障转移
  • 可靠的本地持久化
  • 全面支持读写加速
  • 企业级可靠性
性能指标

实测性能数据

基准测试环境:单节点Docker集群(1个前端 + 1个数据节点),单块SSD,使用MinIO warp通过S3兼容接口测试。

注意:在配备多块SSD的真实生产服务器上,实际性能将远优于此基准数据。

25K+
读取QPS
17K+
写入QPS
1570.07
MiB/s 读取
3ms
平均延迟
操作 并发数 QPS 吞吐量 平均延迟 P50/P90/P99
GET (64KB) 128 25,121 1570.07 MiB/s 3.0 ms 1.7 / 6.0 / 10.0 ms
PUT (64KB) 128 17,195 1447.8 MiB/s 4.9 ms 2.4 / 10.2 / 15.6 ms
GET (64KB) 128并发
QPS 25,121
吞吐量 1570.07 MiB/s
平均延迟 3.0 ms
P50/P90/P99 1.7/6.0/10.0 ms
PUT (64KB) 128并发
QPS 17,195
吞吐量 1447.8 MiB/s
平均延迟 4.9 ms
P50/P90/P99 2.4/10.2/15.6 ms
联系我们

开始使用KyteStore

希望进一步了解KyteStore?欢迎联系我们,进行技术交流、商务合作或获取支持。

service@kytestore.com