高性能、S3兼容的云对象存储缓存与写入加速方案
生态定位:为您的应用提供S3兼容的前端接口,实现读取缓存加速与写入回传加速。
KyteStore在完全兼容S3协议的同时,提供本地缓存与远程对象存储的写入加速,无需修改任何应用代码。
与现有S3兼容应用无缝对接,只需将端点地址切换为KyteStore的S3网关地址即可。
结合ChunkServer存储层与缓存子系统,实现可靠的高性能读写加速。
不同于简单文件缓存,KyteStore支持多副本可靠存储,并具备自动数据修复能力。
对频繁访问的数据进行智能缓存,降低远程存储带宽成本与访问延迟。
通过带本地持久化的缓冲写入,实现快速写操作,同时保障数据持久性。
无状态S3网关层可横向扩展,从容应对流量增长。
KyteStore将无状态S3网关、缓存层、多副本块存储与元数据服务分离,使每一层均可独立扩展与演进。下图展示了请求在系统各层间的流转过程。
基准测试环境:单节点Docker集群(1个前端 + 1个数据节点),单块SSD,使用MinIO warp通过S3兼容接口测试。
注意:在配备多块SSD的真实生产服务器上,实际性能将远优于此基准数据。
| 操作 | 并发数 | QPS | 吞吐量 | 平均延迟 | P50/P90/P99 |
|---|---|---|---|---|---|
| GET (64KB) | 128 | 25,121 | 1570.07 MiB/s | 3.0 ms | 1.7 / 6.0 / 10.0 ms |
| PUT (64KB) | 128 | 17,195 | 1447.8 MiB/s | 4.9 ms | 2.4 / 10.2 / 15.6 ms |