玩命加载中 . . .

fio 校验文件写完整性 fio 校验文件写完整性
概述 今天在整理电脑,发现了之前写的一个利用fio,模拟ceph集群发生OSD Down、UP期间,数据写入内容准确性校验,是否存在业务持续写入过程中,ceph集群发生异常,引发数据丢失的可能。 实践 脚本分为三部分,一部分是fio写,一部
统计NAS写入速度(Base on oceanfile tool) 统计NAS写入速度(Base on oceanfile tool)
概述 借助同事 Bean Li 写的oceanfile(类似mdtest或者vdbench的一个简易工具),快速观察写不同block size的file(含多层目录),NAS的性能表现如何。 此脚本方便快速获取NAS的读写性能,下班前tmu
2023-06-06
ceph PG 修复 ceph PG 修复
概述 3月份的时候,江苏电力这个客户发生PG状态异常(纯粹是友情支持,发生问题的环境非我司ceph集群,而是ceph 开源集群),需要进行手工修复。 应客户要求,临时写了个修复脚本,供客户设置定时任务,定期自动修复。 考虑到一些PG状态是无
2023-06-01
快速清除S3 Bucket下Objects 快速清除S3 Bucket下Objects
概述 客户现场碰到ceph集群在 Recovery,但是 backfill full,需要清理掉部分数据。 本文针对Bucket下上千万的Object的清理,如何做到又快,又不出现将集群压死(集群压力过大),需要寻求一个平衡点,故本文介绍删
2023-04-26
提升 PG scrub速度 提升 PG scrub速度
概述 本文介绍如何提升ceph PG scrub 速度 提升CEPH PG scrub的速度 CEPH会定期(默认每个星期一次)对所有的PGs进行scrub,即通过检测PG中各个osds中数据是否一致来保证数据的安全。 当CEPH更换一块坏
2023-03-01
S3 object encryption by awscli S3 object encryption by awscli
概述 本文介绍如何使用awscli 上传、下载S3 object 的加密object. 写此文章的目的在于转换用户过程中,碰到了object加密上传下载,碍于本人对于awscli指令不熟悉,简易记录下来mark下。 实战 前提条件: 创
2023-02-08
移除pool时提示'must unset nodelete flag' 移除pool时提示'must unset nodelete flag'
概述 UI移除pool时没有发生报错,执行ceph df时却发现有一个pool残留,没有被清理掉,但UI上已经不显示这个pool了。尝试手工删除之,发生错误,如下文所述。 现象 [root@node224 ~]# ceph df GLOBA
2022-08-25
获取ceph large omap object 获取ceph large omap object
概述 前几天客户报自己的一套原生ceph集群出现 'Large omap objects’告警,请我们免费技术支持一下解决这个告警。 告警信息如下所示: 过程 获取到具体哪个Object omap较大,脚本内容参考如下: #!/usr/b
2022-07-20
记一次根据epoch查找问题触发时间点 记一次根据epoch查找问题触发时间点
概述 自动化用例执行期间,碰到crushmap中有一个Default pool,还有一个default pool,只是首字母大小写不一样,如下所示: root@pytest-83-12:~/workspace@2/src# ceph -s
2022-07-11
S3 分片上传对象报416错误码 S3 分片上传对象报416错误码
概述 python boto上传一个2T大小的对象,产品报HTTP 416 错误码, Requested Range Not Satisfiable, 如下所示: root@node224:~# time python s3_upload.
2022-06-30
分片上传2T大小的一个S3对象 分片上传2T大小的一个S3对象
概述 客户询问,对于2T大小的一个S3对象,我司产品是否支持。 原本计划使用GUI工具,诸如S3Browser,CloudBerry这样的可视化工具上传一下验证看看,考虑到本地磁盘大小无法容纳2T大小的文件,只能放弃,改成使用python
2022-06-27
获取OSD与CPU绑定关系 获取OSD与CPU绑定关系
代码 这里代码转自(https://blog.51cto.com/zphj1987/3212869),在它基础上增加了+号的颜色显示(高亮),表明当前ceph-osd运行在对应On-line CPU(s)上. CPU信息 [root@nod
2022-05-19