设为首页 收藏本站
查看: 1294|回复: 0

[经验分享] Ceph Day技术沙龙:Ceph中国社区联合创始人的总结

[复制链接]
YunVN网友  发表于 2019-2-2 08:13:23 |阅读模式
  摘要:Ceph中国社区的QQ群群主、Ceph中国社区联合创始人耿航的“Ceph Day”技术沙龙总结,列举了活动主要讨论的话题,并针对某些话题发表了一些个人看法,最后对Ceph中国社区的建设以及Ceph中国社区的目标和规划进行展望。
【编者按】6月6日,“Ceph Day”技术沙龙在北京举行,吸引约200位Ceph爱好者参与。Ceph中国社区的QQ群群主、Ceph中国社区联合创始人耿航参加了本次沙龙活动并撰写此篇总结,列举了活动主要讨论的话题,并针对某些话题发表了一些个人看法,最后对Ceph中国社区的建设以及Ceph中国社区的目标和规划进行展望。
首先,感谢英特尔和红帽联合主办本次“Ceph Day”活动日,这是国内第一个围绕Ceph主题的技术沙龙活动。
“Ceph Day”技术沙龙当天,现场十分火爆,会场人数超出了活动主办方的预期。在筹备阶段,主办方就计划通过CSDN进行在线报名登记,预计招募100名Ceph工程师以及从事Ceph相关领域的企业代表参与。但是沙龙活动当天,大概有200人进入会场,可谓座无虚席。后来的参会人员索性站在后排,可见大家对“Ceph Day”技术沙龙活动的热情之高。由于这次技术沙龙活动是在北京举行的,有不少国内其他城市的工程师和企业代表未能亲临现场。可见国内关注Ceph相关的工程师和企业的数量是相当多的。
Ceph Day说了些什么

笔者大概总结如下:
1.Intel大数据技术中心全球总经理马子雅的开场白。
2.Ceph社区总监Patrick McGarry,目前在红帽工作,讲的是社区Ceph的版本,Future等等。
3.来自Intel的软件工程师陈晓熹,讲的是Newstore目前的状况以及与filestore的对比情况等等。
4.来自麒麟云&麒麟社区的汪黎,讲的是天河二号部署的情况、国产Linux desktop(Ubuntu Kylin)以及他们为OpenStack和Ceph的代码贡献、设计思路以及提交代码(Cache Tiering温度检测、Ceph 离线恢复工具等等)。针对于这个session,个人觉得麒麟社区对Ceph以及OpenStack社区的贡献还是挺大的,这个Ceph离线恢复工具很好,受到很多人的期待,也希望大家积极给这个项目提交代码,让它更加完善。








5.王豪迈讲的是Ceph如何部署在Container Docker上面,以及CEPH FS 如何在Docker以及OpenStack(manila)上面的使用等等。




6.来自UnitedStack的孟圣智,讲的是如何让Windows使用Ceph,以及他们贡献代码的项目Ceph-Dokan的当前状态和未来打算。Ceph-Dokan项目就是在windows下开发的,并且让Windows也能使用Ceph。
7.来自Intel的软件工程师薛晨笛,讲的是他们自己研发的CeTune,一个可以自动部署和优化Ceph的工具,能够帮助Ceph新手更快地部署和使用Ceph,但遗憾的是他们目前才开发两个月,还没有开源,据说一定会开源的。(这是大家期待的,另外也期待他们能够开发出可以直接优化现有Ceph环境的工具。目前很多人的难题,就是Ceph环境已经搭建好,但不知道如何优化来达到硬件的最佳性能,因为Ceph本身搭建出来的性能是较差的,需要来通过不同参数以及各方面的优化来调整性能,所以这对SDS软件定义存储Ceph来说是一个挑战。希望Ceph越来越简单化、用户化、易维护化。)
下面是CeTune的一些deploy、configuration以及benchmark的图片:




















8.海云捷迅的研发总监吴德新和存储研发工程师武宇亭,讲的是Awcloud在OpenStack社区以及Ceph社区的代码贡献以及怎样优化Ceph、备份Ceph等。
下面是他们优化Ceph的三步走,第一步是从crushmap方面入手,第二步是从Ceph配置文件调整参数,第三步是通过Ceph osd pref查看比较低的OSD将其T出去等。












9.完美世界的首席技术专家张晓宜,讲的是他们使用Ceph的遭遇和解决方法,笔者觉得讲的很好,主要从用户的角度全面分析了他们在使用Ceph过程中不断优化、不断演进的过程,从用户的角度来吐槽了Ceph当前在落地过程中的困难。
他们遇到的主要问题:两台DELL R720xd,每台12块4T硬盘,96G内存,万兆互联,Ceph副本数量为2,备份速度很好,240MB/s,但是备份恢复速度很慢,30M/s。最开始的时候是用RAID6将12块硬盘变为1个OSD,后来变为独立的OSD后,仍然不能解决性能上的问题。
最终的解决方案:加大Ceph服务器上的块设备的read_ahead_kb和KVM虚拟机中的read_ahead_kb,优化后的系统备份速度为450M/s,备份恢复速度达到了600M/s。在这个过程中也尝试了打开了rbd_cache,但是事实证明是无效的,有其原因是因为rbd_cache还是对读写比较频繁的操作有效,在这样的场景中无效。所以说参数调优也是根据实际环境和实际的场景应用的。








10.Intel的软件工程师周渊,讲的是Big Data如何与OpenStack以及Ceph来结合使用。
11.SanDisk的工程师,讲的是他们针对于Ceph专门出了一款设备叫做IF500,这款设备对Ceph在Flash卡做的大量优化。
圆桌讨论
最后是圆桌会议(Panel Discussion),嘉宾包括:Patrick McGarry(红帽)、张建(Intel)、李华 (海云捷迅  )、王道邦(同有飞骥)、王欣(平安科技)、张晓宜(完美世界)、许葳(清华大学)、孟圣智(UnitedStack)和汪黎(麒麟社区)。由于时间关系,主要讨论了两个问题:
1. What do you think is current problem of Ceph ?
2. How can we accelerate the development of Ceph in China ?
针对于第一个话题,各位专家都认为性能还是排在第一位,因为我们不可能用很多高大上的设备以及花很多的钱来搞分布式存储Ceph——与其那样,还不如直接采用传统硬件设备合算。
第二个话题,笔者认为要经常在中国举办类似Ceph Day这样的技术沙龙活动,普及和推广Ceph在中国的发展,当然在推广的同时也应该考虑中国对Ceph社区代码提交量的问题。很多人说中国人对开源社区一向是索取的多回报的少,确实如此。笔者觉得孟圣智说的对,这是一个生态圈,大家不能光索取不回报,否则这个项目可能就会死掉,那大家都会Game Over。
举个例子,一个村子,村民的生活都依赖于一条河,要经常在这条河里面捕鱼、吃鱼,甚至卖鱼,如果长期只是这样,整个生态链肯定会断;相反,如果经常组织村民同时买一些鱼苗放生到河里面,这个生态圈就能很好地维持。大家向开源社区提交代码也是如此。
尽管好多人都是初学者,但是可以从通过不断的使用发现bug、提交bug,长时间地接触和学习,慢慢的就会熟悉社区流程,慢慢的学着提交一些代码。今天通过Ceph Day看到大家都期望中国能组织起来Ceph,弄一些Ceph的优化以及Ceph中国社区,把中国的Ceph Developers组织起来,一起为Ceph社区提交代码,来展现咱们中国的IT互联网开源精神,笔者觉得还是不错的。
Ceph中国社区的未来发展
笔者之前联合了网宿云计算负责人过晓春以及郭华星(@Star華星_FreeBSD)、沈志伟(@一页空纸)、孙琦和其他的几位好友,于5月18日正式上线了Ceph中国社区(www.ceph.org.cn),后期可能还会上线一些问答系统等。

鉴于目前国内Ceph存储技术没有完整的技术社区,而且由于语言壁垒造成不少人员对Ceph的理解不透彻,我们打算通过“Ceph中国社区”,提供一个技术交流平台,让工程师们讨论Ceph技术,分享技术,并组织Ceph资深人员开展技术沙龙,我们也会联合Intel、Redhat、海云捷讯、UnitedStack等Ceph生态圈的公司一起在国内推广Ceph技术,让Ceph的门槛逐渐变低,让初学者们更加快速地掌握Ceph,同时也会扩充Ceph中国社区人员,推动各位国内的Ceph Developers来共同为Ceph社区进行代码提交。
当然,我们的进步离不开大家的努力,所以,欢迎大家积极地加入到Ceph 中国社区,携手共同营造Ceph中国社区,为Ceph在中国的发展做出一些贡献,同时通过参与社区的项目开发,增强自身多方面的能力。(责编/周建丁)
作者介绍:耿航,Ceph中国社区的QQ群群主,Ceph中国社区联合创始人。微博:@耿航-Devin。
  





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-670661-1-1.html 上篇帖子: openstack kilo 集成ceph 下篇帖子: 基于Ceph快照的异地灾备设计
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表