设为首页 收藏本站
查看: 1120|回复: 0

[经验分享] DataPipeline联合Confluent Kafka Meetup上海站

[复制链接]

尚未签到

发表于 2019-1-31 10:12:36 | 显示全部楼层 |阅读模式
Confluent作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据。DataPipeline作为国内首家原生支持Kafka解决方案的“iPaaS+AI”一站式大数据融合服务提供商,在零售、金融、互联网和制造等行业拥有着丰富实践经验和解决方案能力。



此次上海DataPipeline & Confluent Kafka Meetup,我们邀请到了Confluent流数据处理系统架构师和技术负责人王国璋、DataPipeline架构师吕鹏、携程大数据平台实时计算平台负责人潘国庆、阿里巴巴实时计算平台高级技术专家秦江杰、
网易云大数据平台架构师欧阳武林
等大数据领域六位行业大咖分享Kafka最新研究成果以及行业应用案例。



活动流程

DSC0000.jpeg



演讲嘉宾





DSC0001.jpeg

王国璋

Confluent流数据处理系统架构师和技术负责人

Apache Kafka PMC,Kafka Streams 作者。于康奈尔大学计算机系取得博士学位,主要研究方向为数据库管理和分布式数据系统。现就职于Confluent,任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组,主要负责实时数据处理平台,包括 Apache Kafka 和 Apache Samza 系统的开发与维护。

演讲主题:《Apache Kafka,从0.7到2.0:那些年我们踩过的坑》
自从 2011年被捐献给Apache基金会到现在,Kafka项目已经走过了七个年头。从最早的“分布式消息系统”,到现在集成了分发、存储和计算的“流式数据平台”,Kafka经历了哪些挑战?又经过了什么样的演进变化?
1. 从硬件的发展趋势,展现 Kafka 架构的演进过程;
2. 从Kafka开发和维护经验,分享分布式系统工程实践的通理;
3. 开源数据系统的开发经验,如何维护和发展一个开源社区。




DSC0002.jpeg

潘国庆

携程大数据平台实时计算平台负责人

携程大数据平台实时计算平台负责人,2016年加入携程,主要从事携程实时计算平台的构建与演进、以及携程实时特征平台的搭建,在实时计算领域拥有丰富的实战经验。

演讲主题:《携程实时计算平台架构与实践》
1. 携程实时计算平台的演进之路;
2. 实时架构设计与曾经踩过的坑;
3. 实时计算在携程的实践;
4. 未来规划。

DSC0003.jpeg

吕鹏

DataPipeline 架构师

吕鹏,目前担任DataPipeline架构师一职,负责数据传输和ETL方面的架构和优化工作。曾就职于Talend和销售易大数据部,拥有5余年大数据平台和数据仓库架构搭建经验,在ETL 领域拥有丰富的实战经验。

演讲主题:《DataPipeline在大数据平台的实时数据流实践》
1. 大数据时代下企业级数据面临的主要问题和挑战;
2. kafka connect 在大数据时代的数据流的优势和不足;
3. 大数据平台上的kafka connect 实践案例:
       1)kafka connect 下数据仓库greenplum 同步实践以及优化策略;
       2)kafka connect 下 hive 同步实践;
4.  DataPipeline 做了哪些大数据相关工作,遇到的坑以及相应的解决方案;
5.  总结以及DataPipeline 未来在大数据领域的相关工作。



DSC0004.jpeg

张勇华

唯品会消息平台架构师

毕业于武汉大学,目前担任唯品会消息平台架构师。从事消息系统的设计和研发有4年多的时间,对Kafka、RabbitMQ、RocketMQ等消息中间件产品拥有较丰富的实践经验。

演讲主题:《基于Kafka1.0建立企业级消息系统平台的思考及实现》
1. 随着业务系统接入增多,对集群和元数据资源(Topic/Group)的管理显得尤为重要,急需建立统一平台来管理系统资源及认证授权接入服务;
2. 提升并发消费场景下的高可靠,及消费异常后如何优雅解决消费重试问题;
3. 如何实现延时消息的投递功能,改善延时精度的方式;
4. 原生kafka支持组间广播对动态增长的业务组申请造成困境,如何实现组内广播来改善现状;
5. 集群故障时如何快速有效迁移服务等问题介绍。



DSC0005.jpeg

秦江杰

阿里巴巴实时计算平台高级技术专家

秦江杰,阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅隆大学,曾任职于LinkedIn参与Apache Kafka开发,Apache Kafka PMC member。

演讲主题:《详解Flink基于Kafka事务的严格一次语义实现》
在流处理系统中,端到端的严格一次的语义只有当输出的Sink支持时才可以实现。在Kafka 0.11中增加了对事物的支持,使得其他系统可以利用这一特性实现严格一次的语义。本次分享将详细介绍Flink是如何利用这Kafka一特性来实现端到端的严格一次语义的。





DSC0006.jpeg

欧阳武林

网易大数据平台架构师

曾就职于中国移动、51信用卡,主要从事云计算平台开发相关工作。目前就职于网易,主要从事大数据平台开发。


演讲主题:《Kafka 在网易云上的实践》
1.Kafka上云面临的挑战和机遇;
2.网易云Kafka架构实现;
3.网易云Kafka的关键问题解决之法;
4.未来规划。



时间&地点


时间:2018年10月21日,13:30签到
详细地址:上海市长宁区金钟路968号凌空SOHO12号楼11层


活动报名

添加DataPipeline君微信:datapipelien2018,拉你进现场活动群





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-669931-1-1.html 上篇帖子: kafka入门详细讲解 下篇帖子: Kafka快速上手-中文文档
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表