CCA Spark and Hadoop Developer (CCA175) 公开课

小雪崩

　　【时间地点】
　　会议时间：2017-06-27 至 2017-06-30
　　会议地点：上海 上海长阳谷 上海市杨浦区长阳路1687号
　　课时：28h/4天

　　【课程介绍】
　　Hadoop 及生态系统介绍
　　· 传统大规模系统的问题
　　· Hadoop ！
　　· Hadoop 生态系统
　　Hadoop 体系结构及 HDFS
　　· 机群环境下的分布式处理
　　· 存储：HDFS 体系结构
　　· 存储：使用 HDFS
　　· 资源管理：YARN 体系结构
　　· 资源管理：使用 YARN
　　使用 Apache Sqoop 导入关系数据
　　· Sqoop 简介
　　· 数据的基本导入导出
　　· 减少传输的数据量
　　· 改善 Sqoop 性能
　　· Sqoop 2
　　Impala 及 Hive 介绍
　　· 简介
　　· 为什么使用 Impala 及 Hive
　　· Hive 和传统数据库的比较
　　· Hive 应用场景
　　使用 Impala 及 Hive 管理数据及建模
　　· 数据存储
　　· 创建数据库及表
　　· 表数据导入
　　· HCatalog
　　· Impala 元数据缓存
　　数据格式
　　· 选择文件格式
　　· 支持不同文件格式的工具
　　· Avro 数据格式定义模式
　　· 在 Hive 及 Sqoop 里使用 Avro
　　· Avro 格式数据模式变更
　　· 压缩 数据分区
　　· 分区概述
　　· Impala 及 Hive 里的数据分区
　　Apache Flume 实时数据采集
　　· 什么是 Apache Flume
　　· Flume 基本体系结构
　　· Flume 源
　　· Flume 槽
　　· Flume 通道
　　· Flume 配置
　　Spark 基础
　　· 什么是 Apache Spark
　　· 使用 Spark Shell
　　· RDDs( 可恢复的分布式数据集）
　　· Spark 里的函数式编程 Spark RDD
　　· RDD
　　· 键值对 RDD
　　· MapReduce
　　· 其他键值对 RDD 操作
　　编写和部署 Spark 应用
　　· Spark 应用对比 Spark Shell
　　· 创建 SparkContext
　　· 创建 Spark 应用（Scala 和 Java）
　　· 运行 Spark 应用
　　· Spark 应用 WebUI
　　· 配置 Spark 属性
　　· 运行日志
　　Spark 的并行处理
　　· 回顾：机群环境里的 Spark
　　· RDD 分区
　　· 基于文件 RDD 的分区
　　· HDFS 和本地化数据
　　· 执行并行操作
　　· 执行阶段及任务
　　Spark 缓存和持久化
　　· RDD 演变
　　· 缓存
　　· 分布式持久化
　　Spark 数据处理的常见模式
　　· 常见 Spark 应用案例
　　· 迭代式算法
　　· 图处理及分析
　　· 机器学习
　　· 例子：K－Means 预览：Spark SQL
　　· Spark SQL 和 SQL Context
　　· 创建 DataFrames
　　· 变更及查询 DataFrames
　　· 保存 DataFrames
　　· Spark SQL 对比 Impala
　　【参会指南】
　　参会费：¥7360
　　大会报名地址：https://www.huodongjia.com/event-951795901.html