Spark on yarn
http://s3.运维网.com/wyfs02/M02/74/55/wKiom1YaA-yz3YFCAAGJmO2kXJc602.jpg
ResourceManager资源管理 只有一个（资源以Container表示）
ApplicationMaster应用管理 用户每提交一个application都包含一个ApplicationMaster
NodeManager 每个节点对应一个
ApplicationMaster 启动后向ResourceManager要资源
http://s3.运维网.com/wyfs02/M02/74/52/wKioL1YaB62DOk9mAANvlFeS4og280.jpg
每个Executor对应一个Container
每个SparkContext有一个ApplicationMaster
http://s3.运维网.com/wyfs02/M02/74/59/wKiom1YbAwzTEmMjAALxE-8QAmI508.jpg
spark支持的两种模式区别 Spark Driver运行在哪儿
yarn-cluster（YarnClusterScheduler） （driver和ApplicationMaster运行在一起，client看不到运行结果）
yarn-client（YarnClientClusterScheduler）（driver和client运行在一起，适用于终端返回结果）
http://s3.运维网.com/wyfs02/M02/74/53/wKioL1YaDUGg9LEyAAKhKvrvEKE931.jpg
页:
[1]