在Fair Call Queue中spark客户端多个队列，有多个优先级队列每个队列都指定了一个权重当客户端RPC请求到达调用队列时，会根据分配给用户的优先spark客户端多个队列；如何支持跨多个队列的任务提交使用Spark SQL支撑企业级数仓的核心的地方还是在于如何提供一个好用的任务服务器，用来支撑任。
Spark是以TaskSetManager为单元来调度任务的通常情况下，任务队列中只会有一个TaskSetManager，而通过多线程提交多个Job；Spark Driver 托管给 Yarn，而是在客户端运行App Master 申请完 Container 之后同样也是由 Spark Driver 去启动 Spark Executor，执。
Spark的底层网络实现也是遵循上图所示流程，其总体实现流程如下图所示客户端发送请求消息，经过Encoder一种DownHandler；2021年3月1日 方法二在启动Hive cli的时候进行配置，可以在命令行添加hiveconf param=value来设定参数，例如 wyp@master ~$ hive hiveconf；两者各有优缺，比如队列模型的消息系统可以支持多个客户端同时消费不同的数据，也就是可以很方便的扩展消费端的能力，但订阅发。
通过队列的方式，管理同时运行在 Yarn 集群中的多个服务，可根据不同类型的应用程序负载情况，调整对应的资源使用量，实现资源；2024年1月17日 1executormemory numexecutor * executormemory 即申请到的spark任务总内存量，共享资源队列情况下最好不要超过资源队列总内存的1312 2execut；2021年1月25日 DAGScheduler把一个spark作业转换成成stage的DAGDirected Acyclic Graph有向无环图指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集；Spark Connect1 是 Spark 生态系统2中一个相对较新的组件，它允许瘦客户端在远程 Spark 集群上运行 Spark 应用程序这项技术。
标签： spark客户端多个队列