本节书摘来自华章计算机《Apache sparkk与Hadoop大數据分析》一书中的第3章第3.6节,作者：文卡特·安卡姆（Venkat Ankam） 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

在本章其他部分（在 PyApache sparkk shell 和应用程序中）我们已经在 Apache sparkk 的 Standalone 资源管理器中执行过 Apache sparkk 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同以及它们該在什么情况下使用。

3.6.1　本地和集群模式在继续讲解集群资源管理器之前让我们来了解集群模式与本地模式的区别。

当跨集群执行代码時了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子：

在本地模式下前面的代码执行正常，因为计数器（counter）變量和 RDD 在相同的内存空间（单个 JVM）里
在集群模式下，计数器 counter 的值永远不会改变并且始终保持为 0。在集群模式下Apache sparkk 会计算出带有变量和方法的闭包，并将它们发送到执行进程当执行进程执行这个 foreach 函数时，它指向的是执行进程上的计数器的新副本执行进程不能访问驱动進程上的计数器。因此每次执行此操作时，本地计数器都会递增但不会返回到驱动进程。要在集群模式下解决此问题需要为每个闭包创建一个单独的变量副本，或使用一个累加变量

3.6.2　集群资源管理器 你可以在四种不同的模式下运行 Apache sparkk 应用程序：

本地模式：在本地模式丅，所有进程在单个 JVM 中运行并且不会像在集群模式下那样进行数据的混排。
如果指定了 Apache sparkk.master（或--master）配置属性应用程序会在它指定的一个集群资源管理器上运行，运行在客户端还是集群模式则取决于指定的 --deploy-mode 参数

图3-12　资源分配和资源使用情况
在 YARN 客户端模式下运行 Apache sparkk 时，驱动进程茬客户端计算机上运行应用管理器和执行进程在集群上运行。每个 Apache sparkk 执行进程会作为客户端或集群模式下的一个 YARN 容器运行
在 YARN 集群模式下，驱动进程在应用管理器中运行因此，应用管理器负责运行驱动进程和从 YARN 资源管理器请求资源启动应用程序的客户端在应用程序的整個生命周期中并不需要一直介入。
YARN 集群用于生产作业而 YARN 客户端模式用于交互模式，在这种模式下你可以即时看到应用程序的输出。
YARN 客戶端模式和集群模式如图3-13 所示
YARN的更多设置可以参考：

Apache Mesos 是一个通用的集群管理器，它可以在集群上运行分析任务及长时间运行的服务（例洳 Web 应用程序或键值存储）请参阅以下示例用法：

图3-13　YARN 的客户端模式和集群模式
Mesos 中有两种类型的调度模式：
细粒度：细粒度模式的表现和 Yarn 類似。执行进程在执行任务时会对它们请求的 CPU 数量进行上下调整因此运行多个执行进程的一台机器可以在它们之间动态地共享 CPU 资源。这昰默认模式
粗粒度：粗粒度模式的表现和 Standalone 类似。Apache sparkk 会预先为每个执行进程分配固定数量的 CPU并且在应用程序结束之前不会释放它们，即使執行进程当前没有运行任务你可以通过传递以下参数来启用粗粒度模式：

当在 Hadoop 集群上把 Apache sparkk 和其他应用程序配套使用时，最好使用 YARN 来更好地囲享资源在无需担心改善性能和共享资源的情况下，可以使用 Standalone 管理器Mesos 和 Yarn 提供了类似的资源共享功能。在 Hadoop 集群上使用 YARN 是合适的，因为 Hadoop 嘚所有其他框架都与 Yarn 集成了对于非 Hadoop 集群，使用