启动本机的spark集群服务

发送反馈

使用本机的分布式计算集群

即使用 iServer 本机内置的 Spark 集群，主节点与子节点需分别配置。步骤如下：

配置集群主节点的内置 spark 集群

  1. 在主节点机器中启动 iServer
  2. 在 iServer 服务管理器，点击“集群-配置集群”，进入配置集群页面
  3. 若本机未创建集群，则勾选“分布式计算集群”，点击“创建集群”按钮，完成创建；若本机已创建集群，则勾选“分布式计算集群”，点击“保存配置”按钮，完成修改。此时，系统会自动启动 Spark 分布式集群的主节点，您可以通过 Spark 的 WebUI（http://{ip}:8080）， 查看 Spark 集群的状态

配置集群子节点加入集群

  1. 在子节点机器中启动 iServer
  2. 点击“集群-加入集群”，进入加入集群页面
  3. 点击“加入集群”按钮，依次填写集群别名、集群服务地址（http://{主节点IP}:{port}/iserver/services/cluster）、安全密钥（如果集群主节点“开启安全”，则必须填写），勾选“执行分布式计算”，点击“确定”
  4. 您可以从主节点的配置集群页面，看到子节点的情况。也可以通过 Spark 的 WebUI（http://{主节点ip}:8080），查看到都有哪些 Spark Workers 加入了 Spark 集群。
  5. 需在主节点中创建任务。

如果您已经自行搭建了其他分布式计算集群，iServer 支持通过“使用其他分布式计算集群”来使用分布式分析服务和实时数据分析。

使用外部的分布式计算集群

  1. 进入 iServer 服务管理器
  2. 点击“集群-分布式分析”，进入分布式分析页面
  3. 点击“开启分布式分析服务”
  4. 选择分布式计算集群为“外部的分布式计算集群”，然后根据需要选择对应外部的集群类型
    • Spark集群。输入您已搭建的 Spark 分布式集群主节点服务地址，点击“下一步”；
    • Hadoop Yarn 集群。确保已在 iServer 所在的机器上做了若干使用Hadoop Yarn集群的配置，
      • 若使用未开启 Kerberos 认证的 Hadoop Yarn 集群，则需填写 Hadoop Yarn 集群配置目录，即将 Hadoop Yarn 集群主节点中【hadoop安装包】/etc/hadoop 目录拷贝到 iServer 服务所在计算机上后，对应的文件位置 。点击“下一步”。
      • 若使用开启 Kerberos 认证的 Hadoop Yarn 集群，则需要“开启 Kerberos 认证”，并以此填写主体名称、密钥文件路径和 Kerberos 客户端配置文件路径，点击“下一步”。
      • 主体名称：用户名@域。例如：iserver@SUPERMAP.COM。用户名必须是 Hadoop Yarn 集群 Mater 节点的一个系统用户。域则是值 Kerberos 服务设定的域（须与Hadoop Yarn集群所在的域相同）
      • 密钥文件路径：将搭建集群的过程中生的密钥文件拷贝到 iServer 服务所在机器后，对应的文件位置
      • Kerberos 客户端配置文件路径：即Kerberos客户端配置文件所在文件位置（与 iServer 同一机器）

  1. 进入配置分布式分析服务页面，进行配置启用分布式分析服务，然后在服务列表页面中访问分布式分析服务 distributedanalyst/rest，即可使用分布式分析服务。