iServer使用Hadoop Yarn集群前的环境配置

发送反馈

如果您已经拥有一个可用的Hadoop Yarn集群（包含开启Kerberos认证的Hadoop Yarn集群和未开启Kerberos认证的Hadoop Yarn集群），本章将详细为您介绍分布式分析服务使用Hadoop Yarn集群前的环境准备。

分布式分析服务使用Hadoop Yarn集群前相关配置

  1. 在iServer服务所在机器上安装Kerberos客户端，客户端所在机器时间与服务器时间不能相差超过5分钟：
  2. 配置Kerberos客户端
    1. 如果iServer服务在windows上，需修改C:\ProgramData\MIT\Kerberos5\krb5.ini文件，所设定Kerberos信息必须与Kerberos服务配置（krb5.conf）相同。具体内容如下所示：

[libdefaults]

            default_realm = SUPERMAP.COM

[realms]

            SUPERMAP.COM = {

               kdc = 192.168.112.162

               admin_server = 192.168.112.162

}

    1. 如果iServer服务在Linux 上，则需修改etc/krb5.conf。内容与Kerberos服务配置（krb5.conf）相同。
  1. 在iServer内置的spark（iServer安装包\support\spark）下的spark-default.conf中增加如下参数：

spark.yarn.am.memory    4g

spark.hadoop.yarn.resourcemanager.hostname   【hostname】

spark.executorEnv.LD_LIBRARY_PATH   【SuperMap iSrever 安装目录】/support/objectjava/bin

spark.yarn.am.memory 代表application master的内存大小，如果不设置，默认是512M。为了确保iServer分布式分析服务能够正常使用，修改为4G。用户可以根据自己的机器的内存合理分配。

【hostname】为yarn集群主节点的hostname。更多的配置参见：http://spark.apache.org/docs/latest/running-on-yarn.html

【SuperMap iSrever 安装目录】/support/objectjava/bin 为 iServer 安装包中UGO的路径，用于让 executor 中的应用程序检测到 UGO 中的动态库，集群中运行 executor 的每个节点都需要相同目录部署 UGO。

  1. 从Hadoop Yarn集群主节点上复制{HADOOP_HOME}/etc/hadoop目录到iServer服务所在计算机上的任意位置。
  2. 在Hadoop Yarn集群Master节点的root用户下分别执行以下命令：

kadmin.local

#创建用户

addprinc -randkey iserver@SUPERMAP.COM

  1. #生成密钥文件（生成到当前路径下）

xst  -k yarn.keytab  iserver@SUPERMAP.COM

将生成的密钥文件复制到iServer服务所在计算机上的任意位置。

注：如果您使用的是未开启Kerberos认证的yarn集群，您只需配置3、4步即可。