博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
超图大数据环境搭建之单机版spark搭建
阅读量:4161 次
发布时间:2019-05-26

本文共 1558 字,大约阅读时间需要 5 分钟。

作者:夕阳

  1. SuperMap iObjects配置
    从超图软件官网获取SuperMap iObjects for Java Linxu版组件包 与SuperMap iObjects for Spark组件包 。
    (1)在/opt下新建一个用于放置SuperMap iObjects for Java相关类库的文件夹。
    mkdir /opt/iObjectsJava
    (2)将SuperMap iObjects for Java包,放到/opt/iObjectsJava下进行解压。
    tar -zxvf [解压文件]
    (3)在/opt下新建一个用于放置SuperMap iObjects for Spark相关类库的文件夹。
    mkdir /opt/iObjectsSpark
    将SuperMap iObjects for Spark包中lib文件夹中的jar包,放到/opt/iObjectsSpark中。
  2. Apache Spark 安装
    (1)将spark-2.1.0-bin-hadoop2.7.tgz 包,放到/opt下解压。
    (2)将Spark环境变量配置到/etc/profile中。
    export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7
    export PATH=$ JAVA_HOME/bin:$ SPARK_HOME/bin:$ PATH
  3. Apache Spark 配置
    (1)配置
    进入spark-2.1.0-bin-hadoop2.7/conf目录,复制 spark-env.sh.template 并重命名为 。
    cp spark-env.sh.template
    编辑spark-env.sh文件,添加以下内容。
    export JAVA_HOME=/opt/jdk
    export SPARK_MASTER_IP=192.168.29.161
    export SPARK_WORKER_MEMORY=4g
    export SPARK_WORKER_CORES=4
    export SPARK_EXECUTOR_MEMORY=4g
    export SUPERMAP_OBJ=/opt/iObjectsJava/Bin
    export LD_LIBRARY_PATH=$ LD_LIBRARY_PATH:$ SUPERMAP_OBJ:/opt/jdk/jre/lib/amd64
    export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/iObjectsSpark
    (2)配置slaves。复制slaves.template并重命名为slaves:
    cp slaves.template slaves
    修改slaves文件,将localhost改为master。
  4. Apache Spark 启动
    (1)进入spark-2.1.0-bin-hadoop2.7/sbin目录下执行如下命令,启动spark。
    ./start-all.sh
    (2)浏览器访问ip:8080看到下图页面则表示spark已经搭建成功。
    在这里插入图片描述
  5. 使用SuperMap iServer接入外部spark
    (1)启动iServer后,浏览器访问ip:8090/iserver/manager,登陆SuperMap iServer管理页面,点击选项卡【集群】-> 【配置集群】 -> 【配置Spark集群】,选择“启用其他Spark集群服务”-> 在“集群地址”栏中填写Spark集群服务IP:端口(默认7077)。
    在这里插入图片描述
    (2)点击选项卡【集群】-> 【分布式分析服务】,在配置分布式分析服务中勾选启用后,打开ip:8080看到Running Applications有进程则启动成功。
    在这里插入图片描述

转载地址:http://yivxi.baihongyu.com/

你可能感兴趣的文章
HTML5学习之——HTML 5 应用程序缓存
查看>>
HTML5学习之——HTML 5 Web Workers
查看>>
HTML5学习之——HTML 5 Canvas
查看>>
HTML5学习之——HTML5 内联 SVG
查看>>
HTML5学习之——HTML 5 服务器发送事件
查看>>
SVG学习之——HTML 页面中的 SVG
查看>>
SVG 形状学习之——SVG 矩形<rect>
查看>>
SVG 形状学习之——SVG圆形
查看>>
SVG 滤镜学习之——SVG 滤镜
查看>>
mysql中用命令行复制表结构的方法
查看>>
hbase shell出现ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException
查看>>
让代码变得更优雅-Lombok
查看>>
解决Rhythmbox乱码
查看>>
豆瓣爱问共享资料插件发布啦
查看>>
Ubuntu10.10 CAJView安装 读取nh\kdh\caj文件 成功
查看>>
kermit的安装和配置
查看>>
vim 配置
查看>>
openocd zylin
查看>>
进程创建时文件系统处理
查看>>
进程创建时信号处理函数处理
查看>>