hue通过livy提交spark jar包python文件到spark

背景：集群中有hive、spark2，没有impala

需求：通过hue访问hive以及提交spark任务

现状：hue以及通过sentry实现了对hive的权限管理

CDH5.15.1

centos7.4

livy-0.5.0-incubating-bin

目标：hue实现scala、pyspark的交互式功能、实现提交python脚本，提交spark jar包到spark 的功能

1、部署安装livy。《livy安装与部属》

2.CDH集成livy

修改 core-site.xml 的群集范围高级配置代码段（安全阀）

<property>
    <name>hadoop.proxyuser.livy.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.livy.hosts</name>
    <value>*</value>
</property>

3.hue配置livy连接spark

修改hue_safety_valve.ini 的 Hue 服务高级配置代码段（安全阀）
[desktop]
app_blacklist=

[spark]
livy_server_host=dip007
livy_server_port=8998
livy_server_session_kind=yarn

[notebook]
show_notebooks=true
enable_batch_execute=true
enable_query_builder=true
enable_query_scheduling=false
[[interpreters]]
[[[hive]]]
      # The name of the snippet.
      name=Hive
      # The backend connection to use to communicate with the server.
      interface=hiveserver2
[[[spark]]]
      name=Scala
      interface=livy
    [[[pyspark]]]
      name=PySpark
      interface=livy
[[[jar]]]
      name=Spark Submit Jar
      interface=livy-batch
    [[[py]]]
      name=Spark Submit Python
      interface=livy-batch
[[[text]]]
      name=Text
      interface=text
[[[spark2]]]
      name=Spark
      interface=oozie
[[[markdown]]]
      name=Markdown
      interface=text
[[[java]]]
      name=Java
      interface=oozie
[[[mapreduce]]]
      name=MapReduce
      interface=oozie
[[[distcp]]]
      name=Distcp
      interface=oozie
[[[shell]]]
      name=Shell
      interface=oozie

遇到的问题：

1.livy总是去连接一个处于stand by 的name node

尝试：配置hue使用高可用的yarn 无效

尝试2：之前安装是基于普通用户，后来所有安装后都换成hdfs用户，解决