lzth.net
当前位置:首页 >> 求助,spArk 提交任务到集群报错 >>

求助,spArk 提交任务到集群报错

部署这种模式,需要修改conf目录下的spark-env.sh文件.在其中新增如下配置选项:export hadoop_home= /home/hadoop/hadoop-2.0.0-cdh4.5.0export hadoop_conf_dir= $hadoop_home/etc/hadoopspark_executor_instances=2spark_executor_cores=1spark_executor_memory=400mspark_driver_memory=400mspark_yarn_app_name="spark 1.0.0"

这个错误是由于spark高版本bin目录已下删减了compute-classpath.sh这个文件,该文件在1.0版本的对应目录可以找到.

???????

缺少jar包,-cp后面的classpath中,把slf4j相关的jar包也得指定

Http source ,这种方式可以通过监听接口方式来收集log;Exec source ,这种方式可以通过执行一些shell命令来收集log,例如通过 tail -f 文件 来监听文件追加的日志;Spooling source,这种方式可以监听某个目录的log,当有新的log产生时即会被发送出去;还有很多其他的方式,例如可以以kafka作为source,这样flume就充当了kafka的消费者,当然还有很多如 Avro source,Thrift source,TCP类的等等,具体参考官网文档更加相应场景配置即可.

spark包下错了,你应该下载prebuild包,去官网重新下,在Chooseapackagetype选Pre-build对应你的hadoop版本

[{icon:'extjs/examples/shared/icons/fam/cog_edit.png',//useaurlintheiconconfigtooltip:'edit',handler:function(grid,rowindex,colindex){varrec=grid.getstore().getat(rowindex);alert("edit"+rec.get('firstname'));}},{icon:'extjs/examples/restful/images/

部署这种模式,需要修改conf目录下的spark-env.sh文件.在其中新增如下配置选项:export HADOOP_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoopSPARK_EXECUTOR_INSTANCES=2SPARK_EXECUTOR_CORES=1SPARK_EXECUTOR_MEMORY=400MSPARK_DRIVER_MEMORY=400MSPARK_YARN_APP_NAME="Spark 1.0.0"

试试在spark-env.sh中设置:export SPARK_MASTER_IP=127.0.0.1export SPARK_LOCAL_IP=127.0.0.1

1、Spark脚本提交/运行/部署1.1spark-shell(交互窗口模式)运行Spark-shell需要指向申请资源的standalonespark集群信息,其参数为MASTER,还可以指定executor及driver的内存大小.sudospark-shell--executor-memory5g--driver-memory1g--

网站首页 | 网站地图
All rights reserved Powered by www.lzth.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com