濮阳杆衣贸易有限公司

主頁 > 知識庫 > Spark-shell批量命令執(zhí)行腳本的方法

Spark-shell批量命令執(zhí)行腳本的方法

熱門標簽:400電話申請找 電銷機器人加盟多少錢 宿松高德地圖標注 貴陽400電話到哪里去辦理 網(wǎng)絡電話外呼系統(tǒng)撥號軟件 申請400電話有什么用 汨羅代理外呼系統(tǒng) 天津智能外呼系統(tǒng)排名 4層電梯外呼控制系統(tǒng)設計

批量執(zhí)行spark-shell命令,并指定提交參數(shù)

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 !EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • 十三個寫好shell腳本的技巧分享
  • 使用shell腳本執(zhí)行hive、sqoop命令的方法
  • shell中循環(huán)調(diào)用hive sql 腳本的方法

標簽:海北 連云港 昌都 贛州 廣東 撫州 烏蘭察布 臨沂

巨人網(wǎng)絡通訊聲明:本文標題《Spark-shell批量命令執(zhí)行腳本的方法》,本文關鍵詞  Spark-shell,批量,命令,執(zhí)行,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Spark-shell批量命令執(zhí)行腳本的方法》相關的同類信息!
  • 本頁收集關于Spark-shell批量命令執(zhí)行腳本的方法的相關信息資訊供網(wǎng)民參考!
  • 推薦文章
    闽清县| 乐山市| 淮阳县| 四平市| 宽城| 新源县| 延庆县| 莫力| 重庆市| 庆云县| 峨边| 杨浦区| 绵竹市| 铁力市| 枣阳市| 沙河市| 盐城市| 利川市| 桐梓县| 宿松县| 崇仁县| 三门峡市| 桂林市| 茶陵县| 濮阳县| 建湖县| 来宾市| 惠安县| 黑河市| 奎屯市| 彝良县| 张家港市| 张家口市| 乃东县| 郧西县| 房产| 建阳市| 石泉县| 沁水县| 大同县| 穆棱市|