濮阳杆衣贸易有限公司

主頁 > 知識庫 > Spark-shell批量命令執(zhí)行腳本的方法

Spark-shell批量命令執(zhí)行腳本的方法

熱門標簽:400電話申請找 電銷機器人加盟多少錢 宿松高德地圖標注 貴陽400電話到哪里去辦理 網(wǎng)絡電話外呼系統(tǒng)撥號軟件 申請400電話有什么用 汨羅代理外呼系統(tǒng) 天津智能外呼系統(tǒng)排名 4層電梯外呼控制系統(tǒng)設計

批量執(zhí)行spark-shell命令,并指定提交參數(shù)

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 !EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • 十三個寫好shell腳本的技巧分享
  • 使用shell腳本執(zhí)行hive、sqoop命令的方法
  • shell中循環(huán)調(diào)用hive sql 腳本的方法

標簽:海北 連云港 昌都 贛州 廣東 撫州 烏蘭察布 臨沂

巨人網(wǎng)絡通訊聲明:本文標題《Spark-shell批量命令執(zhí)行腳本的方法》,本文關鍵詞  Spark-shell,批量,命令,執(zhí)行,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Spark-shell批量命令執(zhí)行腳本的方法》相關的同類信息!
  • 本頁收集關于Spark-shell批量命令執(zhí)行腳本的方法的相關信息資訊供網(wǎng)民參考!
  • 推薦文章
    武邑县| 资源县| 桃源县| 张家口市| 海安县| 金湖县| 仙游县| 阳信县| 巍山| 迁安市| 文化| 璧山县| 祁东县| 玛纳斯县| 濮阳市| 长子县| 长沙县| 无极县| 新化县| 阿克苏市| 长春市| 武城县| 宣化县| 泰来县| 乌兰察布市| 牟定县| 那曲县| 奇台县| 安多县| 麦盖提县| 铜川市| 庆阳市| 汉源县| 武陟县| 大同市| 华池县| 伊川县| 望都县| 景德镇市| 麟游县| 德令哈市|