spark启动方式

1.Spark Sql命令行

// 启动 Spark SQL 命令行（类似 hive 命令）
$SPARK_HOME/bin/spark-sql

// 带参数的启动
$SPARK_HOME/bin/spark-sql \
  --master local[2] \
  --conf spark.sql.warehouse.dir=/path/to/warehouse \
  --database default

2.Spark Shell交互式环境

// 启动 Scala Spark Shell
$SPARK_HOME/bin/spark-shell

// 在 shell 中执行
scala> val df = spark.sql("SELECT * FROM users")
scala> df.show()
scala> :quit

3.PySpark Shell

// 启动 PySpark Shell
$SPARK_HOME/bin/pyspark

// 在 shell 中执行
>>> df = spark.sql("SELECT name, age FROM people")
>>> df.filter(df.age > 30).show()
>>> exit()

4.直接执行sql文件

// 像 hive -f 一样执行 SQL 文件
$SPARK_HOME/bin/spark-sql -f query.sql

// 执行单条 SQL 语句
$SPARK_HOME/bin/spark-sql -e "SHOW TABLES"

// 执行多条 SQL 语句
$SPARK_HOME/bin/spark-sql -e "
SHOW DATABASES;
USE my_database;
SELECT count(*) FROM users;
"

5.执行编译好的jar包

// 提交编译好的 JAR 包
$SPARK_HOME/bin/spark-submit \
  --class com.mycompany.MySparkJob \
  --master yarn \
  --deploy-mode cluster \
  --executor-memory 2G \
  --num-executors 10 \
  /path/to/my-spark-job.jar

// 提交 Python 脚本
$SPARK_HOME/bin/spark-submit \
  --master local[4] \
  --name "My Python Job" \
  /path/to/my_script.py