部分代码如下:
def main(args: Array[String]): Unit = {Logger.getLogger("org").setLevel(Level.OFF)Logger.getLogger("akka").setLevel(Level.OFF)Logger.getRootLogger().setLevel(Level.ERROR) //这里是用来抑制一大堆log信息的. val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")val hadoopConf = spark.sparkContext.hadoopConfigurationhadoopConf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)hadoopConf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)import spark.implicits._val rdd= spark.sparkContext.parallelize(List("------------先大致看下数据-----------------"))rdd.collect().foreach(println)
就是上面代码的最后两句,这两句就可以像一般print语句一样来使用了.
注意,直接println是会被spark忽略的,并不会输出到控制台上面
如果觉得《spark中用println输出一些控制信息》对你有帮助，请点赞、收藏，并留下你的观点哦！
