spark缓存-cache

import org.apache.spark.{SparkConf, SparkContext}

object Cache {
  //Spark的缓存
  //1.cache()
  //2.persist()


  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Cache").setMaster("local[*]")
    val sc = new SparkContext(conf)

    sc.setLogLevel("WARN")

    //创建一个包含大量随机数的RDD
    val rdd = sc.parallelize(1 to 1000000).map( _=> scala.util.Random.nextInt(100))

    //定义一个复杂的转换函数
    def complexTransformation(x:Int): Int = {
      var result=x
      for(i<-1 to 1000){
        result=result*2%100
      }
      result
    }
    val rdd1=rdd.map(complexTransformation)
    
    //缓存rdd
    //val rdd1=rdd.map(complexTransformation).cache()

    //第一次触发行动算子，计算并统计消耗时间
    val startTime=System.currentTimeMillis()
    val rs1=rdd1.collect()
    val endTime=System.currentTimeMillis()
    println("第一次计算消耗时间："+(endTime - startTime)+"毫秒")

    //第二次触发行动算子，计算并统计消耗时间
    val startTime1=System.currentTimeMillis()
    val rs2=rdd1.collect()
    val endTime1=System.currentTimeMillis()
    println("第二次计算消耗时间："+(endTime1 - startTime1)+"毫秒")
    
  }

}