Spark Storage之ExternalBlockStore

概要

前两篇介绍了Storage模块的MemoryStore和DiskStore,此外,Spark支持外部存储,即ExternalBlockStore

Tachyon( Alluxio)

简介

ExternalBlockStore底层使用Tachyon(现更名为Alluxio),Tachyon是一个分布式文件系统,提供内存级别的访问速度,通常作用于分布式计算框架(如spark)和底层存储之间(如HDFS),起到数据缓存,内存共享的效果。
Spark Storage之ExternalBlockStore_第1张图片

使用

Spark1.6及以前版本中使用Tachyon,参考Running Spark on Tachyon。

API

Tachyon提供了和Java File相似的API,远程访问Tachyon服务,主要为TachyonFS和TachyonFile,一个简单的上传数据的例子如下

val input: byte[] = _
val masterURI = _
val filePath = _

val client: TachyonFS = TachyonFS.get(new TachyonURI(masterURI), new TachyonConf())
val file: TachyonFile = client.getFile(filePath)
val os: FileOutStream = file.getOutStream(WriteType.TRY_CACHE)
try {
    os.write(input)
} finally {
    os.close()
}

更多关于Tachyon的内容,可以参考Tachyon: A Reliable Memory Centric Storage for Big Data Analytics。

ExternalBlockStore

ExternalBlockStore继承BlockStore,类图如下
Spark Storage之ExternalBlockStore_第2张图片

ExternalBlockStore持有TachyonBlockManager对象,利用TachyonBlockManager中的TachyonFS对象和Tachyon服务交互,完成数据的上传下载删除等。此外,TachyonBlockManager维护着数据的层级结构,和Spark Storage之DiskStore中介绍的磁盘文件组织部分相似。

移除ExternalBlockStore

Spark2.0移除了ExternalBlockStore相关的API,参考Remove block manager’s internal “external block store” API,移除后StorageLevel.OFF_HEAP 作用等同于StorageLevel.MEMORY_AND_DISK_SER

移除了ExternalBlockStore API后,设置StorageLevel.OFF_HEAP不能使用Tachyon了,只能通过saveAsTextFile API使用,如下

sc.hadoopConfiguration.set("fs.tachyon.impl", "tachyon.hadoop.TFS")
var file = sc.textFile("tachyon://localhost:19998/LICENSE")
val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
counts.saveAsTextFile("tachyon://localhost:19998/result")

更多参考Explore In-Memory Data Store Tachyon。

总结

介绍Tachyon及Spark的ExternalBlockStore相关部分。

你可能感兴趣的:(spark-core源码,spark,spark)