Spark 之 kvstore

参考链接

  • https://blog.csdn.net/LS_ice/article/details/86610537
  • https://www.cnblogs.com/byzgss/p/15780923.html
  • https://blog.csdn.net/nazeniwaresakini/article/details/104220186

kvstore 的 几种实现:

  • InMemoryStore是在内存中维护的键值对存储;
  • LevelDB则是借助Google开源的KV数据库来实现,可以持久化到磁盘。
  • ElementTrackingStore额外加上了跟踪元素个数的功能,可以根据元素个数阈值触发特定的操作,但它更多地是个包装类,需要依赖于InMemoryStore或者LevelDB。

ElementTrackingStore中检测超过指定条目的数据,并删除

ElementTrackingStore 的写、读取、删除等操作,都是基于 store: KVStore 之上,这个store是什么呢?回顾上面的代码,store来源于 InMemoryStore,所以 ElementTrackingStore 就是对 InMemoryStore 进行了一次封装

val store = new ElementTrackingStore(new InMemoryStore(), conf)

你可能感兴趣的:(spark)