Flink 的分布式缓存有什么作用?如何使用?
发布时间:2022-09-02 16:59:00
发布人:wjy

Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。
此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如 hdfs 或者 s3)
通过 ExecutionEnvironment 注册缓存文件并为它起一个名称。
当程序执行,Flink 自动将文件或者目录复制到所有taskmanager节点的本地文件系统,仅会执行一次。
用户可以通过这个指定的名称查找文件或者目录,然后从taskmanager节点的本地文件系统访问它。
下一篇Flink反压机制?