hdf5数据库的并行读写,是怎么回事?
一、hdf5数据库的并行读写是怎么回事
关键点在于告知数据位置(hyperslab)。比如说我要把我100*100的矩阵分成10*10的block,我需要告诉代码我的分配规则。比如说,rank0 写在名列前茅行名列前茅列,rank1写在名列前茅行第二列,我就可以写col=rank%10,row=rank/10,(从0计数),写的时候每个processor会告知,mydata,myrank,myposition,然后并行的时候每个核的数据就会被写在相应的位置。
给个fortran的例子,
CALL h5sselect_hyperslab_f (filespace, H5S_SELECT_SET_F, offset, count, error, stride,block_size)
这里filespace 告知在文件里开辟的内存id,第二个内置参数,告诉怎样写,后面offset,count,stride,block什么的全都用于描述位置,你可以横着写,数着写,跳着写,转着圈写。。。一般我只用两个参数就能描述清楚了,因为我搞的是结构网格,一开始还不理解为什么那么多种写数据的花型。直到后面写作业用到非结构网格,这个时候描述数据位置就尤其重要了,因为你需要让相邻processor处理的数据物理空间也尽量靠近,这样才能减少block之间的信息交互,然后提高计算速度。
延伸阅读:
二、并发锁
在一定条件下,MyISAM也支持查询和操作的并发进行。
MyISAM存储引擎有一个系统变量concurrent_insert,专门用以控制其并发插入的行为,其值分别可以为0、1或2。
当concurrent_insert设置为0时,不允许并发插入。
当concurrent_insert设置为1时,如果MyISAM允许在一个读表的同时,另一个进程从表尾插入记录。这也是MySQL的默认设置。
当concurrent_insert设置为2时,无论MyISAM表中有没有空洞,都允许在表尾插入记录,都允许在表尾并发插入记录。
可以利用MyISAM存储引擎的并发插入特性,来解决应用中对同一表查询和插入锁争用。例如,将concurrent_insert系统变量为2,总是允许并发插入;同时,通过定期在系统空闲时段执行OPTIONMIZE TABLE语句来整理空间碎片,收到因删除记录而产生的中间空洞。