发表人:wzb 2022-05-11 10:27:33 最新回复: 2022-05-11 10:27:33
基本原理:把接收的地震道放入内存,内存满,对地震道进行排序,然后把排好序的地震道写入临时盘,可能形成多个临时文件,最后对所有临时文件进行归并排序。如果分选的数据能够一次性放入内存中,不需使用临时文件,只在内存中分选。
根据该原理,IECO平台的实现了ReSort模块,该模块可将作业流程中传递来的震数据道重新分选成用户所指定的道集类型。 ReSort模块可以对道集分选,也可以对整个作业的数据道进行分选。该模块属于道集模块,需要使用input、output、next数据道流控制,以及获取和设置normal、lastgather、lasttrace道属性等,功能如图:

临时文件的操作使用了新平台提供的统一临时文件接口来实现。该接口统一管理本地盘(Local)、集中存储(NAS)、分布式存储(HDFS)。可由用户指定使用的存储类型。一个作业流程中,ReSort模块可以使用多次,可以对一个作业流中的地震数据进行多次变换道集。
注意:
1、大部分平台没有配置HDFS,不要使用该选项。
2、如果选择本地盘,需要本地磁盘上能够容纳要分选的地震数据。
3、内存参数,控制着临时文件的大小,建议设置为节点内存的1/4-1/3。