发表人:wzb 2023-11-10 08:56:16 最新回复: 2023-11-10 08:56:16
MrSort作业默认使用资源管理的所有节点和本地盘,通过调度发作业,集群中只能有一个 MrSort作业运行,其它 MrSort作业排队等待。
用户可以通过环境变量来设置使用的hosts列表和本地盘路径,两个环境变量是SeisSortHosts和LocalDir。如果调度发作业,环境变量放在home下的.cshrc.ieco文件中。如果用户不用调度发作业,在本地终端上发作业,在home下的.cshrc中设置即可。hosts文件格式是hostname:数字,数字代表启动的进程数,一般设置2就可以了,4也可以,节点中的进程再多了抽道集效率提升的不明显。
MrSort抽道集在使用的集群节点上会启动map、reduce进程,比例为6:4,reduce进程数就是运行过程中输出的地震数据的子文件数,根据用户设置的参数最后进行相应的合并。
通过调度发的MrSort作业会依赖于zookeeper进行排队,zookeeper服务器的启动方式,geoeast用户登录到$ZOOKEEPER_INSTALL/conf/zoo.cfg文件中配置的ip节点上启动服务器,命令:zkServer.sh start。