跨集群拷贝数据
部分超算中心用户拥有多个超算系统账号,有时候需要进行集群的数据拷贝
# 使用 scp / rsync 命令进行跨集群拷贝数据
1、使用系统命令进行拷贝,关键在于知道目标集群的 hostname 或者 IP 地址。因为我们通常会知道目标集群的用户名,以及源集群的目录路径,而目标集群的 IP 地址则需要根据超算中心的进行提供。
2、获得了目标集群的 hostname 或者 IP 地址后,我们可以使用 scp / rsync 命令进行拷贝了。
举例如下:
1、登录 HPC1 集群
ssh zhenggang@192.168.2.101
1
2、将源集群目录 /data/zhenggang/test 目录下的文件拷贝到目标集群 HPC2 集群的 /data/zhenggang/test 目录下
rsync -avzP /data/zhenggang/test zhenggang@192.168.2.102:/data/zhenggang/test
1
警告
示例中的目标集群 ip 地址为 192.168.2.102,请根据实际情况进行替换。
# 使用 thDataCopy 工具进行跨集群拷贝数据
由于超算中心集群众多,并且数据拷贝节点可能和登录节点名称不完全一致,导致用户进行跨集群拷贝时无法完全记住拷贝所需的必要信息。
因此,我们推荐使用 thDataCopy 工具进行跨集群拷贝数据。
thDataCopy 工具是由超算中心自行开发的跨集群数据拷贝工具,可以实现跨集群数据拷贝,使用说明如下:
$ thDataCopy
#==================================================================================
# 天河系统工具栈-跨账户(系统)数据拷贝
#
# 功能:
# 1.跨账户(系统)数据拷贝
# 版本: v5.6
#
# 作者: 高性能计算团队 2023.7.13 liyl@nscc-tj.cn
#
# 使用方法:
# thDataCopy -n/--nosecret <yes/no>(可选,例如:-nyes ,无空格) -s/--sourcefile <源文件(夹)> -t/--targetfile <目标文件夹>
# thDataCopy -h/--help
#
# 参数说明:
# -s/--sourcefile 源文件(夹)及其绝对路径
# -t/--targetfile 目标文件夹及其绝对路径
# -n/--nosecret 设置两个账户免密登录(可选,默认为no)
# -h/--help 帮助信息
#
# [NOTE] -n/--nosecret 设置针对两个账户频繁拷贝情况或减少密码输入
# 远程系统密码请不要包含特殊字符,如“\”“$”等,否则会报错
# 仅需设置一次,无需重复设置
#
# 示例:
# thDataCopy -h
# thDataCopy -nyes -s /thfs1/home/liyl/mytools/README -t /THL8/home/liyl3
# thDataCopy --nosecret=yes -s /thfs1/home/liyl/mytools/README -t /THL8/home/liyl3
# thDataCopy -s /thfs1/home/liyl/mytools/README -t /THL8/home/liyl3
# 将thfs1文件系统liyl账户下的README文件传输到THL8文件系统liyl3账户下的根目录
#==================================================================================
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32