超算小站 超算小站
首页
  • 注册账号
  • 登录系统
  • 熟悉系统
  • 配置环境
  • 数据管理
  • 作业管理
  • 集群软件环境:

    • 01.编译环境
    • 02.基础库
    • 03.应用软件
    • 04.工具软件
    • 05.常用语言环境
    • 06.使用进阶
  • 入门课程

    • 01.超算历史
    • 02.VPN登录
    • 03.Mobaxterm工具
    • 04.Linux基本命令
    • 05.Module环境变量管理工具
    • 06.Vim文本编辑器使用
    • 07.Slurm作业管理系统
HPC&AI
  • 01.登录问题
  • 02.编译问题
  • 03.作业问题
  • 04.存储和数据问题
  • 05.GPU问题
资料下载
归档
关于我
🚀试用
首页
  • 注册账号
  • 登录系统
  • 熟悉系统
  • 配置环境
  • 数据管理
  • 作业管理
  • 集群软件环境:

    • 01.编译环境
    • 02.基础库
    • 03.应用软件
    • 04.工具软件
    • 05.常用语言环境
    • 06.使用进阶
  • 入门课程

    • 01.超算历史
    • 02.VPN登录
    • 03.Mobaxterm工具
    • 04.Linux基本命令
    • 05.Module环境变量管理工具
    • 06.Vim文本编辑器使用
    • 07.Slurm作业管理系统
HPC&AI
  • 01.登录问题
  • 02.编译问题
  • 03.作业问题
  • 04.存储和数据问题
  • 05.GPU问题
资料下载
归档
关于我
🚀试用
  • 注册账号

  • 登录系统

  • 熟悉系统

  • 配置环境

  • 数据管理

    • 上传下载数据
    • 数据传输工具

    • 线下拷贝数据
    • 跨集群拷贝数据
      • 使用 scp / rsync 命令进行跨集群拷贝数据
      • 使用 thDataCopy 工具进行跨集群拷贝数据
  • 作业管理

  • 技术支持
  • 用户手册
  • 数据管理
zhenggang
2024-05-30
目录

跨集群拷贝数据

部分超算中心用户拥有多个超算系统账号,有时候需要进行集群的数据拷贝

# 使用 scp / rsync 命令进行跨集群拷贝数据

1、使用系统命令进行拷贝,关键在于知道目标集群的 hostname 或者 IP 地址。因为我们通常会知道目标集群的用户名,以及源集群的目录路径,而目标集群的 IP 地址则需要根据超算中心的进行提供。

2、获得了目标集群的 hostname 或者 IP 地址后,我们可以使用 scp / rsync 命令进行拷贝了。

举例如下:

1、登录 HPC1 集群

ssh zhenggang@192.168.2.101
1

2、将源集群目录 /data/zhenggang/test 目录下的文件拷贝到目标集群 HPC2 集群的 /data/zhenggang/test 目录下

rsync -avzP /data/zhenggang/test zhenggang@192.168.2.102:/data/zhenggang/test
1

警告

示例中的目标集群 ip 地址为 192.168.2.102,请根据实际情况进行替换。

# 使用 thDataCopy 工具进行跨集群拷贝数据

由于超算中心集群众多,并且数据拷贝节点可能和登录节点名称不完全一致,导致用户进行跨集群拷贝时无法完全记住拷贝所需的必要信息。

因此,我们推荐使用 thDataCopy 工具进行跨集群拷贝数据。

thDataCopy 工具是由超算中心自行开发的跨集群数据拷贝工具,可以实现跨集群数据拷贝,使用说明如下:

$ thDataCopy

#==================================================================================
# 天河系统工具栈-跨账户(系统)数据拷贝
#
# 功能:
#       1.跨账户(系统)数据拷贝
# 版本: v5.6
#
# 作者: 高性能计算团队 2023.7.13 liyl@nscc-tj.cn
#
# 使用方法:
#       thDataCopy -n/--nosecret <yes/no>(可选,例如:-nyes ,无空格) -s/--sourcefile <源文件(夹)> -t/--targetfile <目标文件夹>
#       thDataCopy -h/--help
#
# 参数说明:
#       -s/--sourcefile 源文件(夹)及其绝对路径
#       -t/--targetfile 目标文件夹及其绝对路径
#       -n/--nosecret       设置两个账户免密登录(可选,默认为no)
#       -h/--help       帮助信息
#
#       [NOTE] -n/--nosecret 设置针对两个账户频繁拷贝情况或减少密码输入
#                            远程系统密码请不要包含特殊字符,如“\”“$”等,否则会报错
#                            仅需设置一次,无需重复设置
#
# 示例:
#       thDataCopy -h
#       thDataCopy -nyes -s /thfs1/home/liyl/mytools/README -t /THL8/home/liyl3
#       thDataCopy --nosecret=yes -s /thfs1/home/liyl/mytools/README -t /THL8/home/liyl3
#       thDataCopy -s /thfs1/home/liyl/mytools/README -t /THL8/home/liyl3
#       将thfs1文件系统liyl账户下的README文件传输到THL8文件系统liyl3账户下的根目录
#==================================================================================
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
线下拷贝数据
简介

← 线下拷贝数据 简介→

Theme by Vdoing | Copyright © 2015-2024 Zheng Gang | MIT License | 津ICP备2021008634号
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式
×