天河系统数据拷贝系统用户使用流程

使用步骤

1. 用户通过快递方式将硬盘寄送给对接的支持专员
2. 支持专员检查硬件安全后，将硬盘插入硬盘柜
3. 系统管理将硬盘挂载到系统某数据拷贝节点，并返回一个挂载目录
4. 支持专员将挂载目录提供给用户进行拷贝
5. 用户拷贝完成后告知支持专员
6. 支持专员联系系统管理员卸载硬盘，然后从硬盘柜取出硬盘寄回给用户

拷贝方法

登陆到数据拷贝节点

用户登录到支持专员提供的数据拷贝节点，确认挂载路径可用。

• 对于 TH-1A 系统，我们常用的登陆节点为 ln3 (ip 为 192.168.2.5)。先登录 ln3 登陆节点，然后使用 ssh ns1 命令，跳转到数据拷贝节点 ns1。

• 对于 TH-HPC1/TH-HPC2 系统，我们常用的登陆节点为 th-hpc1-ln0 (ip 为 192.168.2.101) 和 th-hpc2-ln0 (ip 为 192.168.2.103)。先登录到对应的登陆节点，然后使用 ssh ns3 命令，跳转到数据拷贝节点 ns3 。

以下数据拷贝方法相同，以 TH-1A 系统为例。

检查拷贝路径

用户执行 df -h 可看到挂载路径。该路径只有用户有权限读写，用户可以直接用 cd 命令进入该路径查看自己硬盘内的数据文件，然后用 cp 或 rsync 命令进行数据的拷贝。

如下，可以看到硬盘挂载路径为 /mnt/zhenggang 。

# 登陆ln3, 切换到数据拷贝节点
[zhenggang@ln3%tianhe ~]$ ssh ns1

# 查看挂载目录
[zhenggang@ns1%tianhe ~]$ df -h
Filesystem                      Size  Used Avail Use% Mounted on
/dev/sda2                       487G  375G   88G  82% /
tmpfs                            16G   72K   16G   1% /dev/shm
mds0-gn0@tcp1:/HOME             430T  345T   64T  85% /vol-th
mds1-gn0@tcp1:/WORK             419T  321T   78T  81% /WORK
mds2-gn0@tcp1:/THFS             1.4P  1.2P  165T  88% /vol6
mds3-gn0@tcp1:/THL4             688T  583T   71T  90% /THL4
192.103.5.21:/TH_backup         1.3P  1.1P  170T  87% /TH_backup
192.168.2.21:/mnt/zhenggang     2.0T  1.0T  1.0T  50% /mnt/zhenggang

# 尝试进入硬盘挂载目录
[zhenggang@ns1%tianhe ~]$ cd /mnt/zhenggang
[zhenggang@ns1%tianhe ~]$ ls

我们可以看看这个盘是否正常挂载，以及能否快到硬盘的文件。

进入用户共享存储目录

[zhenggang@ns1%tianhe ~]$ cd ~

因为如果我们使用下面介绍的 rsync 等命令并将log文件定向到硬盘，对硬盘压力比较高，所以建议从账号跟目录进行操作。

拷贝方法1：使用cp命令进行拷贝（少量数据推荐）

[zhenggang@ns1%tianhe ~]$ cp  $源路径  $目标路径

该命令非常常用，不在赘述。

拷贝方法2：使用rsync命令进行拷贝（强烈推荐）

同步命令

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  $源路径  $目标路径  >log 2>log.err  &

说明：

• nohup ... & : 提交到后台，这样能够提供可靠性，避免由于前端网页断开导致任务终止；
• rsync -avp : 同步命令+同步参数，无需更改
• $源路径 $目标路径 ： 从哪里同步到哪里
• >log ： 将标准输出定向到名为log的文件，方便查看进度
• 2>log.err : 将标准错误输出定向到名为log.err的文件，方便查看报错

举例1：从我的根目录同步文件 1.txt到硬盘

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  ~/1.txt  /mnt/zhenggang/  >log 2>log.err  &

举例2：从我的根目录同步文件夹 data1 到硬盘

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  ~/data1  /mnt/zhenggang/  >log 2>log.err  &

举例3：从我的挂载硬盘同步文件 2.txt 到我的用户跟目录~/tmp

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  /mnt/zhenggang/2.txt  ~/tmp/  >log 2>log.err  &

举例4：从我的挂载硬盘同步文件夹 data2 到我的用户跟目录~/tmp

[zhenggang@ns1%tianhe ~]$ nohup  rsync  -avP  /mnt/zhenggang/data2  ~/tmp/  >log 2>log.err  &

需要注意的是：如果是文件夹同步，请注意"/"的使用，可以源目录最后不加"/" 目标目录最后加"/"

同步进度

通过查看 log 文件，可以看到数据拷贝的情况。

# 查看当前进度
[zhenggang@ns1%tianhe ~]$ tail -f log

同步报错

通过查看 log.err 文件，可以看到数据拷贝的报错（如无报错，此文件为空）。

# 查看报错
[zhenggang@ns1%tianhe ~]$ tail -f log.err

如果log.err里有报错信息，熟悉linux的用户应该能自己处理，不熟悉的可以反馈给技术支持专员

取消同步

# 1. 获得进程号
[zhenggang@ns1%tianhe ~]$ ps aux | grep 自己用户名 | grep rsync 

# 2. kill掉任务
[zhenggang@ns1%tianhe ~]$ kill -9 $进程号