超算小站 超算小站
首页
  • 注册账号
  • 登录系统
  • 熟悉系统
  • 配置环境
  • 数据管理
  • 作业管理
  • 集群软件环境:

    • 01.编译环境
    • 02.基础库
    • 03.应用软件
    • 04.工具软件
    • 05.常用语言环境
    • 06.使用进阶
  • 入门课程

    • 01.超算历史
    • 02.VPN登录
    • 03.Mobaxterm工具
    • 04.Linux基本命令
    • 05.Module环境变量管理工具
    • 06.Vim文本编辑器使用
    • 07.Slurm作业管理系统
HPC&AI
  • 01.登录问题
  • 02.编译问题
  • 03.作业问题
  • 04.存储和数据问题
  • 05.GPU问题
资料下载
归档
关于我
🚀试用
首页
  • 注册账号
  • 登录系统
  • 熟悉系统
  • 配置环境
  • 数据管理
  • 作业管理
  • 集群软件环境:

    • 01.编译环境
    • 02.基础库
    • 03.应用软件
    • 04.工具软件
    • 05.常用语言环境
    • 06.使用进阶
  • 入门课程

    • 01.超算历史
    • 02.VPN登录
    • 03.Mobaxterm工具
    • 04.Linux基本命令
    • 05.Module环境变量管理工具
    • 06.Vim文本编辑器使用
    • 07.Slurm作业管理系统
HPC&AI
  • 01.登录问题
  • 02.编译问题
  • 03.作业问题
  • 04.存储和数据问题
  • 05.GPU问题
资料下载
归档
关于我
🚀试用
  • 编译环境

  • 基础库

  • 应用软件

  • 工具软件

  • 常用语言环境

    • Co-Array Fortran 使用说明
    • Anaconda 安装教程
    • python扩展包的安装方法(pip)
    • python扩展包的安装方法
    • python扩展包的安装方法 --- conda本地源使用说明
    • 使用代理配置天河系统python环境
      • 目的
      • 方法
      • 最简单实践
      • 完整实践
        • 配置代理
        • 配置python
        • 配置virtualenv
        • 创建虚拟环境
        • 安装扩展包
        • 退出环境
    • R编译安装教程
    • R语言包的安装教程
  • 使用进阶

  • 软件中心
  • 常用语言环境
mrzhenggang
2021-06-27
目录

使用代理配置天河系统python环境

# 目的

实现根据自己的需求,在天河系统上自由配置 python环境。不在需要手动下载各种依赖包了。

# 方法

  1. 加载 proxy 代理工具,用于开通下载权限
  2. 加载或安装一个 python 环境
  3. 建议创建一个虚拟环境
  4. 依据自己的需求安装各种包

# 最简单实践

用户如果会在自己本地安装包,那么在天河系统上,只需要 module add proxy 就可以下载各种包进行安装了。

例如:

module add proxy
module av python  # 可以看到多个python环境,选择一个加载
module add python/3.7_anaconda # 例如加载3.7的
pip install numpy --user  # 在 ~/.local 下面安装所需的扩展包
python # 执行python, 开启交互
import numpy # 导入numpy, 不报错就成功了
1
2
3
4
5
6

但是,建议用户根据下面的方法,配置国内源,创建虚拟环境,这样更方便环境的维护,具体方法见下。

# 完整实践

# 配置代理

# 开启下载代理

我们配置了一些常用网站的代理,通过加载代理,可以直接从登陆节点下载相关源,例如python的pip源、conda源等,加载方式为:

module add proxy 
1

# 替换国内源

默认的pip源是国外的,我们编写了自动配置国内源的脚本,使用方法是执行如下脚本,然后选择一个源(建议豆瓣),然后确认即可。

../../software/env/pip.conf/copy-pip.conf.sh
1

按照提示输入yes,然后选择数字 1 (豆瓣源),即可配置成功。

# 配置python

# 方法1:加载系统上的python环境

用户可以通过执行 module av python 命令,查看到当前系统环境中已经安装的 python 环境,例如:

module av python
1

执行后会显示出系统上配置好的python环境,例如:

python/2.7_anaconda		python/3.6_anaconda		python/3.7_anaconda		
python/3.8_anaconda		python/3.9_anaconda     ....
1
2

然后选择其中一个版本进行加载,例如:

module add python/3.8_anaconda
1

请根据执行命令后的实际模块名加载即可,不同集群可能有所不同。

# 方法2:自行安装 anaconda 或 miniconda

用户也可以自行前往 anaconda 官网或 miniconda 官网下载相关包,上传到系统上,加载可执行权限,然后安装,安装时可以选择安装目录,在此不再赘言。

自行安装的python环境,用户就拥有了自主权,可以在python的安装目录下安装各种包。但是,还是建议根据使用需求,创建虚拟环境进行使用。

建议使用miniconda包,https://repo.continuum.io/miniconda/

# 配置virtualenv

常用的虚拟环境例,可以使用例如 virtualenv myenv 创建,或者 conda create -n myenv 创建。此处我们以第一种举例子。

先尝试查找 virtualenv命令:

which virtualenv
1

如果找到了,则跳过这一步;如果没找到这个命令,可以尝试自行安装。

pip install virtualenv
1

如果是加载系统上的python环境,当出现没有安装权限的时候,可以增加一个参数,命令编程: pip install virtualenv --user

# 创建虚拟环境

有了 virtualenv 命令,我们就可以使用它来创建虚拟环境了,我们先试试哈:

# 前往一个目录, 例如根目录
cd ~
# 创建一个叫 myenv 的环境 ( 名字自己定哈 )
virtualenv myenv
# 激活这个环境
source ./myenv/bin/activate
1
2
3
4
5
6

这时候你的命令行终端就会变成类似这样子:

(myenv) [zhenggang@ln1%tianhe ~]$
1

这就说明我们进入了这个虚拟环境。

# 安装扩展包

这时候就可以根据自己的需要,安装各种所需的扩展包了,例如我们安装 numpy,那么就执行:

pip install numpy
1

由于我们开启了 proxy 代理,并且把 python 的源替换成国内的了,因此速度会很快。

安装完成后,执行 python 命令,导入 numpy 包,如果不报错就说明安装成功了,例如:

(myenv) [zhenggang@ln1%tianhe ~]$ python
Python 3.7.0 (default, Jun 28 2018, 13:15:42)
[GCC 7.2.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> improt numpy
>>> 
1
2
3
4
5
6

用户可以依据自己的需要,安装各种扩展包了,不再举例了哈。

# 退出环境

退出虚拟环境的命令是:

deactivate
1
python扩展包的安装方法 --- conda本地源使用说明
R编译安装教程

← python扩展包的安装方法 --- conda本地源使用说明 R编译安装教程→

Theme by Vdoing | Copyright © 2015-2024 Zheng Gang | MIT License | 津ICP备2021008634号
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式
×