使用代理配置天河系统python环境
# 目的
实现根据自己的需求,在天河系统上自由配置 python环境。不在需要手动下载各种依赖包了。
# 方法
- 加载
proxy
代理工具,用于开通下载权限 - 加载或安装一个
python
环境 - 建议创建一个虚拟环境
- 依据自己的需求安装各种包
# 最简单实践
用户如果会在自己本地安装包,那么在天河系统上,只需要 module add proxy
就可以下载各种包进行安装了。
例如:
module add proxy
module av python # 可以看到多个python环境,选择一个加载
module add python/3.7_anaconda # 例如加载3.7的
pip install numpy --user # 在 ~/.local 下面安装所需的扩展包
python # 执行python, 开启交互
import numpy # 导入numpy, 不报错就成功了
2
3
4
5
6
但是,建议用户根据下面的方法,配置国内源,创建虚拟环境,这样更方便环境的维护,具体方法见下。
# 完整实践
# 配置代理
# 开启下载代理
我们配置了一些常用网站的代理,通过加载代理,可以直接从登陆节点下载相关源,例如python的pip源、conda源等,加载方式为:
module add proxy
# 替换国内源
默认的pip源是国外的,我们编写了自动配置国内源的脚本,使用方法是执行如下脚本,然后选择一个源(建议豆瓣),然后确认即可。
../../software/env/pip.conf/copy-pip.conf.sh
按照提示输入
yes
,然后选择数字1
(豆瓣源),即可配置成功。
# 配置python
# 方法1:加载系统上的python环境
用户可以通过执行 module av python
命令,查看到当前系统环境中已经安装的 python
环境,例如:
module av python
执行后会显示出系统上配置好的python环境,例如:
python/2.7_anaconda python/3.6_anaconda python/3.7_anaconda
python/3.8_anaconda python/3.9_anaconda ....
2
然后选择其中一个版本进行加载,例如:
module add python/3.8_anaconda
请根据执行命令后的实际模块名加载即可,不同集群可能有所不同。
# 方法2:自行安装 anaconda 或 miniconda
用户也可以自行前往 anaconda
官网或 miniconda
官网下载相关包,上传到系统上,加载可执行权限,然后安装,安装时可以选择安装目录,在此不再赘言。
自行安装的python环境,用户就拥有了自主权,可以在python的安装目录下安装各种包。但是,还是建议根据使用需求,创建虚拟环境进行使用。
建议使用miniconda包,https://repo.continuum.io/miniconda/
# 配置virtualenv
常用的虚拟环境例,可以使用例如 virtualenv myenv
创建,或者 conda create -n myenv
创建。此处我们以第一种举例子。
先尝试查找 virtualenv
命令:
which virtualenv
如果找到了,则跳过这一步;如果没找到这个命令,可以尝试自行安装。
pip install virtualenv
如果是加载系统上的python环境,当出现没有安装权限的时候,可以增加一个参数,命令编程:
pip install virtualenv --user
# 创建虚拟环境
有了 virtualenv
命令,我们就可以使用它来创建虚拟环境了,我们先试试哈:
# 前往一个目录, 例如根目录
cd ~
# 创建一个叫 myenv 的环境 ( 名字自己定哈 )
virtualenv myenv
# 激活这个环境
source ./myenv/bin/activate
2
3
4
5
6
这时候你的命令行终端就会变成类似这样子:
(myenv) [zhenggang@ln1%tianhe ~]$
这就说明我们进入了这个虚拟环境。
# 安装扩展包
这时候就可以根据自己的需要,安装各种所需的扩展包了,例如我们安装 numpy
,那么就执行:
pip install numpy
由于我们开启了 proxy
代理,并且把 python 的源替换成国内的了,因此速度会很快。
安装完成后,执行 python
命令,导入 numpy
包,如果不报错就说明安装成功了,例如:
(myenv) [zhenggang@ln1%tianhe ~]$ python
Python 3.7.0 (default, Jun 28 2018, 13:15:42)
[GCC 7.2.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> improt numpy
>>>
2
3
4
5
6
用户可以依据自己的需要,安装各种扩展包了,不再举例了哈。
# 退出环境
退出虚拟环境的命令是:
deactivate