httpimport

Python缺失的特性!

该特性已在Python邮件列表中被提出

通过HTTP/S进行远程、内存中的Python包/模块导入

Python缺少但在其他语言中已经流行的一个特性是远程加载包/模块。

httpimport允许Python包和模块直接在Python解释器的进程内存中通过远程URI进行安装和导入，以及更多功能...

已停止支持Python2。最后支持Python2的版本是1.1.0。

基本用法

从任何HTTP/S位置加载可访问的包/模块

with httpimport.remote_repo('http://my-codes.example.com/python_packages'):
  import package1

从PyPI加载模块：

with httpimport.pypi_repo():
  import distlib # https://pypi.org/project/distlib/

print(distlib.__version__)
# '0.3.6' <-- 当前最新版本 (https://github.com/pypa/distlib/blob/0.3.6/distlib/__init__.py#L9)

直接从GitHub/BitBucket/GitLab仓库加载

with httpimport.github_repo('operatorequals', 'httpimport', ref='master'):
  import httpimport as httpimport_upstream
  # 同样适用于'bitbucket_repo'和'gitlab_repo'

从GitHub Gist加载Python模块（使用此gist）：

url = "https://gist.githubusercontent.com/operatorequals/ee5049677e7bbc97af2941d1d3f04ace/raw/e55fa867d3fb350f70b2897bb415f410027dd7e4"

with httpimport.remote_repo(url):
  import hello

hello.hello()
# Hello world

直接将包/模块加载到变量中

# 从HTTP/S URL
http_module = httpimport.load('package1', 'https://my-codes.example.com/python_packages')
print(http_module)
<module 'package1' from 'https://my-codes.example.com/python_packages/package1/__init__.py'>

# 从PyPI
pypi_module = httpimport.load('distlib', importer_class=httpimport.PyPIImporter)
print(pypi_module)
<module 'distlib' from 'https://files.pythonhosted.org/packages/76/cb/6bbd2b10170ed991cf64e8c8b85e01f2fb38f95d1bc77617569e0b0b26ac/distlib-0.3.6-py2.py3-none-any.whl#distlib/__init__.py'>

从通过HTTP/S提供的压缩包中加载Python包

整个过程中没有文件接触磁盘

# with httpimport.remote_repo('https://example.com/packages.tar'):
# with httpimport.remote_repo('https://example.com/packages.tar.bz2'):
# with httpimport.remote_repo('https://example.com/packages.tar.gz'):
# with httpimport.remote_repo('https://example.com/packages.tar.xz'):
with httpimport.remote_repo('https://example.com/packages.zip'):
  import test_package

通过HTTP/S提供包

任何包都可以使用简单的HTTP/S服务器为httpimport提供服务：

echo 'print("Hello httpimport!")' > module.py
python -m http.server
Serving HTTP on 0.0.0.0 port 8000 ...

>>> import httpimport
>>> with httpimport.remote_repo("http://127.0.0.1:8000"):
...   import module
...
Hello httpimport!

配置文件

在v1.0.0之后，可以使用URL和命名配置文件设置HTTP认证、自定义头部、代理等多种选项！

URL配置文件

URL配置文件是INI格式的配置，用于设置特定URL的选项，如下所示：

[http://127.0.0.1:8000]
allow-plaintext: yes ; 'true'和'1'也会被评估为True

[https://example.com]
proxy-url: https://127.0.0.1:8080 ; 值不需要加引号(')

现在，对http://127.0.0.1:8000的请求将被允许（默认情况下HTTP URL不起作用），而对https://example.com的请求将通过HTTP代理发送。

with httpimport.remote_repo("https://example.com"): # URL匹配URL配置文件
  import module_accessed_through_proxy

命名配置文件

命名配置文件类似于URL配置文件，但不指定URL，需要显式使用：

[github]
headers:
  Authorization: token <Github-Token>

上述配置可以如下使用：

with httpimport.github_repo('operatorequals','httpimport-private-test', profile='github'):
  import secret_module

Github令牌看起来像github_pat_<乱码>，可以在这里生成：https://github.com/settings/tokens/new

PyPI的配置文件

从PyPI导入时可以使用额外的选项，如下面的配置文件所示：

[pypi]

# 用于PyPI项目版本的'requirements.txt'文件位置
requirements-file: requirements-dev.txt

# 内联'requirements.txt'语法附加
requirements:
  distlib==0.3.5
  sampleproject==3.0.0

# 只支持版本固定符号('==')
# 适用于'requirements'和'requirements-file'选项

# 包含'模块': 'PyPI项目'元组的映射
# 例如：'import sample' --> 在'sampleproject' PyPI项目中搜索'sample'模块：
# https://pypi.org/project/sampleproject/
project-names:
  sample: sampleproject

PyPI配置文件可以像所有命名配置文件一样使用：

with httpimport.pypi_repo(profile='pypi'):
  import distlib
  import sample
distlib.__version__
# '0.3.5' <-- 在配置文件'requirements'选项中固定
sample.__url__
# 'https://files.pythonhosted.org/packages/ec/a8/5ec62d18adde798d33a170e7f72930357aa69a60839194c93eb0fb05e59c/sampleproject-3.0.0-py3-none-any.whl#sample/__init__.py' <-- 从'sampleproject'加载

此外，所有其他选项都可以级联到PyPI配置文件中，如HTTPS代理（HTTP代理不起作用，因为PyPI使用HTTPS托管）、headers等。

注意：配置文件中的值不能加引号（'，"）

创建配置文件

可以将配置文件作为INI字符串提供给set_profile函数，并在所有httpimport函数中使用：

httpimport.set_profile("""
[profile1]
proxy-url: https://my-proxy.example.com
headers:
  Authorization: Basic ...
  X-Hello-From: httpimport
  X-Some-Other: HTTP 头部
""")
with httpimport.remote_repo("https://code.example.com", profile='profile1'):
  import module_accessed_through_proxy

高级用法

配置文件是使用Python的configparser模块解析的INI配置字符串。

httpimport的ConfigParser对象是全局变量httpimport.CONFIG，可以自由使用：

import httpimport
httpimport.CONFIG.read('github.ini') # 从文件中读取配置

with httpimport.github_repo('operatorequals','httpimport-private-test', profile='github'):
  import secret_module

默认配置

httpimport模块会自动加载位于$HOME/.httpimport.ini和$HOME/.httpimport/目录下的配置。$HOME/.httpimport/目录下的配置会覆盖$HOME/.httpimport.ini中的配置。

配置选项：

支持的选项

HTTP选项

• zip-password - v1.0.0
• proxy-url - v1.0.0
• headers - v1.0.0
• allow-plaintext - v1.0.0
• ca-verify - v1.3.0
• ca-file - v1.3.0

仅PyPI选项

• project-names - v1.2.0
• requirements - v1.2.0
• requirements-file - v1.2.0

尚未支持（可能会更改）

• allow-compiled

• auth

• auth-type

• tls-cert

• tls-key

• tls-passphrase

调试...

import httpimport
import logging

logging.getLogger('httpimport').setLevel(logging.DEBUG)

注意：存在重大安全隐患！

强烈建议不要使用纯HTTP URL的httpimport

由于HTTP流量可以被所有中间主机读取和修改（与HTTPS不同），远程攻击者可能会修改httpimport消耗的HTTP响应，并在下载的_包/模块_中添加任意_Python_代码。这直接导致在当前用户上下文中执行任意_远程代码_！

换句话说，通过互联网使用纯HTTP可能会危及您的主机而您无法察觉。

警告！使用httpimport时只使用HTTPS URL！

贡献者

• ldsink - RELOAD标志和错误修复
• lavvy - load()函数
• superloach - Python3中弃用imp模块，改用importlib
• yanliakos - 错误修复
• rkbennett - 相对导入修复，代理支持

捐赠

如果我的工作对您有帮助，您可以随时通过互联网给我买杯啤酒或一升汽油，或者如果您亲自遇到我。

在第二种情况下，我们可以讨论Internet Historian或Ordinary Things的任何视频，同时听Lofi Girl播放列表，就像我们这些互联网公民一样。