为什么你需要升级 pip ?

技术

更新软件版本可以修复bug,增加新功能和提升性能。例如,NumPy 1.20 添加了类型注释,并在可能的情况下通过使用SIMD来提高性能。如果您要安装NumPy,则可能要安装最新版本。

相反,如果您使用的是旧版本的pip,则安装最新版本的Python软件包可能会失败,或者以较慢,更复杂的方式进行安装。

为什么?这是关于glibc版本控制以及pip如何安装软件包的一系列问题。

让我们看看问题到底是什么,如何解决,最后是什么原因造成的。

旧版本pip的问题

让我们从Ubuntu 18.04 Docker镜像开始着手。该版本的Ubuntu在2018年4月发布,安装有Python 3.6和pip 9 版本。


          
[itamarst@blake dev]$ docker run -it ubuntu:18.04  
root@1a43d55f0524:/# apt-get update  
...  
root@1a43d55f0524:/# apt-get install --no-install-recommends python3 python3-pip  
...  
root@1a43d55f0524:/# pip3 --version  
pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.6)  

      

目前为止,事情进展顺利。

失败原因#1:从源代码编译

接下来,让我们安装加密程序包,它是PyPI上下载次数最多的Python程序包之一,每月有数百万次下载(通常是间接依赖)。


          
root@1a43d55f0524:/# pip3 install cryptography  
Collecting cryptography  
  Downloading https://files.pythonhosted.org/packages/fa/2d/2154d8cb773064570f48ec0b60258a4522490fcb115a6c7c9423482ca993/cryptography-3.4.6.tar.gz (546kB)  
    100% |################################| 552kB 1.4MB/s   
    Complete output from command python setup.py egg_info:  
    Traceback (most recent call last):  
      File "<string>", line 1, in <module>  
    ModuleNotFoundError: No module named 'setuptools'  
      
    ----------------------------------------  
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-6jesygn0/cryptography/  

      

程序进展不是很顺利。

这个错误意味着pip要我们编译软件包;如果我们安装了 setuptools ,编译器和Python开发工具链,这将起作用,但非常慢。

当然,这不只是一个 packagePyArrow 也会发生相同的问题,例如:


          
root@1a43d55f0524:/# pip3 install pyarrow  
Collecting pyarrow  
  Downloading https://files.pythonhosted.org/packages/62/d3/a482d8a4039bf931ed6388308f0cc0541d0cab46f0bbff7c897a74f1c576/pyarrow-3.0.0.tar.gz (682kB)  
    100% |################################| 686kB 1.1MB/s   
    Complete output from command python setup.py egg_info:  
    Traceback (most recent call last):  
      File "<string>", line 1, in <module>  
    ModuleNotFoundError: No module named 'setuptools'  
      
    ----------------------------------------  
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-heq6zwd7/pyarrow/  

      

为什么pip试图从头开始编译这些软件包?为什么我们没有获得二进制的、预编译的软件包?

在考虑第二种故障模式之后,我们将稍等一会儿找到答案。

失败原因#2:旧版本

接下来,安装 Fil ,Python内存分析器 https://pythonspeed.com/products/filmemoryprofiler/


          
root@1a43d55f0524:/# pip3 install filprofiler  
Collecting filprofiler  
  Downloading https://files.pythonhosted.org/packages/e3/a2/843e7b5f1aba27effb0146c7e564e2592bfc9344a8c8ef0d55245bd47508/filprofiler-0.7.2-cp36-cp36m-manylinux1_x86_64.whl (565kB)  
    100% |################################| 573kB 1.8MB/s   
Installing collected packages: filprofiler  
Successfully installed filprofiler-0.7.2  

      

安装成功!除了访问 FilPyPI 页面( https://pypi.org/project/filprofiler/ )外,您都会看到``0.7.2`的版本很旧。在撰写本文时,Fil的最新版本是0.14.1。

为什么要安装旧版本?

pipmanylinux轮子

NumPyCryptography 的许多软件包都要求在C / C ++ / Cython / Rust / etc中编译一些代码。为了节省您从头开始编译所有内容的需要,维护人员可以将代码的编译版本(“ wheels”)上载到Python Package Index。如果pip碰到适用于您的特定版本的Python和操作系统版本的轮子,它将下载它而不是源代码。

对于Linux,有多种轮子变体: manylinux1manylinux2010manylinux2014 。您可以在下载的轮子的文件名中看到正在使用哪个变体。

问题是:旧版本的pip不支持 manylinux2010 ,当然也不支持 manylinux2014 。Ubuntu 18.04中的pip太旧了,因此它只了解 manylinux1 。这解释了我们看到的两个问题:

1、如果您查看PyPI上 PyArrow 3.0.0 的可用文件列表( https://pypi.org/project/pyarrow/3.0.0/#files ),您会看到只有很多 linux2010linux2014 的轮子。因此,pip会回退到需要编译的源代码包。

2、如果检查 Fil 的PyPI文件( https://pypi.org/project/filprofiler/0.14.1/#files ),则会看到有 manylinux2010 轮子,而根本没有源程序包;因为从源代码构建有点棘手,所以我只分发编译后的程序包。这意味着pip会继续使用该软件包的较早版本,直到找到具有 manylinux1 轮子的软件包为止。

解决方案:升级pip

为了获得最新最好的软件包,而无需编译,您需要升级到最新版本的pip。如何执行取决于您的安装环境。

通常,您可以执行 pip install --upgrade pip 来每天进行一次升级。

但是,在某些环境中可能会出现问题。例如,如果您看一下我们如何在Ubuntu 18.04中设置Python,那么我们是通过系统软件包安装pip的。

问题在于,覆盖系统软件包中的随机文件是一个坏主意。除非您在环境中运行,否则在必要时将从头开始重建(例如Docker映像),那么永远不要以root或sudo的身份运行 pip install 来修改系统软件包。

相反,在Ubuntu 18.04上,您可以通过下载获得pip:


        
            

          $
           curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
            

          $
           python3 get-pip.py
            

        
      

或者您可以创建一个virtualenv虚拟环境,然后通过执行 pip install --upgrade pip 升级其pip:


          
root@1a43d55f0524:/# python3 -m venv myvenv  
root@1a43d55f0524:/# . myvenv/bin/activate  
(myvenv) root@1a43d55f0524:/# pip --version  
pip 9.0.1 from /myvenv/lib/python3.6/site-packages (python 3.6)  
(myvenv) root@1a43d55f0524:/# pip install --upgrade pip  
Collecting pip  
  Using cached https://files.pythonhosted.org/packages/fe/ef/60d7ba03b5c442309ef42e7d69959f73aacccd0d86008362a681c4698e83/pip-21.0.1-py3-none-any.whl  
Installing collected packages: pip  
  Found existing installation: pip 9.0.1  
    Uninstalling pip-9.0.1:  
      Successfully uninstalled pip-9.0.1  
Successfully installed pip-21.0.1  

      

现在,我们有了一个更新后的 pip ,我们可以轻松地安装最新版本的 cryptographyfilprofiler


          
(myvenv) root@1a43d55f0524:/# pip install cryptography filprofiler  
Collecting cryptography  
  Downloading cryptography-3.4.6-cp36-abi3-manylinux2014_x86_64.whl (3.2 MB)  
     |################################| 3.2 MB 4.5 MB/s   
...  
Installing collected packages: pycparser, threadpoolctl, cffi, filprofiler, cryptography  
Successfully installed cffi-1.14.5 cryptography-3.4.6 filprofiler-0.14.1 pycparser-2.20 threadpoolctl-2.1.0  

      

注意,我们下载了包含 cryptographymanylinux2014 软件包。

为什么会有这么多Linux版本存在?

Linux上已编译的Python扩展链接到标准C语言库,特别的是它们链接到GNU Libc(又名 glibc )。您可以使用 ldd 实用工具查看可执行文件或共享库链接到哪些库:


          
root@1a43d55f0524:/# cd myenv/lib/python3.6/site-packages  
root@1a43d55f0524:/# ldd cryptography/hazmat/bindings/_openssl.abi3.so   
        linux-vdso.so.1 (0x00007ffdbea7b000)  
        libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fba7b1bf000)  
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fba7adce000)  
        /lib64/ld-linux-x86-64.so.2 (0x00007fba7b7b0000)  

      

注意,编译后的Python扩展尤其依赖于 /lib/x86\_64-linux-gnu/libc.so.6 ,即 glibc

如果您用 glibc 的较新版本编译代码,它可能不需要在旧版本提供新的API或符号。这意味着你的代码不会在旧的Linux发行版上运行。

有许多对这个问题的不同解决方案。 Conda 通过针对旧版本的 glibc 头文件来编译所有的包;基本上在广泛的Linux发行版它有一个自定义编译安装设计工作。

PyPI二进制轮子通过编译旧版本的Linux,以及它的相应旧版本的 glibc 来解决这个问题。因为它是针对旧版本编译的,它会与任何新版本兼容工作。

  • manylinux1 包建在CentOS 5。
  • manylinux2010 包建在CentOS 6。
  • manylinux2014 软件包都建立在CentOS 7上。

每个新版本都需要对应的新发布的pip。你可以学到更多的 PEP-571PEP-599

升级您的pip!

无论您是建立一个开发环境或写你的 Dockerfile ,请确保升级pip。否则,你就会有一个更难的时间安装软件包。

更多阅读

2020 年最佳流行 Python 库 Top 10

2020 Python中文社区热门文章 Top 10

5分钟快速掌握 Python 定时任务框架

特别推荐

picture.image

picture.image

点击下方阅读原文加入 社区会员

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
云原生环境下的日志采集存储分析实践
云原生场景下,日志数据的规模和种类剧增,日志采集、加工、分析的多样性也大大增加。面对这些挑战,火山引擎基于超大规模下的 Kubernetes 日志实践孵化出了一套完整的日志采集、加工、查询、分析、消费的平台。本次主要分享了火山引擎云原生日志平台的相关实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论