幕雪

pytorch下载太慢探究下载缓慢的成因与高效解决方案：环境、网络、镜像与工具全面解析

PyTorch下载太慢：深入剖析常见问题与高效对策

在进行深度学习开发时，PyTorch作为一款广受欢迎的开源机器学习库，其强大的功能和灵活的设计使其成为许多开发者的首选。然而，许多用户在尝试下载或更新PyTorch及其相关组件（如torchvision、torchaudio、torchextensions等）时，常常会遇到下载速度奇慢甚至中断的问题。这不仅耗费宝贵的时间，更会极大地影响开发效率和体验。本文将详细探讨导致PyTorch下载缓慢的各种原因，并提供一系列行之有效、具体可操作的解决方案，帮助您摆脱下载困境。

为什么PyTorch下载会如此缓慢？深入剖析潜在原因

PyTorch的下载速度受多种因素影响，理解这些潜在原因，是解决问题的第一步。

网络连接的瓶颈

  • 运营商限制与地理距离： 您所使用的网络运营商可能对某些国际流量或特定下载源的带宽进行了限制。此外，PyTorch的官方下载源（如PyPI或Anaconda的默认源）服务器可能位于国外，与您的物理距离较远，数据传输路径长，延迟高，自然导致下载速度慢。
  • 局域网内部拥堵： 如果您在公司、学校或家庭局域网内下载，其他设备（如观看视频、玩在线游戏、进行大文件传输）大量占用带宽，也会导致您的PyTorch下载被“挤占”，速度下降。
  • 防火墙与代理设置： 公司或学校的网络环境通常会有严格的防火墙规则或强制使用代理服务器。如果这些设置不正确或存在限制，可能会阻碍或减缓与PyTorch下载服务器的连接。
  • DNS解析问题： 域名系统（DNS）解析失败或解析速度慢，也可能导致无法正确找到下载服务器的IP地址，或连接到非最优的服务器。

官方源服务器压力与地域限制

  • PyPI/Anaconda的负载： 在某些高峰期，PyTorch的官方分发平台（如Python Package Index – PyPI，或Anaconda的默认频道）可能面临巨大的访问压力，导致服务器响应缓慢，从而影响全球用户的下载速度。
  • 全球CDN部署不均： 尽管PyTorch的发布方会使用内容分发网络（CDN）来加速全球访问，但CDN节点在不同区域的覆盖和性能可能存在差异，某些地域的用户可能无法连接到最近或最快的CDN节点。

安装包的庞大体积

  • CPU版本与GPU版本： PyTorch本身是一个大型库。特别是包含CUDA支持的GPU版本，其文件体积远大于纯CPU版本。例如，一个带有CUDA 11.8的PyTorch包可能达到2GB甚至更大，再加上torchvision、torchaudio等额外组件，总下载量可能轻松超过3-4GB。
  • 特定CUDA版本依赖： 针对不同CUDA版本的PyTorch安装包，其内部包含的CUDA运行时库也不同，这增加了包的复杂性和体积。

配置不当与环境问题

  • 错误的或缺失的源配置： 如果您在使用pip或conda安装时，没有正确指定国内的镜像源，或指定了不可用/过时的源，则会尝试从默认的官方源下载，导致速度缓慢。
  • 代理设置缺失或不匹配： 在需要通过代理才能访问外部网络的生产环境中，如果您的pip或conda没有正确配置代理，下载请求将无法正常路由，或被防火墙拦截。
  • 旧的缓存文件： 有时，下载工具的旧缓存可能导致不必要的重试或错误，影响下载效率。

慢速下载的典型表现与影响

当PyTorch下载出现问题时，通常会有以下明显表现：

  • 下载进度条停滞不前： pip install torch或conda install pytorch命令执行后，进度条长时间卡在0%或某个很小的百分比，传输速度显示为0KB/s或个位数KB/s。
  • 极低的传输速率： 即使有进度，实际的下载速度也远低于您的网络带宽上限，例如，您的百兆宽带却只能以几十KB/s的速度下载。
  • 连接超时与错误报告： 下载过程中频繁出现“Connection timed out”（连接超时）、“Read timed out”（读取超时）或“Max retries exceeded with url”（URL最大重试次数超限）等错误信息，导致下载中断。
  • 安装过程冗长甚至失败： 由于下载耗时过长或反复中断，整个PyTorch的安装过程变得异常漫长，甚至最终以失败告终，需要反复尝试。

针对PyTorch下载缓慢的实用解决方案

面对PyTorch下载缓慢的问题，有多种策略可以尝试，以下是最常用且有效的方法：

优化您的网络环境

  1. 检查当前网络速度： 使用在线测速工具（如Speedtest.net）检查您的实际网络带宽，确保网络本身没有问题。
  2. 更换网络连接： 如果可能，尝试切换到其他网络，例如从公司的有线网络切换到无线网络，或者使用手机热点进行尝试。有时，更换网络提供商也能解决特定路由问题。
  3. 关闭占用带宽的应用： 在下载PyTorch期间，暂停其他高带宽消耗的活动，如在线视频、大文件传输、云同步等。
  4. 尝试使用VPN： 对于某些国际网络访问受限的地区，使用高质量的VPN服务可以有效地改变网络路由，绕过地理限制，从而提升下载速度。

使用国内高速镜像源（强烈推荐方案）

对于中国大陆的用户，由于网络防火墙和国际出口带宽的限制，直接访问国外源往往速度不佳。使用国内的PyTorch镜像源是最直接、最有效的解决方案。

Conda用户（Anaconda / Miniconda）

Conda用户可以通过添加国内的镜像频道来加速下载。以下是一些常用的国内镜像源：

  • 清华大学开源软件镜像站 (TUNA)：

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes

    注意： 清华镜像站可能会根据政策进行调整，请访问其官方网站获取最新配置。

  • 中国科学技术大学开源软件镜像站 (USTC)：

    conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
    conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
    conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes

  • 阿里云镜像源：

    conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
    conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/
    conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/conda-forge/
    conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes

  • 华为云镜像源：

    conda config --add channels https://repo.huaweicloud.com/repository/anaconda/pkgs/main/
    conda config --add channels https://repo.huaweicloud.com/repository/anaconda/pkgs/free/
    conda config --add channels https://repo.huaweicloud.com/repository/anaconda/cloud/conda-forge/
    conda config --add channels https://repo.huaweicloud.com/repository/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes

在添加完通道后，您可以运行conda clean -all清除旧的缓存，然后尝试重新安装PyTorch：
例如，安装带有CUDA 12.1的PyTorch：
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

Pip用户

Pip用户可以通过在安装命令中指定临时镜像源，或者通过配置pip的全局设置来使用国内镜像。

  • 临时指定镜像源：
    在执行pip install命令时，使用-i参数指定镜像源。

    • 豆瓣源： pip install torch torchvision torchaudio -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com
    • 阿里云源： pip install torch torchvision torchaudio -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
    • 清华大学源： pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.tuna.tsinghua.edu.cn
    • 华为云源： pip install torch torchvision torchaudio -i https://repo.huaweicloud.com/repository/pypi/simple/ --trusted-host repo.huaweicloud.com

    注意： --trusted-host参数是为了避免因镜像源使用HTTP而非HTTPS而产生的SSL警告和错误。

  • 永久配置Pip镜像源：
    您可以通过修改或创建pip配置文件来永久设置默认的镜像源。

    • 在Linux/macOS上，配置文件通常在~/.pip/pip.conf。
    • 在Windows上，配置文件通常在%APPDATA%\pip\pip.ini。

    文件内容示例（以清华源为例）：

    [global]
    index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
    [install]
    trusted-host = pypi.tuna.tsinghua.edu.cn

重要提示： Pip安装PyTorch时，请务必参考PyTorch官方网站的安装说明。官方网站会根据您的操作系统、CUDA版本、Python版本等生成精确的安装命令，确保您能获取到正确的PyTorch轮子文件（.whl）。例如，对于Linux+Cuda 12.1：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
若配合国内镜像，则需要确保国内镜像同步了相应的CUDA版本轮子。如果国内镜像没有对应的CUDA版本，仍然建议使用PyTorch官方提供的--index-url。

配置完成后，可以运行pip cache purge清除旧的缓存。

配置代理服务器

如果您所在的网络环境强制使用代理，或者您需要通过代理访问境外资源，则需要为pip和conda配置代理。

  • 设置环境变量：
    在命令行中设置http_proxy和https_proxy环境变量。

    • Linux/macOS:
      export http_proxy="http://your_proxy_address:port"
      export https_proxy="http://your_proxy_address:port"
      （如果代理需要认证：export http_proxy="http://username:password@your_proxy_address:port"）
    • Windows (CMD):
      set http_proxy="http://your_proxy_address:port"
      set https_proxy="http://your_proxy_address:port"
    • Windows (PowerShell):
      $env:http_proxy="http://your_proxy_address:port"
      $env:https_proxy="http://your_proxy_address:port"

    这些环境变量会在当前会话中生效，关闭终端后失效。如果需要永久生效，请添加到系统或用户级的配置文件中。

  • Pip命令参数：
    在pip install命令中直接指定代理。

    pip install torch --proxy http://your_proxy_address:port

  • Conda配置代理：
    编辑Conda的配置文件.condarc，添加代理设置。

    proxy_servers:
    http: http://your_proxy_address:port
    https: http://your_proxy_address:port

离线下载与本地安装

如果上述方法依然无效，或者您的开发环境是完全离线的，可以考虑手动下载PyTorch的轮子文件（.whl）或Anaconda的包文件（.tar.bz2）到本地，然后进行安装。

  1. 访问PyTorch官方网站： 前往https://pytorch.org/get-started/locally/，选择您的操作系统、包管理器、CUDA版本和Python版本。网站会生成一个安装命令，但更重要的是，它下方会提供对应的“Pip”或“Conda”安装说明，其中通常会包含直接下载轮子文件的链接。
  2. 手动下载轮子文件： 根据官方提供的下载链接（通常是类似https://download.pytorch.org/whl/...的URL），使用下载工具（如浏览器自带下载、IDM、FDM等）下载对应的.whl文件。
  3. 本地安装： 下载完成后，打开命令行，导航到.whl文件所在的目录，然后使用pip进行安装：
    pip install your_downloaded_torch_file.whl torchvision_file.whl torchaudio_file.whl
    注意： PyTorch及其依赖（如torchvision、torchaudio）通常需要分别下载对应的.whl文件。确保下载的版本兼容。

检查系统与环境

  • 磁盘空间： 确保您的安装目标盘有足够的可用空间。PyTorch及其依赖完全安装后，可能会占用数GB的磁盘空间。磁盘空间不足会导致下载中断或安装失败。
  • Python虚拟环境： 强烈建议在独立的Python虚拟环境（如venv或conda env）中安装PyTorch，这可以避免包冲突，保持环境清洁。

特定安装命令的调整

在使用pip安装时，可以尝试添加--no-cache-dir参数，这会阻止pip使用或创建缓存目录，有时可以解决一些缓存导致的问题，但每次下载都会重新下载文件。

pip install --no-cache-dir torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple/

PyTorch安装包的典型大小与耗时预估

了解PyTorch安装包的常见大小有助于您预估下载时间，并判断当前的下载速度是否异常。

  • CPU版本： 纯CPU版本的PyTorch核心库（torch）通常在200MB到800MB之间，取决于具体版本和操作系统。如果加上torchvision和torchaudio，总大小可能在500MB到1.5GB左右。
  • GPU版本（含CUDA）： 这是体积最大的部分。一个包含特定CUDA版本（如CUDA 11.8或12.1）的PyTorch GPU版本包，其核心库文件通常在1.5GB到2.5GB之间。如果同时安装torchvision和torchaudio，以及其各自的CUDA相关依赖，总下载量很容易达到3GB到5GB，甚至更多。

耗时预估：

假设您需要下载总计3GB的PyTorch相关文件：

  • 在理想的100Mbps (12.5MB/s)带宽下，理论下载时间约为 3000MB / 12.5MB/s = 240秒（4分钟）。
  • 在常见的10Mbps (1.25MB/s)带宽下，理论下载时间约为 3000MB / 1.25MB/s = 2400秒（40分钟）。
  • 如果您的下载速度只有100KB/s (0.1MB/s)，那3GB的文件将需要 3000MB / 0.1MB/s = 30000秒（超过8小时），这显然是不可接受的慢速。

因此，如果您发现下载速度远低于您的网络带宽所能提供的理论值，并已经持续了较长时间，那么采取本文提到的优化措施是十分必要的。

总结与建议

PyTorch下载缓慢是一个普遍存在的问题，但幸运的是，通过正确的诊断和有效的解决方案，您可以大大提升下载效率。

我们的首要建议是：

  1. 对于国内用户，优先尝试配置国内高速镜像源（如清华、USTC、阿里云、华为云），无论是conda还是pip，这通常能解决绝大部分的下载速度问题。
  2. 如果镜像源效果不佳或您处于特殊网络环境，检查并正确配置代理服务器。
  3. 作为最后的备选方案，考虑离线下载轮子文件并进行本地安装，这能彻底规避在线下载的复杂性。
  4. 在尝试任何解决方案之前，请确保您的网络连接本身稳定且带宽充足。

耐心与尝试是解决这类问题的关键。根据您所处的具体网络环境和系统配置，可能需要尝试多种方法，直到找到最适合您的解决方案。希望本文能帮助您高效、顺利地安装PyTorch，投入到激动人心的深度学习开发中去！

pytorch下载太慢