Gitee开源LFS上传增强工具:支持分片+断点续传,大模型上传不再头疼
创始人
2025-11-17 18:14:32

在大模型部署过程中,上传模型参数文件一直是个难题。Git LFS 虽支持大文件管理,但 原生不支持断点续传,一旦网络中断就需重头上传,对于动辄几十 GB 的模型权重而言,上传失败是常态。

为解决这一问题,Gitee 开源了 gitee-lfs-multipart-uploader工具,支持 大文件分片上传与断点续传,适配 Linux/Unix 与 Windows,安装启用后即可无感接入 Git 使用流程,显著提升超大文件上传成功率。

开源仓库地址: https://gitee.com/oscstudio/gitee-lfs-multipart-uploader

为什么需要这个工具?

在使用原生 Git LFS 上传 LLM 等超大文件时,常会遇到网络中断、上传失败的问题。Git LFS 默认并不支持断点续传,一旦中途失败,必须从头重来。对于数 GB 到数十 GB 的模型权重文件而言,这种失败往往意味着永远也上传不上去。

为此,我们建议在上传 大于 1GB 的 LFS 对象时,启用 Gitee 自定义的上传插件。该插件支持自动分片与断点续传,极大提升上传成功率,尤其适用于 LLM 权重、Embedding 文件、训练中间结果等典型大文件上传场景。

  • 原生 Git LFS 无断点能力,该插件支持断点续传

  • 分片上传,适配大文件传输需求

  • 上传失败可恢复,适合模型、嵌入等多类大文件

  • 跨平台支持,Linux/Unix 与 Windows 都能用

  • 无感接入,启用后直接 git push 即可

使用指南 一键安装插件
  • Linux/macOS

curl -fsSL https://gitee.com/oscstudio/gitee-lfs-multipart-uploader/raw/master/install.sh | bash
  • Windows

1.访问最新版发布页: https://gitee.com/oscstudio/gitee-lfs-multipart-uploader/releases

2.下载并运行MultipartTransferSetup.exe

启用分片传输功能

以本地仓库路径 为例:

  • Linux/macOS

multipart-transfer --lfs-enable-multipart
  • Windows

multipart-transfer.exe --lfs-enable-multipart

上传 LFS 文件

插件启用后,直接推送即可。工具会自动检测是否为大文件并接管上传。

git push origin master

支持断点续传(默认开启)

上传大文件中断后,只要已上传 ≥300MB,即可从断点继续,不必从头开始。

如你有大模型权重需要上传,或者想摆脱 LFS 上传失败的烦恼,不妨试试这款轻量工具。如需帮助或想参与共建,欢迎访问项目仓库: https://gitee.com/oscstudio/gitee-lfs-multipart-uploader

相关内容

热门资讯

电影“端午档”开启 多元题材影... 截至昨天(18日),2026年度电影总票房已超165亿元。随着端午假期到来,2026年电影端午档也正...
“法院+综治中心”联动,推出“...   “法院+综治中心”联动,推出“调解+司法确认”一站式服务  350万元合同纠纷高效化解经过调解,...
昆明最新或2023(历届)预定... 5月14日,记者从云南省征兵办公室获悉,云南省大学生征兵工作已启动,全省70所高校学生均可网上报名。...
曲靖军分区司令员、市征兵副组长... 踊跃报名应征 接受祖国挑选 曲靖军分区司令员、市征兵领导小组副组长卢兴波就全市征兵工作答记者问 ...
半夜宫女好心送粥给朱元璋品尝 ... 宫女送粥朱元璋为何被杀,这是很多读者都比较关心的问题,接下来就和各位读者一起来了解,给大家一个参考。...