Skip to content

fix(drivers/guangyapan): report multipart upload progress to copy task - #2989

Merged
PIKACHUIM merged 2 commits into
OpenListTeam:mainfrom
hugcabbage:main
Sep 1, 2026
Merged

fix(drivers/guangyapan): report multipart upload progress to copy task#2989
PIKACHUIM merged 2 commits into
OpenListTeam:mainfrom
hugcabbage:main

Conversation

@hugcabbage

Copy link
Copy Markdown
Contributor

Summary / 摘要

修复 GuangYaPan 驱动 OSS 分片上传不更新任务进度的问题。

背景:从其他存储(跨存储复制)复制到光鸭云盘时,OpenList 会创建
FileTransferTask 并通过 GuangYaPan.Put -> multipartUploadToOSS 上传,
但该函数把进度回调 up 传入 stream.NewStreamSectionReader 后从未再调用,
NewStreamSectionReader 的实现会忽略 up 参数,导致任务进度始终为 0,
任务列表不显示进度条和速度。

修复:在 multipartUploadToOSS 的分片循环中累计已上传字节数,并在每个
分片上传完成后调用 up(100 * uploaded / total) 上报进度,与其他驱动保持
一致的实现方式。

Behavior changes / 用户可感知的行为变化

  • 跨存储复制到光鸭云盘时,管理后台「任务」列表中的复制任务现在会实时显示
    进度条与速度(此前停留在 0%)。
  • 同存储复制行为不变(仍走驱动内 copy_file 异步任务,不经任务系统)。

Implementation changes / 重要实现变化

  • drivers/guangyapan/util.gomultipartUploadToOSS 新增 uploaded 累计
    计数,每分片上传成功后调用 up 上报百分比进度。
  • This PR has breaking changes.
    / 此 PR 包含破坏性变更。
  • This PR changes public API, config, storage format, or migration behavior.
    / 此 PR 修改了公开 API、配置、存储格式或迁移行为。
  • This PR requires corresponding changes in related repositories.
    / 此 PR 需要关联仓库同步修改。

Related repository PRs / 关联仓库 PR:

  • OpenList-Frontend:
  • OpenList-Docs:

Related Issues / 关联 Issue

Relates to #2970

Testing / 测试

  • go build ./drivers/guangyapan/
  • go test ./...
  • Manual test / 手动测试: 在真实账号上执行跨存储复制到光鸭云盘, 确认任务列表进度条随分片上传增长。

Checklist / 检查清单

  • I have read CONTRIBUTING.
    / 我已阅读 CONTRIBUTING
  • I confirm this contribution follows the repository license, contribution policy, and code of conduct.
    / 我确认此贡献符合仓库许可证、贡献规范和行为准则。
  • I have formatted the changed code with gofmt, go fmt, or prettier where applicable.
    / 我已按适用情况使用 gofmtgo fmtprettier 格式化变更代码。
  • I have requested review from relevant maintainers or code owners where applicable.
    / 我已在适用情况下请求相关维护者或代码所有者审查。

AI Disclosure / AI 使用声明

  • This PR includes AI-assisted content.
    / 此 PR 包含 AI 辅助内容。

Tools used / 使用工具:

  • ChatGPT
  • Codex
  • GitHub Copilot
  • Claude
  • Gemini
  • Other (please specify) / 其他(请注明): WorkBuddy 自主智能体

Usage scope / 使用范围:

  • Code generation / 代码生成
  • Refactoring / 重构
  • Documentation / 文档
  • Tests / 测试
  • Translation / 翻译
  • Review assistance / 审查辅助
  • I have reviewed and validated all AI-assisted content included in this PR.
    / 我已审核并验证此 PR 中的所有 AI 辅助内容。
  • I have ensured that all AI-assisted commits include Co-Authored-By attribution.
    / 我已确保所有 AI 辅助提交都包含 Co-Authored-By 归属信息。
  • I can reproduce all AI-assisted content included in this PR without any AI tools.
    / 我可以在没有任何 AI 工具的情况下重现此 PR 中包含的所有 AI 辅助内容。

multipartUploadToOSS passed the UpdateProgress callback into
stream.NewStreamSectionReader, which ignores the up argument, so the
callback was never invoked while uploading parts. As a result,
cross-storage copy tasks targeting GuangYaPan stayed at 0% and showed no
progress bar or speed in the task list.

Fix by tracking the uploaded byte count and invoking up after every
part is uploaded, keeping consistent with other drivers' upload flow.
@xrgzs
xrgzs requested a review from pikachuren August 29, 2026 06:33
pikachuren

This comment was marked as off-topic.

@pikachuren
pikachuren dismissed their stale review September 1, 2026 09:20

Dismissed: superseded by a re-issued review in the standard format. Approval decisions are left to human maintainers.

@pikachuren pikachuren left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🙏 感谢 @hugcabbage 提交!
🤖 AI 自动审核声明:本评审报告由 AI 自动生成,当前使用 Claude Opus 5 模型进行分析。
⚠️ AI 分析结果仅供参考,可能存在误判或遗漏。如您发现任何问题或有不同意见,欢迎随时提出讨论和纠正。
⚠️ 重要提醒:即使 AI 评审认为代码质量良好且建议合并,最终是否合并仍需由项目维护者进行人工判定。项目维护者会综合考虑代码质量、项目规划、技术方向、团队资源等多方面因素做出是否合并的决策。

🎯 结论

✅ 建议 Approve(由维护者人工确认)— 根因定位准确,改动最小,无阻塞问题

📖 概要

fix(drivers/guangyapan): report multipart upload progress to copy task · 修复跨存储复制到 guangyapan 时进度条长期停在 0%。
核心改动:在分片上传循环中自行累加已上传字节数并回调 up,不再依赖 NewStreamSectionReader 内部上报。

🧭 整体方案

技术路线是「在 driver 侧自行统计进度」而非改动公共库:因为 internal/streamNewStreamSectionReader(file, sectionSize, up *model.UpdateProgress) 根本没有使用传入的 up 参数,driver 交进去的回调永远不会被触发。在 driver 内累加上报属于当前最小、最安全的修法,方案合理。

📊 变更统计

1 个文件(+5 / -0 行) | 功能 ⭐⭐⭐⭐⭐ | 最小改动 ⭐⭐⭐⭐⭐ | 前向兼容 ⭐⭐⭐⭐⭐ | 方案设计 ⭐⭐⭐⭐

🚨 关键问题

P0(阻塞合并):无

P1(建议修复):无

P2(可选)

  • 💡 进度仅在每个分片完成后上报,calcUploadPartSize 给出较大分片时进度条会一跳一跳。是否考虑在 UploadPart 的输入流上包一层计数 reader 让进度更平滑呢?不过要注意 retry.Do 重试时需要回退计数,否则可能超过 100%——从这个角度看当前写法在重试语义上反而更安全,个人倾向保持现状,仅供参考~
  • 💡 循环结束时进度已到 100%,但此时 CompleteMultipartUpload 尚未返回,UI 上会先满格再等一会儿。想确认一下这是刻意为之,还是可以把最后一格留给 complete 阶段?

📂 逐文件分析

drivers/guangyapan/util.go

改动意图:让分片上传过程把进度回调给上层复制任务。
代码逻辑:以 file.GetSize() 为分母,循环内累加每个分片的真实字节数 length(末片已截断),换算成 0–100 的百分比调用 up
问题分析:变量取值与边界都核对过了,末片截断后 length 仍是真实长度,累加结果不会超出 total,百分比口径也与其它 driver 一致,没有发现问题。
详细建议:无需改动。

✅ 待处理清单

  • [P2] 确认分片粒度进度跳变是否可接受(如需平滑需处理重试回退)
  • [P2] 确认 100% 提前于 CompleteMultipartUpload 的展示效果是否符合预期

🔎 顺带一提(不属于本 PR 范围)

internal/streamNewStreamSectionReader 接收了 up *model.UpdateProgress 却完全没有使用,这是个比较容易踩的陷阱——本 PR 踩到了,其它 driver 可能也存在同样问题。是否考虑单开一个 issue,把这个死参数删掉或者真正接上呢?这样能从源头避免同类问题复现~

🎯 结论:✅ 建议 Approve — 根因准确、改动最小、无阻塞问题,仅剩两条可选的体验优化。

@PIKACHUIM
PIKACHUIM merged commit 8f9a09d into OpenListTeam:main Sep 1, 2026
8 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants