news 2026/4/16 14:26:49

【ssh】在两个远程服务器之间传输文件的便捷方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ssh】在两个远程服务器之间传输文件的便捷方法

在 Slurm 集群上,大体量的tar | ssh管道传输非常容易被系统“杀掉”,即使你人没断线,后台 I/O / 网络 / login node 的限额也会把进程 SIGKILL,导致tar 包尾部缺失 →Unexpected EOF

例如,在Slurm 集群上迁移 conda 环境(几十 GB):

❌ 不推荐:

  • tar -czf(压缩太慢、CPU+IO重)

  • tar | ssh(login node 很容易 kill)

  • 单次scp(不支持断点)

推荐靠谱方案:rsync + --partial + --inplace


具体做法:rsync+ 断点续传

这是HPC 官方推荐方式,假设源服务器服务端口为3022,目的服务器服务端口为2022。

在 2022 端口(源)执行:

rsync -avh \ --partial \ --inplace \ --delete \ --numeric-ids \ --progress \ -e "ssh -p 3022" \ #连接目的服务器端口执行命令 /home/user/miniconda3/envs/my_env/ \ #源服务器文件夹/文件地址 lzh@209.167.43.117:/home/lzh/miniconda3/envs/my_env/ #目的服务器目的地址

为什么这个一定成功?

  • --partial:中断不丢数据

  • --inplace:避免重复写(大文件关键)

  • rsync逐文件校验,不会生成损坏状态

  • 即使被 Slurm 杀掉,重新执行同一条命令会从断点继续,直至传完文件。

💡你可以反复跑这条命令,直到命令很快结束,传输文件列表为空,仅sent少量Bytes(表示没有文件可传,仅发送一些控制信息),意味着文件传完,如下:

sending incremental file list share/gdb/auto-load/home/ sent 3.68M bytes received 7.92K bytes 19.17K bytes/sec total size is 8.48G speedup is 2,298.80 (DRY RUN)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/1 8:30:20

pytest使用allure测试报告

🍅 点击文末小卡片 ,免费获取软件测试全套资料,资料在手,涨薪更快 最近通过群友了解到了allure这个报告,开始还不以为然,但还是逃不过真香定律。经过试用之后,发现这个报告真的很好&#xff0…

作者头像 李华
网站建设 2026/4/7 14:54:05

如何用进销存软件打印送货单的方法

常常目睹供应商送来的送货单设计精美,而自己手写的送货单却显得不够美观,缺乏档次。今天,我将向大家展示如何利用电脑打印出漂亮的送货单。 要想做好工作,首先要准备好工具。打印送货单,首先需要一款适合打印的软件。…

作者头像 李华
网站建设 2026/4/16 1:34:46

企业Agent容器化更新难题:如何实现零停机平滑发布?

第一章:企业Agent容器化更新难题:如何实现零停机平滑发布?在现代微服务架构中,企业级 Agent 通常以容器化形式部署于 Kubernetes 集群中,承担日志采集、监控上报或安全代理等关键职责。当需要对 Agent 进行版本升级时&…

作者头像 李华
网站建设 2026/4/16 9:14:51

还在为Qiskit环境发愁?用这6步验证法,确保VSCode配置万无一失

第一章:Qiskit配置验证的核心意义在量子计算的开发与研究中,确保本地环境正确配置是迈向实际应用的第一步。Qiskit作为IBM推出的开源量子计算框架,其功能强大但依赖于一系列组件的协同工作。配置验证不仅是安装完成后的例行检查,更…

作者头像 李华
网站建设 2026/4/15 16:31:37

YOLOv12主干网络革新:EfficientNetV1极致优化指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有! 文章目录 YOLOv12主干网络革新:EfficientNetV1极致优化指南 EfficientNetV1核心原理深度解析 复合缩放策略的数学基础 MBConv模块结构创新 完整集成方案实现 环境配…

作者头像 李华
网站建设 2026/4/16 4:13:20

Vite Webpack 插件/Loader 封装完全指南

工程化构建中,Vite 与 Webpack 的核心扩展性依赖 插件(Plugin) 和 Loader: Loader:专注「文件转换」,将非 JS/CSS 资源(如 SCSS、TS、图片)转为构建工具可识别的模块,仅在…

作者头像 李华