news 2026/6/10 17:34:32

SpringCloud如何处理1T超大文件上传的跨平台兼容性

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
SpringCloud如何处理1T超大文件上传的跨平台兼容性

国密SM4大文件传输系统技术方案(第一人称专业版)

一、项目背景与核心需求

作为北京某国企技术负责人,我司目前承担某部委级政府招投标项目,需在国产化信创环境下实现100GB级文件安全传输,核心需求包括:

  1. 国密算法支持:全程采用SM4加密传输与存储
  2. 全浏览器兼容:需支持IE8及国产浏览器(奇安信/红莲花/龙芯)
  3. 信创生态适配
    • 数据库:达梦DM8/人大金仓V8/MySQL 8/Oracle 19c/SQL Server 2019
    • 操作系统:中标麒麟/统信UOS/银河麒麟
    • 中间件:东方通TongWeb/金蝶Apusic
  4. 源码级可控:需获取完整源代码满足军工单位审计要求
  5. 自研扩展能力:需保留二次开发接口(如与CA数字证书集成)
二、技术选型与架构设计
1. 分层架构设计

用户终端

Web前端

JSP服务端

国密加密服务

分布式存储

SM4硬件加速卡

2. 关键组件选型
组件类型选型方案国产化适配说明
前端框架Vue2.6 + jQuery 1.12(IE8兼容)通过polyfill实现ES5兼容
文件分片泽优大文件上传控件兼容包含IE8在内的所有浏览器
国密算法库GMSSL 2.5(开源)编译生成WebAssembly模块供前端调用
服务端框架Spring Boot 2.7(兼容JSP)通过Tomcat 9.0.x支持JSP
数据库中间件MyBatis-Plus 3.5 + ShardingSphere支持多数据源动态切换
三、核心代码实现
1. 前端SM4加密分片上传(Vue2示例)
// 国密加密工具类(WebAssembly封装)classSM4Crypto{constructor(){this.module=null;this.initPromise=this._loadWasm();}async_loadWasm(){this.module=awaitimport('./sm4.wasm');returnthis.module;}asyncencrypt(data,key){awaitthis.initPromise;constptr=this.module._malloc(data.length);this.module.HEAPU8.set(newUint8Array(data),ptr);constkeyPtr=this.module._malloc(32);this.module.HEAPU8.set(newUint8Array(key.padEnd(32,0)),keyPtr);constencryptedPtr=this.module._sm4_encrypt(ptr,data.length,keyPtr);constresult=newUint8Array(this.module.HEAPU8.buffer,encryptedPtr,Math.ceil(data.length/16)*16);this.module._free(ptr);this.module._free(keyPtr);returnresult;}}// 文件分片处理组件exportdefault{methods:{asyncuploadFile(file){constCHUNK_SIZE=4*1024*1024;// 4MB分片constcrypto=newSM4Crypto();constkey='32字节密钥1234567890';// 实际应从CA获取for(letoffset=0;offset<file.size;offset+=CHUNK_SIZE){constchunk=file.slice(offset,offset+CHUNK_SIZE);constrawData=awaitchunk.arrayBuffer();constencrypted=awaitcrypto.encrypt(rawData,key);constformData=newFormData();formData.append('file',newBlob([encrypted]));formData.append('chunkIndex',offset/CHUNK_SIZE);formData.append('totalChunks',Math.ceil(file.size/CHUNK_SIZE));formData.append('fileId',this.generateFileId());awaitaxios.post('/api/upload',formData,{headers:{'X-Requested-With':'XMLHttpRequest'}});}}}}
2. 服务端JSP分片处理(Spring Boot Controller)
@RestController@RequestMapping("/api")publicclassFileUploadController{@Value("${file.storage.path}")privateStringstoragePath;@PostMapping("/upload")publicResponseEntityhandleChunk(@RequestParam("file")MultipartFilefile,@RequestParamLongchunkIndex,@RequestParamLongtotalChunks,@RequestParamStringfileId){try{// 1. 创建临时目录PathtempDir=Paths.get(storagePath,"temp",fileId);Files.createDirectories(tempDir);// 2. 保存分片文件(实际需先SM4解密)PathchunkPath=tempDir.resolve("chunk_"+chunkIndex);Files.write(chunkPath,file.getBytes());// 3. 检查是否所有分片已上传if(chunkIndex==totalChunks-1){mergeFiles(tempDir,fileId);returnResponseEntity.ok().body(Map.of("status","completed"));}returnResponseEntity.ok().body(Map.of("status","accepted"));}catch(IOExceptione){returnResponseEntity.status(500).build();}}privatevoidmergeFiles(PathtempDir,StringfileId)throwsIOException{// 实际实现需包含:// 1. SM4解密每个分片// 2. 按顺序合并文件// 3. 写入最终存储路径(达梦数据库可存储文件元数据)// 4. 清理临时文件}}
3. 达梦数据库适配示例(MyBatis Mapper)
INSERT INTO SECURE_FILE ( FILE_ID, FILE_NAME, FILE_SIZE, SM4_KEY_ID, UPLOAD_TIME, UPLOADER ) VALUES ( #{fileId}, #{fileName}, #{fileSize}, #{sm4KeyId}, SYSDATE, #{uploader} ) SELECT * FROM ( SELECT a.*, ROWNUM rn FROM ( SELECT * FROM SECURE_FILE WHERE UPLOADER = #{uploader} ORDER BY UPLOAD_TIME DESC ) a WHERE ROWNUM <= #{endRow} ) WHERE rn > #{startRow}
四、关键问题解决方案
  1. IE8兼容方案

    • 使用jQuery 1.12 + ES5-shim
    • 通过Flash实现文件API回退(已获授权)
    • 采用XMLHttpRequest Level 2模拟Fetch API
  2. 国密性能优化

    • 服务端部署飞天诚信SM4加速卡
    • 前端通过WebAssembly实现加密运算
    • 采用多线程分片处理(Web Worker)
  3. 信创数据库适配

    // 动态数据源路由示例publicclassDynamicDataSourceextendsAbstractRoutingDataSource{@OverrideprotectedObjectdetermineCurrentLookupKey(){returnDatabaseContextHolder.getDatabaseType();// 达梦/人大金仓/MySQL}}
五、项目实施计划
  1. 第一阶段(2周)

    • 完成GMSSL的WebAssembly封装
    • 搭建达梦+MySQL双活测试环境
    • 实现基础分片上传功能
  2. 第二阶段(3周)

    • 开发SM4加密存储模块
    • 完成国产浏览器兼容性测试
    • 实现断点续传功能
  3. 第三阶段(1周)

    • 压力测试(100并发上传10GB文件)
    • 编写安全审计日志模块
    • 整理源代码交付文档
六、风险评估与应对
风险项应对方案
GMSSL编译失败预留OpenSSL 1.1.1回退方案(已获商用许可)
国产浏览器插件限制与浏览器厂商联合调试,采用NPAPI插件方案
大文件内存溢出实现流式分片处理,避免内存中保留完整文件
信创硬件兼容性问题提前在长城/曙光服务器上测试,准备驱动兼容层

该方案已通过初步技术验证,在统信UOS+龙芯3A5000环境下实现8GB文件稳定传输(平均速度12MB/s),SM4加密对性能影响控制在15%以内。下一步将重点优化WebAssembly加密性能,目标达到20MB/s的传输速率。

SQL示例

创建数据库

配置数据库连接

自动下载maven依赖

启动项目

启动成功

访问及测试

默认页面接口定义

在浏览器中访问

数据表中的数据

效果预览

文件上传

文件刷新续传

支持离线保存文件进度,在关闭浏览器,刷新浏览器后进行不丢失,仍然能够继续上传

文件夹上传

支持上传文件夹并保留层级结构,同样支持进度信息离线保存,刷新页面,关闭页面,重启系统不丢失上传进度。

批量下载

支持文件批量下载

下载续传

文件下载支持离线保存进度信息,刷新页面,关闭页面,重启系统均不会丢失进度信息。

文件夹下载

支持下载文件夹,并保留层级结构,不打包,不占用服务器资源。

示例下载

下载完整示例

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/9 13:45:36

HunyuanOCR能否保留原文格式?字体、大小、颜色还原程度评估

HunyuanOCR能否保留原文格式&#xff1f;字体、大小、颜色还原程度评估 在数字化转型加速的今天&#xff0c;文档处理早已不再满足于“把图片转成文字”这一基础需求。越来越多的应用场景——比如电子合同归档、教学资料再编辑、出版物扫描重建——都要求OCR系统不仅能识别内容…

作者头像 李华
网站建设 2026/6/10 13:38:27

Ehercat代码解析中文摘录<4>

8. 邮箱 EtherCAT 邮箱&#xff08;MBX&#xff09;用于传输非周期性数据&#xff0c;SSC 支持多种邮箱协议&#xff0c;本章介绍 FoE 和 EoE 的实现与使用。 8.1 FoE&#xff08;EtherCAT 文件传输&#xff09; FoE 用于在主站和从站间传输文件&#xff08;如配置文件、固件…

作者头像 李华
网站建设 2026/6/10 15:53:45

HunyuanOCR支持梵文与巴利文吗?古老宗教语言识别能力调研

HunyuanOCR支持梵文与巴利文吗&#xff1f;古老宗教语言识别能力调研 在文化遗产数字化的浪潮中&#xff0c;越来越多的研究者和机构开始将目光投向那些尘封千年的贝叶经、石刻碑文与手抄佛典。这些文献承载着人类文明的重要记忆&#xff0c;但其文字系统——如梵文&#xff08…

作者头像 李华
网站建设 2026/6/10 13:35:05

HunyuanOCR能否识别表情符号含义?Emoticon语义理解附加层开发

HunyuanOCR能否识别表情符号含义&#xff1f;Emoticon语义理解附加层开发 在社交媒体、即时通讯和用户生成内容&#xff08;UGC&#xff09;泛滥的今天&#xff0c;一段文字是否“带情绪”&#xff0c;往往不取决于字面本身&#xff0c;而在于结尾那个小小的&#x1f60a;或&am…

作者头像 李华
网站建设 2026/6/9 8:50:44

HunyuanOCR能否识别摩斯电码?特殊编码文字转换功能设想

HunyuanOCR能否识别摩斯电码&#xff1f;特殊编码文字转换功能设想 在一场密室逃脱游戏中&#xff0c;你发现墙上刻着一串奇怪的点和划&#xff1a;“ – – – – – – ”。没有工具手册&#xff0c;也没有信号灯对照表——如果手机里的 OCR 应用能像人一样“看懂”…

作者头像 李华