C++:Http协议下载文件（附带源码）

一、项目背景详细介绍

在现代软件系统中，“通过 HTTP 下载文件”是一项极其基础却又不可或缺的能力。无论是：

• 软件自动更新

• 模型与数据集下载

• 配置文件拉取

• Web 爬虫

• 客户端—服务器架构

• 微服务间数据传输

HTTP 协议几乎无处不在。

在 C++ 开发中，工程师通常会选择：

• libcurl

• Boost.Beast

• 操作系统自带网络库

但在以下场景中，手写一个最小 HTTP 下载实现依然具有非常重要的价值：

1. 教学：理解 HTTP 报文与网络 IO 的本质

2. 调试：快速定位网络层问题

3. 受限环境：无法引入第三方库

4. 底层网络编程学习

5. 安全 / 协议分析

1.1 为什么不用现成库？

现成库当然很好，但它们隐藏了大量关键细节：

• HTTP 请求是如何拼出来的？

• 响应头与响应体如何分离？

• Content-Length与分块传输的区别？

• TCP 连接何时关闭？

• 为什么有时会下载失败？

对于真正理解网络协议与系统行为来说，自己实现一遍是不可替代的。

1.2 HTTP 下载的本质

所谓“HTTP 下载文件”，本质就是：

通过 TCP 连接发送一个 HTTP 请求，接收服务器返回的响应报文，并将响应体按字节写入文件

1.3 本文目标

本文将从零开始，系统讲解并完整实现：

一个使用 C++ + Socket + HTTP/1.1 协议下载文件的最小但工程化实现

并且：

• 不依赖第三方库

• 清晰可扩展

• 适合课堂与博客长期使用

二、项目需求详细介绍

2.1 功能需求

实现一个 C++ 程序，能够：

1. 使用 HTTP 协议（非 HTTPS）

2. 向指定 URL 发起 GET 请求

3. 下载服务器返回的文件

4. 将内容保存为本地文件

5. 正确处理 HTTP 头与正文

2.2 工程约束

• 使用 C++17

• 使用 POSIX Socket（Linux / macOS）

• 不依赖第三方网络库

• 清晰、可维护

2.3 教学约束

• 明确展示 HTTP 报文格式

• 明确展示 Socket 调用流程

• 明确展示文件写入过程

三、相关技术详细介绍

3.1 HTTP 协议简介

HTTP（HyperText Transfer Protocol）是：

• 应用层协议

• 基于请求—响应模型

• 通常运行在 TCP 之上（端口 80）

3.2 HTTP/1.1 请求格式

一个最简单的 HTTP GET 请求如下：

GET /path/file.txt HTTP/1.1 Host: example.com Connection: close

关键点：

• 请求行

• 必须包含Host

• 空行表示头结束

3.3 HTTP 响应格式

HTTP/1.1 200 OK Content-Length: 12345 Content-Type: application/octet-stream <binary data>

响应由两部分组成：

1. 响应头（文本）

2. 响应体（文件内容）

3.4 TCP Socket 基础

HTTP 下载流程依赖：

• socket

• connect

• send

• recv

• close

四、实现思路详细介绍

4.1 总体流程

1. 解析 URL（host / path）

2. 创建 TCP socket

3. 连接服务器（端口 80）

4. 发送 HTTP GET 请求

5. 接收响应数据

6. 分离 HTTP 头与 body

7. 将 body 写入文件

4.2 设计原则

• 流式接收，避免一次性读入大文件

• 明确连接关闭条件

• 接口清晰，方便扩展 HTTPS / 重定向

4.3 简化假设（教学用）

为了突出核心原理，本文实现中：

• 只支持 HTTP（不支持 HTTPS）

• 不支持 chunked 编码

• 假设服务器返回Content-Length

五、完整实现代码

/************************************************************ * File: http_download.cpp * Description: * Download a file via HTTP using raw TCP sockets. * Standard: C++17 * Platform: POSIX (Linux / macOS) ************************************************************/ #include <iostream> #include <string> #include <cstring> #include <fstream> #include <stdexcept> #include <sys/socket.h> #include <netdb.h> #include <unistd.h> /*********************** URL Parser *************************/ struct UrlInfo { std::string host; std::string path; }; /* 解析 http://host/path */ UrlInfo parse_url(const std::string& url) { const std::string prefix = "http://"; if (url.substr(0, prefix.size()) != prefix) { throw std::runtime_error("Only http:// URLs supported"); } std::string rest = url.substr(prefix.size()); size_t slash_pos = rest.find('/'); if (slash_pos == std::string::npos) { return {rest, "/"}; } return { rest.substr(0, slash_pos), rest.substr(slash_pos) }; } /********************* HTTP Downloader **********************/ class HttpDownloader { public: void download(const std::string& url, const std::string& output_file) { UrlInfo info = parse_url(url); int sockfd = connect_to_host(info.host, "80"); send_request(sockfd, info.host, info.path); receive_response(sockfd, output_file); close(sockfd); } private: int connect_to_host(const std::string& host, const std::string& port) { struct addrinfo hints{}, *res; hints.ai_family = AF_UNSPEC; hints.ai_socktype = SOCK_STREAM; if (getaddrinfo(host.c_str(), port.c_str(), &hints, &res) != 0) { throw std::runtime_error("getaddrinfo failed"); } int sockfd = socket(res->ai_family, res->ai_socktype, res->ai_protocol); if (connect(sockfd, res->ai_addr, res->ai_addrlen) != 0) { freeaddrinfo(res); throw std::runtime_error("connect failed"); } freeaddrinfo(res); return sockfd; } void send_request(int sockfd, const std::string& host, const std::string& path) { std::string request = "GET " + path + " HTTP/1.1\r\n" "Host: " + host + "\r\n" "Connection: close\r\n\r\n"; send(sockfd, request.c_str(), request.size(), 0); } void receive_response(int sockfd, const std::string& output_file) { std::ofstream ofs(output_file, std::ios::binary); if (!ofs) { throw std::runtime_error("Cannot open output file"); } const int buf_size = 4096; char buffer[buf_size]; bool header_done = false; std::string header_buffer; ssize_t bytes; while ((bytes = recv(sockfd, buffer, buf_size, 0)) > 0) { if (!header_done) { header_buffer.append(buffer, bytes); size_t pos = header_buffer.find("\r\n\r\n"); if (pos != std::string::npos) { header_done = true; size_t body_start = pos + 4; ofs.write(header_buffer.data() + body_start, header_buffer.size() - body_start); } } else { ofs.write(buffer, bytes); } } } }; /***************************** Main **************************/ int main() { try { HttpDownloader downloader; downloader.download( "http://example.com/index.html", "downloaded.html" ); std::cout << "Download completed.\n"; } catch (const std::exception& e) { std::cerr << "Error: " << e.what() << "\n"; } return 0; }

六、代码详细解读（仅解读方法作用）

6.1parse_url

• 将 URL 拆分为主机名与路径

• 简化实现，聚焦协议核心

6.2connect_to_host

• 完成 DNS 解析

• 创建并连接 TCP socket

6.3send_request

• 构造标准 HTTP/1.1 GET 请求

• 明确声明Connection: close

6.4receive_response

• 流式接收服务器数据

• 分离 HTTP 头与 body

• 将响应体直接写入文件

七、项目详细总结

通过本项目，你已经完整理解并掌握了：

• HTTP 下载的底层工作机制

• HTTP 报文结构

• C++ Socket 网络编程流程

• 文件 IO 与网络 IO 的协同

• 为什么高层库能“帮你做这么多事”

这是：

网络编程、系统编程、分布式系统工程师的必备基础能力

八、项目常见问题及解答（FAQ）

Q1：为什么不支持 HTTPS？

HTTPS 需要 TLS 握手与证书验证，超出本文核心范围。

Q2：如何支持大文件？

当前实现已是流式写入，可直接支持大文件。

Q3：如何处理重定向？

需要解析 HTTP 状态码 301/302 并重新请求。

九、扩展方向与性能优化

9.1 协议扩展

• HTTPS（OpenSSL / mbedTLS）

• HTTP chunked 编码

• HTTP/2

9.2 工程优化

• 非阻塞 socket

• epoll / select

• 断点续传（Range 头）

9.3 教学扩展

• 抓包分析 HTTP 下载

• 对比 curl 实现

• HTTP 与 TCP 分层思想