前言
在互联网软件开发的世界里，我们常常会面临各种有趣且富有挑战性的任务。其中，从网络爬取图片资源并将其下载到本地进行存储，是一个在许多项目中都会涉及到的功能，比如图片素材收集、网站内容备份、数据可视化辅助等场景。今天，我们就深入探讨一下如何在 Spring Boot3 的框架下实现这一功能。
准备工作
在 Spring Boot 项目中，我们通过 Maven 或者 Gradle 来管理项目的依赖。对于实现图片爬取和下载功能，我们需要引入一些关键的依赖。
Http 请求依赖：为了能够从网络获取图片资源，我们需要一个强大的 Http 客户端。在 Java 世界里，有许多优秀的选择，比如Apache HttpClient或者OkHttp。在 Spring Boot 项目中，我们可以通过 Maven 引入spring-boot-starter-web依赖，它已经集成了
HttpComponentsClientHttpRequestFactory，能方便地进行 Http 请求操作。在pom.xml文件中添加如下依赖：
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency>文件处理依赖：下载后的图片需要保存到本地，这就涉及到文件的输入输出操作。Spring Boot 本身提供了对文件处理的支持，我们无需额外引入复杂的依赖。但如果我们想要更方便地处理文件路径、文件名等操作，可以引入commons-io库。在pom.xml中添加：
<dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.11.0</version> </dependency>HTML 解析依赖（如果需要从网页中提取图片链接）：如果我们的任务不仅仅是简单地根据已知的图片链接下载图片，而是要从网页中提取图片链接，那么就需要一个 HTML 解析库。Jsoup是一个非常受欢迎的 Java HTML 解析器，它能帮助我们轻松地解析 HTML 文档，定位到我们需要的图片标签并获取其链接。在pom.xml中引入Jsoup依赖：
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.16.1</version> </dependency>实现图片下载功能
使用 HttpURLConnection 下载图片
在 Java 中，HttpURLConnection是一个标准的用于发送 Http 请求的类，我们可以利用它来实现图片的下载。以下是一个简单的示例代码：
import java.io.DataInputStream; import java.io.DataOutputStream; import java.io.File; import java.io.FileOutputStream; import java.net.HttpURLConnection; import java.net.URL; public class ImageDownloader { public void downloadImage(String fileUrl, String localPath, String fileName) { try { URL url = new URL(fileUrl); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setRequestMethod("GET"); connection.setConnectTimeout(10 * 1000); // 设置连接超时时间为10秒 DataInputStream in = new DataInputStream(connection.getInputStream()); File file = new File(localPath); if (!file.exists()) { file.mkdirs(); } FileOutputStream fileOutputStream = new FileOutputStream(new File(file + File.separator + fileName)); DataOutputStream out = new DataOutputStream(fileOutputStream); byte[] buffer = new byte[1024]; int length; while ((length = in.read(buffer)) != -1) { out.write(buffer, 0, length); } out.close(); in.close(); connection.disconnect(); } catch (Exception e) { e.printStackTrace(); } } }在上述代码中，我们首先创建了一个URL对象，然后通过openConnection方法获取到HttpURLConnection对象。设置好请求方法和连接超时时间后，我们从连接中获取输入流，用于读取图片数据。同时，我们创建了本地文件的输出流，将从网络读取到的图片数据写入到本地文件中。最后，记得关闭所有的流和连接，以释放资源。
使用Apache HttpClient下载图片
Apache HttpClient是一个功能更强大、更灵活的 Http 客户端，在 Spring Boot 项目中也很容易使用。首先，确保已经引入了spring-boot-starter-web依赖，因为它包含了Apache HttpClient的相关支持。以下是使用Apache HttpClient下载图片的示例代码：
import org.apache.http.HttpResponse; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStream; public class ApacheImageDownloader { public void downloadImage(String fileUrl, String localPath, String fileName) { CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet(fileUrl); try { HttpResponse response = httpClient.execute(httpGet); if (response.getStatusLine().getStatusCode() == 200) { File file = new File(localPath); if (!file.exists()) { file.mkdirs(); } OutputStream outputStream = new FileOutputStream(new File(file + File.separator + fileName)); EntityUtils.writeTo(response.getEntity(), outputStream); outputStream.close(); } } catch (IOException e) { e.printStackTrace(); } finally { try { httpClient.close(); } catch (IOException e) { e.printStackTrace(); } } } }在这段代码中，我们首先创建了一个CloseableHttpClient实例，然后构建了一个HttpGet请求对象，指定要下载的图片链接。执行请求后，检查响应状态码，如果是 200，表示请求成功，此时将响应实体中的数据写入到本地文件中。最后，关闭HttpClient以释放资源。
从网页中爬取图片链接
使用Jsoup解析 HTML 获取图片链接
如果我们需要从网页中提取图片链接，Jsoup是一个很好的工具。假设我们有一个网页，其中包含了许多图片，我们想要提取这些图片的链接，然后下载这些图片。以下是使用Jsoup解析 HTML 并获取图片链接的示例代码：
import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; import java.util.ArrayList; import java.util.List; public class ImageLinkExtractor { public List<String> extractImageLinks(String url) { List<String> imageLinks = new ArrayList<>(); try { Document doc = Jsoup.connect(url).get(); Elements imgElements = doc.select("img"); for (Element imgElement : imgElements) { String imgUrl = imgElement.attr("src"); if (!imgUrl.isEmpty()) { imageLinks.add(imgUrl); } } } catch (IOException e) { e.printStackTrace(); } return imageLinks; } }在上述代码中，我们使用Jsoup.connect(url).get()方法连接到指定的网页，并获取其Document对象。然后，通过doc.select("img")方法选择所有的<img>标签，遍历这些标签，提取其src属性的值，也就是图片的链接。将这些链接添加到一个列表中并返回。
处理相对链接
在从网页中提取图片链接时，我们可能会遇到相对链接的情况。相对链接是相对于当前网页的路径，而不是完整的 URL。为了能够正确下载图片，我们需要将相对链接转换为绝对链接。Jsoup提供了方便的方法来处理这种情况。以下是修改后的代码，用于处理相对链接：
import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; import java.net.MalformedURLException; import java.net.URL; import java.util.ArrayList; import java.util.List; public class ImageLinkExtractor { public List<String> extractImageLinks(String url) { List<String> imageLinks = new ArrayList<>(); try { Document doc = Jsoup.connect(url).get(); Elements imgElements = doc.select("img"); for (Element imgElement : imgElements) { String imgUrl = imgElement.attr("src"); if (!imgUrl.isEmpty()) { try { URL absoluteUrl = new URL(new URL(url), imgUrl); imageLinks.add(absoluteUrl.toString()); } catch (MalformedURLException e) { e.printStackTrace(); } } } } catch (IOException e) { e.printStackTrace(); } return imageLinks; } }在这段代码中，我们通过new URL(new URL(url), imgUrl)构造函数将相对链接转换为绝对链接。这样，无论图片链接是绝对链接还是相对链接，我们都能正确地处理并下载图片。
整合到 Spring Boot 应用中
创建 Spring Boot 项目
首先，我们可以使用 Spring Initializr（https://start.spring.io/）来快速创建一个 Spring Boot 项目。在 Spring Initializr 页面中，选择合适的项目元数据，如项目名称、包名等，并添加Spring Web依赖。下载生成的项目压缩包，解压后导入到我们的 IDE 中。
创建服务类
在项目中创建一个服务类，用于封装图片下载和链接提取的功能。例如，我们创建一个ImageService类：
import org.springframework.stereotype.Service; import java.io.File; import java.util.List; @Service public class ImageService { private final ImageDownloader imageDownloader; private final ImageLinkExtractor imageLinkExtractor; public ImageService(ImageDownloader imageDownloader, ImageLinkExtractor imageLinkExtractor) { this.imageDownloader = imageDownloader; this.imageLinkExtractor = imageLinkExtractor; } public void downloadImagesFromWebpage(String webpageUrl, String localPath) { List<String> imageLinks = imageLinkExtractor.extractImageLinks(webpageUrl); for (String imageLink : imageLinks) { String fileName = imageLink.substring(imageLink.lastIndexOf("/") + 1); imageDownloader.downloadImage(imageLink, localPath, fileName); } } }在上述代码中，ImageService依赖于ImageDownloader和ImageLinkExtractor。downloadImagesFromWebpage方法首先从指定的网页中提取图片链接，然后遍历这些链接，逐个下载图片到指定的本地路径。
创建控制器（可选）
如果我们希望通过 HTTP 接口来触发图片下载操作，可以创建一个控制器类。例如，创建一个ImageController类：
import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; @RestController public class ImageController { private final ImageService imageService; public ImageController(ImageService imageService) { this.imageService = imageService; } @GetMapping("/downloadImages") public String downloadImages(@RequestParam String webpageUrl, @RequestParam String localPath) { imageService.downloadImagesFromWebpage(webpageUrl, localPath); return "Images downloaded successfully!"; } }在这个控制器中，我们定义了一个/downloadImages接口，接收webpageUrl和localPath两个参数，调用ImageService的downloadImagesFromWebpage方法来执行图片下载操作，并返回下载成功的消息。
注意事项
网络请求的异常处理
在进行网络请求时，可能会遇到各种异常情况，如网络超时、连接失败、服务器响应错误等。我们需要在代码中妥善处理这些异常，以提供更好的用户体验和系统稳定性。例如，在前面的下载图片代码中，我们使用了try-catch块来捕获可能出现的异常，并进行相应的处理，如打印异常堆栈信息，或者向用户返回友好的错误提示。
资源的释放
在进行文件输入输出和网络连接操作时，一定要注意及时释放资源。例如，在下载图片的代码中，我们在使用完输入流、输出流和网络连接后，都通过close方法关闭了这些资源，避免资源泄漏，导致系统性能下降甚至出现内存溢出等问题。
合法性检查
在从网页中提取图片链接和下载图片时，我们需要对链接的合法性进行检查。确保链接指向的是一个有效的图片资源，避免下载无效或者恶意的文件。同时，也要检查本地路径是否合法，确保有足够的权限在指定路径下创建文件和目录。
反爬虫机制
许多网站为了保护自身的资源和数据安全，设置了反爬虫机制。在进行图片爬取时，我们需要注意遵守网站的使用条款，避免对网站造成过大的负载，影响正常用户的使用。一些常见的反爬虫机制包括 IP 封禁、验证码验证等。我们可以通过设置合理的请求头、控制请求频率等方式来尽量模拟真实用户的行为，避免触发反爬虫机制。
通过以上步骤和方法，我们就可以在 Spring Boot3 项目中实现从网络爬取图片资源并下载到本地存储的功能了。希望这篇文章能对广大互联网软件开发人员有所帮助，在实际项目中顺利实现相关功能。在不断探索和实践的过程中，你可能还会遇到更多有趣的挑战和优化点，期待大家能在这个领域不断创新和进步。
