告别手动复制粘贴！用PowerShell脚本批量下载全球1米树冠高度数据（附完整脚本）-编程阁

告别手动复制粘贴！用PowerShell脚本批量下载全球1米树冠高度数据（附完整脚本）

在生态研究和地理信息系统（GIS）工作中，处理大规模栅格数据是家常便饭。想象一下，当你需要下载数百个甚至上千个1米分辨率的树冠高度瓦片文件时，手动逐个输入命令不仅效率低下，还容易出错。这正是自动化脚本大显身手的时候。

PowerShell作为Windows平台上的强大脚本工具，能够帮助我们轻松实现批量下载任务。本文将带你一步步构建一个健壮的PowerShell脚本，不仅能自动下载指定区域的树冠高度数据，还能处理网络中断等异常情况，确保数据完整获取。无论你是GIS专业人士还是生态研究者，掌握这项技能都能让你的工作效率提升数倍。

1. 环境准备与数据源了解

在开始编写脚本前，我们需要确保环境配置正确，并充分了解数据源的结构。

全球1米分辨率树冠高度数据由Meta公司和世界资源研究所联合发布，存储于AWS S3存储桶中。数据采用瓦片式存储，每个瓦片对应一个TIFF格式的文件。要高效获取这些数据，我们需要：

安装AWS CLI工具：这是与AWS S3交互的命令行接口
获取瓦片索引文件：了解数据分布和编号规则
确定目标区域：缩小下载范围，避免不必要的数据传输

安装AWS CLI非常简单，Windows用户可以直接下载安装包：

# 下载AWS CLI安装包 Invoke-WebRequest -Uri "https://awscli.amazonaws.com/AWSCLIV2.msi" -OutFile "$env:TEMP\AWSCLIV2.msi" # 静默安装 Start-Process -Wait -FilePath "$env:TEMP\AWSCLIV2.msi" -ArgumentList "/quiet"

安装完成后，建议运行aws --version验证安装是否成功。接下来，我们需要下载瓦片索引文件：

aws s3 cp --no-sign-request s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/tiles.geojson ./tiles.geojson

这个GeoJSON文件包含了所有可用瓦片的空间位置和编号信息，是我们筛选目标区域的基础。

2. 目标区域筛选与文件列表生成

有了瓦片索引文件后，下一步是根据研究区域筛选出需要下载的瓦片编号。这里提供两种实用方法：

方法一：使用QGIS筛选

在QGIS中加载研究区域边界矢量文件
添加下载的tiles.geojson文件
使用"按位置选择"工具，选择与研究区域相交的瓦片
导出选中瓦片的属性表，提取编号字段

方法二：纯命令行处理（适合无GUI环境）

如果你习惯命令行操作，可以使用jq工具处理GeoJSON：

# 安装jq (JSON处理器) choco install jq -y # 提取与研究区域相交的瓦片编号 jq -r '.features[] | select(.geometry | intersects($region)) | .properties.TileID' tiles.geojson > file_list.txt

注意：上述命令中的$region需要替换为实际研究区域的GeoJSON几何体

无论采用哪种方法，最终我们都会得到一个包含目标瓦片编号的文本文件（如file_list.txt），格式如下：

132120203.tif 132120204.tif 132120205.tif ...

3. 基础批量下载脚本编写

有了文件列表，我们可以编写第一个版本的批量下载脚本：

# 设置S3路径和本地保存路径 $s3Path = "s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm" $localPath = "D:\TreeHeightData" # 确保本地目录存在 if (-not (Test-Path $localPath)) { New-Item -ItemType Directory -Path $localPath | Out-Null } # 读取文件列表并下载 Get-Content "file_list.txt" | ForEach-Object { $file = $_.Trim() if (-not [string]::IsNullOrEmpty($file)) { $source = "$s3Path/$file" $destination = "$localPath\$file" Write-Host "正在下载: $file" aws s3 cp --no-sign-request $source $destination } } Write-Host "批量下载完成！"

这个基础版本已经能实现基本功能，但缺乏错误处理和断点续传能力。接下来我们将逐步增强它的健壮性。

4. 增强脚本：错误处理与断点续传

在实际下载过程中，网络波动或服务器问题可能导致部分文件下载失败。一个健壮的脚本应该能够：

自动重试失败的下载
记录成功和失败的项目
支持从断点继续，避免重复下载

下面是增强后的脚本：

<# .SYNOPSIS 树冠高度数据批量下载脚本 .DESCRIPTION 自动下载指定列表中的树冠高度瓦片数据，支持断点续传和错误重试 #> param( [string]$FileList = "file_list.txt", [string]$OutputDir = "D:\TreeHeightData", [int]$RetryCount = 3 ) # 初始化变量 $s3BasePath = "s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm" $successLog = "$OutputDir\_success.log" $failedLog = "$OutputDir\_failed.log" # 创建输出目录 if (-not (Test-Path $OutputDir)) { New-Item -ItemType Directory -Path $OutputDir | Out-Null } # 初始化日志文件 if (-not (Test-Path $successLog)) { New-Item $successLog -Force | Out-Null } if (-not (Test-Path $failedLog)) { New-Item $failedLog -Force | Out-Null } # 获取已成功下载的文件列表 $completedFiles = @{} Get-Content $successLog | ForEach-Object { $completedFiles[$_] = $true } # 处理文件列表 $filesToDownload = Get-Content $FileList | Where-Object { $_.Trim() -ne "" -and -not $completedFiles.ContainsKey($_) } $totalFiles = $filesToDownload.Count $current = 0 foreach ($file in $filesToDownload) { $current++ $file = $file.Trim() $source = "$s3BasePath/$file" $destination = "$OutputDir\$file" $retry = 0 $success = $false Write-Progress -Activity "下载进度" -Status "$current/$totalFiles - $file" -PercentComplete ($current/$totalFiles*100) while ($retry -lt $RetryCount -and -not $success) { try { Write-Host "[尝试 $($retry+1)/$RetryCount] 正在下载: $file" aws s3 cp --no-sign-request $source $destination if ($LASTEXITCODE -eq 0) { $success = $true Add-Content -Path $successLog -Value $file Write-Host "下载成功: $file" -ForegroundColor Green } else { throw "AWS CLI返回错误代码: $LASTEXITCODE" } } catch { Write-Host "错误: $_" -ForegroundColor Red $retry++ if ($retry -lt $RetryCount) { Start-Sleep -Seconds (10 * $retry) # 指数退避 } else { Add-Content -Path $failedLog -Value $file Write-Host "下载失败: $file" -ForegroundColor Yellow } } } } # 生成报告 $successCount = (Get-Content $successLog).Count $failedCount = (Get-Content $failedLog).Count Write-Host "`n下载报告:" Write-Host "成功: $successCount 个文件" Write-Host "失败: $failedCount 个文件" if ($failedCount -gt 0) { Write-Host "`n失败文件列表已保存到: $failedLog" -ForegroundColor Yellow }

这个增强版脚本新增了以下功能：

参数化设计：可以通过命令行参数指定文件列表路径、输出目录和重试次数
断点续传：记录已成功下载的文件，避免重复下载
错误重试：对失败的下载自动重试，最多尝试3次
进度显示：使用进度条直观展示下载进度
详细日志：记录成功和失败的文件列表
指数退避：重试间隔逐渐增加，减轻服务器压力

5. 高级优化：并行下载与速度控制

当需要下载大量文件时，串行下载效率较低。我们可以通过PowerShell的并行处理能力来加速下载过程，同时合理控制并发数以避免过度占用带宽。

# 在脚本开头添加参数 param( [int]$MaxConcurrentDownloads = 5 ) # 替换原来的foreach循环 $filesToDownload | ForEach-Object -Parallel { $file = $_.Trim() $source = "$using:s3BasePath/$file" $destination = "$using:OutputDir\$file" $retry = 0 $success = $false while ($retry -lt $using:RetryCount -and -not $success) { try { Write-Host "[尝试 $($retry+1)/$using:RetryCount] 正在下载: $file" aws s3 cp --no-sign-request $source $destination if ($LASTEXITCODE -eq 0) { $success = $true Add-Content -Path $using:successLog -Value $file -NoNewline Write-Host "下载成功: $file" -ForegroundColor Green } else { throw "AWS CLI返回错误代码: $LASTEXITCODE" } } catch { Write-Host "错误: $_" -ForegroundColor Red $retry++ if ($retry -lt $using:RetryCount) { Start-Sleep -Seconds (10 * $retry) } else { Add-Content -Path $using:failedLog -Value $file -NoNewline Write-Host "下载失败: $file" -ForegroundColor Yellow } } } } -ThrottleLimit $MaxConcurrentDownloads

提示：并行下载虽然能提高速度，但过度并发可能导致网络拥塞或触发AWS的速率限制。建议根据实际网络带宽调整$MaxConcurrentDownloads参数，通常5-10是个合理的范围。

6. 完整脚本与使用示例

结合以上所有优化，我们得到最终的完整脚本：

<# .SYNOPSIS 全球树冠高度数据批量下载工具 .DESCRIPTION 自动批量下载1米分辨率全球树冠高度数据瓦片，支持断点续传、错误重试和并行下载 .PARAMETER FileList 包含要下载的文件列表的文本文件路径 .PARAMETER OutputDir 下载文件保存的本地目录 .PARAMETER RetryCount 下载失败时的重试次数，默认为3 .PARAMETER MaxConcurrentDownloads 最大并发下载数，默认为5 .EXAMPLE .\DownloadTreeHeightData.ps1 -FileList "my_tiles.txt" -OutputDir "D:\ForestData" #> param( [string]$FileList = "file_list.txt", [string]$OutputDir = "D:\TreeHeightData", [int]$RetryCount = 3, [int]$MaxConcurrentDownloads = 5 ) # 初始化变量 $s3BasePath = "s3://dataforgood-fb-data/forests/v1/alsgedi_global_v6_float/chm" $successLog = "$OutputDir\_success.log" $failedLog = "$OutputDir\_failed.log" $startTime = Get-Date # 创建输出目录 if (-not (Test-Path $OutputDir)) { New-Item -ItemType Directory -Path $OutputDir | Out-Null } # 初始化日志文件 if (-not (Test-Path $successLog)) { New-Item $successLog -Force | Out-Null } if (-not (Test-Path $failedLog)) { New-Item $failedLog -Force | Out-Null } # 获取已成功下载的文件列表 $completedFiles = @{} Get-Content $successLog | ForEach-Object { if ($_ -ne "") { $completedFiles[$_] = $true } } # 处理文件列表 $filesToDownload = Get-Content $FileList | Where-Object { $_.Trim() -ne "" -and -not $completedFiles.ContainsKey($_) } if ($filesToDownload.Count -eq 0) { Write-Host "没有需要下载的文件 - 所有文件已成功下载" -ForegroundColor Green exit } Write-Host "开始批量下载树冠高度数据..." Write-Host "总文件数: $($filesToDownload.Count)" Write-Host "并发下载数: $MaxConcurrentDownloads" Write-Host "输出目录: $OutputDir`n" # 并行下载处理 $filesToDownload | ForEach-Object -Parallel { $file = $_.Trim() $source = "$using:s3BasePath/$file" $destination = "$using:OutputDir\$file" $retry = 0 $success = $false while ($retry -lt $using:RetryCount -and -not $success) { try { Write-Host "[尝试 $($retry+1)/$using:RetryCount] 正在下载: $file" aws s3 cp --no-sign-request $source $destination if ($LASTEXITCODE -eq 0) { $success = $true Add-Content -Path $using:successLog -Value $file Write-Host "下载成功: $file" -ForegroundColor Green } else { throw "AWS CLI返回错误代码: $LASTEXITCODE" } } catch { Write-Host "错误: $_" -ForegroundColor Red $retry++ if ($retry -lt $using:RetryCount) { $delay = [math]::Pow(2, $retry) # 指数退避 Start-Sleep -Seconds $delay } else { Add-Content -Path $using:failedLog -Value $file Write-Host "下载失败: $file" -ForegroundColor Yellow } } } } -ThrottleLimit $MaxConcurrentDownloads # 生成报告 $successCount = (Get-Content $successLog).Count $failedCount = (Get-Content $failedLog).Count $elapsedTime = (Get-Date) - $startTime Write-Host "`n下载完成!" Write-Host "总耗时: $($elapsedTime.ToString('hh\:mm\:ss'))" Write-Host "成功: $successCount 个文件" Write-Host "失败: $failedCount 个文件" if ($failedCount -gt 0) { Write-Host "`n失败文件列表已保存到: $failedLog" -ForegroundColor Yellow Write-Host "可以修改脚本增加重试次数后再次运行，仅下载失败的文件" }

使用示例：

将上述脚本保存为DownloadTreeHeightData.ps1
准备包含瓦片编号的file_list.txt文件
运行脚本：

# 基本用法 .\DownloadTreeHeightData.ps1 # 自定义参数 .\DownloadTreeHeightData.ps1 -FileList "my_tiles.txt" -OutputDir "E:\ForestData" -RetryCount 5 -MaxConcurrentDownloads 8

7. 常见问题与解决方案

在实际使用过程中，可能会遇到一些典型问题。以下是几个常见问题及其解决方法：

问题一：脚本执行权限不足

PowerShell默认限制脚本执行，解决方法：

# 以管理员身份运行PowerShell，然后执行： Set-ExecutionPolicy RemoteSigned

问题二：AWS CLI未找到

确保AWS CLI已正确安装并添加到PATH环境变量中。验证方法：

aws --version

如果未安装，可以使用脚本中的安装命令或手动下载安装。

问题三：下载速度慢

可以尝试以下优化措施：

调整并发下载数（通常5-10之间最佳）
确保网络连接稳定
在网络空闲时段运行脚本
使用更接近AWS服务器地理位置的网络

问题四：部分文件始终下载失败

可能是服务器端问题，可以：

等待一段时间后重试
检查文件是否确实存在于S3存储桶中
尝试手动下载单个文件，确认问题

问题五：日志文件过大

长时间使用后，日志文件可能变得很大。可以定期清理或使用旋转日志策略：

# 在脚本中添加日志旋转逻辑 if ((Get-Item $successLog).Length -gt 10MB) { $archiveName = "success_$(Get-Date -Format 'yyyyMMdd').log" Move-Item $successLog "$OutputDir\$archiveName" -Force }

通过这个完整的PowerShell解决方案，你可以轻松应对大规模树冠高度数据的下载任务，节省大量手动操作时间，同时确保数据的完整性和下载过程的可靠性。