1. 卫星遥感数据预处理的重要性
第一次接触卫星遥感数据时，我被那些看起来花花绿绿的TIFF图像搞得一头雾水。这些图像不仅尺寸巨大，还包含多个波段的信息，和普通照片完全不同。后来在实际项目中踩过几次坑才明白，遥感数据预处理的质量直接决定了模型训练的成败。
多波段TIFF文件通常包含可见光、近红外等不同波段的反射率数据。比如高分二号卫星的影像，每个像素点可能包含4-8个不同波段的值。这些数据在数值范围和分布上都有其特殊性：原始DN值（Digital Number）通常在0-65535之间，而实际地表反射率可能只有0.1-0.3。如果不做归一化处理直接扔给神经网络，模型很可能完全学不到有效特征。
我在处理某次农作物分类任务时，就遇到过因为数据预处理不当导致模型准确率卡在60%上不去的尴尬情况。后来发现是近红外波段的数值范围比其他波段大了一个数量级，导致模型过度关注这个波段。通过标准化处理后，准确率直接提升了25个百分点。
2. 多波段TIFF文件的读取与解析
2.1 常用工具库选择
处理遥感TIFF文件，Python生态有几个得力的工具。我最常用的是rasterio库，它专门为地理空间数据设计，比通用的PIL或OpenCV更适合处理带有地理坐标信息的遥感影像。安装很简单：
pip install rasterio读取一个多波段TIFF文件的基本操作如下：
import rasterio with rasterio.open('GF2_2018.tif') as src: # 读取所有波段数据 data = src.read() # 获取元数据 profile = src.profile这里有个容易踩的坑：TIFF文件的波段顺序可能和你想的不一样。有些数据商会把近红外波段放在第一个位置，而不是常见的RGB顺序。我建议每次读取后都打印下data.shape确认波段维度，比如(4, 512, 512)表示4个波段，每个512x512大小。
2.2 波段组合与可视化
对于不熟悉遥感数据的朋友，我强烈建议先用matplotlib做个可视化看看各波段长什么样：
import matplotlib.pyplot as plt # 假设数据是[波段, 高, 宽]格式 plt.figure(figsize=(15,5)) for i in range(data.shape[0]): plt.subplot(1, data.shape[0], i+1) plt.imshow(data[i], cmap='gray') plt.title(f'Band {i+1}') plt.show()在最近的一个土地覆盖分类项目中，我发现某卫星数据的第4波段（红边波段）对区分植被类型特别有用。通过这样的可视化检查，可以快速判断哪些波段信息量更大，值得重点关注。
3. 遥感数据的数值处理技巧
3.1 DN值到反射率的转换
原始卫星数据通常是DN值，需要转换为真实的物理量。这个转换系数通常能在数据文档中找到，比如：
# 假设转换系数为0.0001 reflectance = data * 0.0001但要注意，不同波段的转换系数可能不同。我有次就犯过所有波段用同一个系数的错误，导致植被指数计算完全错误。稳妥的做法是查阅具体卫星的数据手册，或者联系数据提供商确认。
3.2 归一化与标准化
神经网络对输入数据的尺度很敏感。我常用的处理方法是对每个波段单独做归一化：
import numpy as np # 逐波段归一化到[0,1] normalized = np.zeros_like(data, dtype=np.float32) for i in range(data.shape[0]): band = data[i] normalized[i] = (band - np.min(band)) / (np.max(band) - np.min(band))对于有些模型（如ResNet），标准化（减均值除方差）可能效果更好。但要注意，遥感数据的统计特性在不同区域差异很大。我在处理全国范围数据时，会先采样计算全局统计量：
# 计算训练集的全局均值和标准差 global_mean = np.mean(train_data, axis=(0,2,3)) # 按波段计算 global_std = np.std(train_data, axis=(0,2,3))4. 数据增强的特殊考量
遥感影像的数据增强和普通图片有些不同。常规的水平翻转、旋转在遥感场景中完全适用，但要注意几点：
- 色彩抖动要谨慎使用，因为波段间的物理关系很重要
- 裁剪时要保持足够大的上下文，地物识别往往需要周边环境信息
- 多波段数据要同步增强，保持波段对齐
我常用的增强管道是这样的：
import albumentations as A transform = A.Compose([ A.RandomRotate90(), A.Flip(), A.RandomCrop(256, 256), A.RandomBrightnessContrast(p=0.2), ])在最近的实验中，我发现适当加入随机云层遮挡的模拟可以提升模型在多云影像上的鲁棒性。这个技巧在处理东南亚地区数据时特别有用。
5. 适配深度学习框架的格式转换
5.1 转换为张量格式
PyTorch和TensorFlow对输入格式有不同要求。我习惯先统一转换为CHW格式（通道、高、宽），再根据框架调整：
# 假设normalized是[波段,高,宽]的numpy数组 import torch tensor = torch.from_numpy(normalized).float() # 对于TensorFlow tf_tensor = tf.convert_to_tensor(np.transpose(normalized, (1,2,0)))5.2 构建高效数据管道
处理大型遥感数据集时，我推荐使用PyTorch的Dataset类。这里分享一个经过优化的实现：
from torch.utils.data import Dataset class SatelliteDataset(Dataset): def __init__(self, file_list, transform=None): self.files = file_list self.transform = transform def __getitem__(self, idx): with rasterio.open(self.files[idx]) as src: data = src.read() # 简单的归一化 data = data / 10000.0 if self.transform: data = self.transform(image=data)['image'] return torch.from_numpy(data).float() def __len__(self): return len(self.files)这个实现有几个优化点：延迟加载（只在需要时读取文件）、在线转换、自动类型转换。在大规模训练时可以节省不少内存。
6. 处理超大尺寸影像的策略
高分二号的全景影像可能超过10000x10000像素，直接加载会爆内存。我常用的解决方案是分块处理：
from rasterio.windows import Window def read_tile(filename, x, y, size=256): with rasterio.open(filename) as src: window = Window(x, y, size, size) return src.read(window=window)另一个策略是使用内存映射文件，rasterio支持这个功能：
src = rasterio.open('large.tif', 'r+') # 实际数据仍在磁盘上，按需加载 data = src.read(masked=True)在最近的一个项目中，我结合了分块和金字塔策略，处理了超过50GB的卫星影像数据。关键是要设计好数据流的顺序，避免频繁的IO操作。
7. 多时相数据的处理方法
当处理同一区域不同时间的影像时，对齐就变得很重要。我常用的对齐流程是：
- 使用GDAL进行精确的地理配准
- 检查各时相影像的投影信息是否一致
- 必要时进行重采样
from osgeo import gdal # 将目标影像配准到参考影像 gdal.Warp('output.tif', 'source.tif', options=['-t_srs', 'EPSG:32650', '-r', 'bilinear'])处理多时相数据时，我发现波段顺序的一致性特别重要。为此我专门写了个检查脚本，确保每个时间点的数据都按照相同的波段顺序排列。
8. 实际项目中的经验分享
在最近完成的农作物分类项目中，我们处理了超过2TB的多光谱数据。总结几个关键经验：
- 预处理阶段要保留原始数据备份，我曾经因为误操作覆盖了原始文件，导致整个项目延期
- 建立完整的数据处理日志，记录每个文件的处理参数和日期
- 对于大型数据集，预处理脚本要设计成可断点续跑的
- 多光谱数据的存储很占空间，可以考虑使用压缩率更高的格式，如JPEG2000
关于性能优化，我发现将预处理好的数据保存为HDF5格式可以大幅提升后续读取速度。特别是当使用SSD存储时，训练数据加载不再是瓶颈。
