存储系统按照抽象级别分类，分为三种：文件存储、对象存储、块存储。此处我们不讨论块存储，只讨论文件存储与对象存储。
文件存储是我们在日常生活中最熟悉的存储方式。它将数据组织成树状结构（目录/文件夹）。每个文件都位于特定的路径中，拥有文件名、大小、创建日期等有限的元数据。 典型的代表有NTFS、ext4、xfs、NTFS等。 访问协议有NFS、SMB/CIFS、POSIX接口。 文件存储的优势在于遍历目录速度快、支持随机写操作，POSIX接口使用广泛，无需客户端进行开发适配。
而对象存储是一种扁平化的存储架构。数据不再以层级结构存储，而是被视为一个“对象”，放到一个“桶”中进行管理。每个对象包含数据、元数据和全局唯一的key来构成。 典型的代表有Amazon S3, Google Cloud Storage, Tencent Cloud Object Storage, Ali OSS, ceph radosgw等。 访问现已为RESTful API(基于HTTP/HTTPS)。 对象存储的优势在于无限可扩展性、低成本、高可用性与持久性，便于网络访问。因此一般用于镜像仓库的存储端、海量文件的备份归档等。
AI训练存储选型的演进路线
第一阶段：单机直连时代
早期的深度学习数据集较小，模型训练通常在单台服务器或单张GPU卡上完成。此时直接将数据存储在训练机器的本地NVMe SSD/HDD上。
其优势在于IO延迟最低，吞吐量极高，也就是“数据离计算最近”。缺点也很明显：
数据孤岛：多台机器无法共享数据，数据拷贝（scp/rsync)及其耗时。
容量受限：本地磁盘容量有限。
数据安全：数据没有冗余，机器或盘挂了，数据可能就丢了。
第二阶段：传统共享存储时代（NFS/NAS）
到后来开始团队协作，训练规模也变大，则需要多机多卡分布式训练，同时出于使用方便，大家希望像操作本地文件一样操作共享数据。
此时开始以NFS（Network File System)挂载传统的NAS存储阵列来使用。
其优势在于POSIX兼容，不需要修改PyTorch/TensorFlow代码，直接读写文件路径，共享也十分便利，所有节点看到的目录结构一致。缺点则在于元数据性能瓶颈，NFS在处理海量小文件的open,lookup操作时，元数据服务器可能被瞬间打死。另外，所有计算节点抢占同一个NAS的出口带宽，也可能导致GPU等待IO，造成GPU无法维持高使用率。
第三阶段：大数据融合时代（HDFS）
Google等大厂入局，Hadoop诞生。数据存储在HDFS上，通过一些软件层面的优化将大量小图片打包成大文件，变成“顺序读”，训练代码通过API读取。这样就能够极大地利用HDFS的设计初衷：吞吐量极高、大规模顺序读，同时还能利用现成的大数据基础设施。
但同样有缺点：
生态割裂：PyTorch对HDFS支持不如TensorFlow友好。
随机访问差：对于需要频繁Shuffle(随机打乱)的数据集，HDFS性能不佳。
Java开销：HDFS客户端通常较重，占用CPU资源
第四阶段：高性能并行文件系统（HPC/Parallel FS)
此时的AI领域进入超算时代，模型越来越大，对低延迟和超高带宽的要求极高。
此时的方案是借用超算（HPC）领域的Lustre或GPFS（IMB Spectrum Scale)。优点在于专为高并发设计，可以轻松喂饱数千张GPU，支持POSIX，且元数据性能极强。缺点则在于贵，运维难（Lustre等系统内合级调优十分困难，一旦集群崩溃，恢复十分困难），扩容困难，很难像云存储那样弹性伸缩。
第五阶段：存算分离与分层架构（Object Storage + Cache)
当前这个时代即云原生时代，数据集达到PB级别，成本成为了核心考量。对象存储最便宜且容量无限，但性能（尤其是元数据）不够好。 此时针对元数据有了若干解决方案：
