张量网络机器学习：从量子物理到高维数据建模的跨界实践

1. 从量子纠缠到数据关联：张量网络的跨界启示

最近几年，如果你同时关注量子物理和机器学习的前沿动态，可能会发现一个有趣的现象：一些原本在凝聚态物理领域用来描述量子多体系统的数学工具——张量网络，正悄然渗透到机器学习的研究中，形成了一种被称为“张量网络机器学习”的新范式。这听起来有点跨界，甚至有些“硬核”，但它背后蕴含的降维、特征提取和高效表示思想，却为解决传统机器学习中的一些顽疾提供了全新的视角。

我第一次接触这个概念，是在尝试处理一个超高维的推荐系统数据时。用户-物品交互矩阵的稀疏性和维度灾难让我头疼不已。传统的矩阵分解（MF）或深度学习模型在参数爆炸和过拟合之间艰难平衡。直到我看到一篇将矩阵乘积态（MPS，一种张量网络）用于协同过滤的论文，才恍然大悟：原来量子物理学家们几十年来一直在和指数级复杂的系统作斗争，他们发展出的这套“降维打击”方法，或许正是我们需要的。张量网络的核心价值，在于它提供了一种系统性的、可解释的、且理论上非常优雅的方式，来压缩和表示高维数据中复杂的关联结构，这与机器学习中从数据中学习有效表示的目标不谋而合。

简单来说，张量网络机器学习不是要取代神经网络，而是提供另一种构建模型和理解模型的“语言”。它特别适合那些数据内部存在强局部关联或特定拓扑结构的问题，比如图像、视频、自然语言序列，甚至是社交网络或分子结构。对于机器学习从业者而言，理解这一范式，相当于在工具箱里又多了一把专门对付高维、结构化数据的瑞士军刀。接下来，我将抛开复杂的物理背景，直接从机器学习应用的角度，拆解张量网络的核心思想、几种主流模型结构、以及如何将其落地到实际任务中。

2. 张量网络的核心思想：为何量子物理的工具能用于机器学习？

要理解张量网络在机器学习中的应用，首先得暂时忘掉那些令人望而生畏的物理概念，比如量子态、哈密顿量。我们可以从一个更直观的机器学习角度来重新审视“张量”和“网络”。

在机器学习中，我们最常打交道的其实是张量的特例：标量是0维张量（一个数），向量是1维张量（一串数），矩阵是2维张量（一个二维数组）。一张RGB图片，可以看作一个三维张量（高度×宽度×通道）。一个视频序列，则是四维张量（时间×高度×宽度×通道）。传统全连接神经网络处理高维输入时，会先将其“拍平”成一个巨大的一维向量，这无疑破坏了数据固有的空间或序列结构，并且导致第一层网络的参数数量极其庞大。

张量网络提供了一种不同的思路：它不“拍平”数据，而是将高维张量（数据）分解或近似为一系列低维张量（核心张量）按照特定方式连接而成的网络。这个“连接方式”就是网络的拓扑结构，它显式地编码了我们对数据内部关联结构的先验假设。

为什么这种思想有优势？关键在于它对“关联”的建模方式。

想象一个包含N个像素的黑白图片，每个像素取值0或1。完整描述这张图片需要2^N个概率值（对应所有可能的像素组合），这是一个指数大的空间。全连接神经网络试图用大量神经元和非线性激活函数来拟合这个指数空间中的函数，这是非常低效的。而张量网络假设：一个像素主要与其邻近的像素相关，而非与图像中所有像素都强相关。这种“局部关联”的假设，允许我们用一种更经济的方式来表示整个系统。

以矩阵乘积态（Matrix Product State, MPS）为例，它也叫张量链（Tensor Train）。MPS将一个高维张量（比如一个N维向量）表示成N个小矩阵（实际上是三阶张量）的乘积。每个小矩阵对应一个“站点”（如图像中的一个像素），它有一个“物理指标”（连接原始数据）和两个“虚拟指标”（或称“键指标”），分别连接左右邻居。虚拟指标的维度称为“键维数”（bond dimension），它是控制模型复杂度和表示能力的关键超参数。

数据向量 (维度 d^N) ≈ A1 * A2 * A3 * ... * AN 其中，Ai 是一个秩为3的张量，形状为 (D_{i-1}, d, D_i)。d是物理维度（如像素取值数2），D是键维数。

这种表示带来了几个直接的好处：

1. 参数剧减：原始参数数量是d^N，而MPS的参数数量约为N * d * D^2。只要键维数D远小于d^{N/2}，就能实现指数级的压缩。这对于处理高维数据至关重要。
2. 保留结构：网络的链式结构天然适合序列数据（如一维信号、文本、时间序列），其中相邻站点间的关联最强。我们可以很自然地将文本中每个单词嵌入表示为一个张量，然后用MPS来建模整个句子的语义。
3. 可解释性：键维数D的大小可以直观地理解为“保留了多少信息”或“关联的强度”。通过对键维数进行截断（类似矩阵的SVD截断），可以实现可控的降维和去噪。
4. 数学性质优良：许多张量网络形式具有严格的可计算性保证，例如规范形式、最优缩并顺序等，这为优化算法提供了坚实的理论基础，避免了神经网络中常见的梯度消失/爆炸等问题的部分根源。

在实际机器学习任务中，我们通常不是直接拿张量网络去表示数据本身，而是用张量网络来表示一个函数或一个概率分布。例如，在分类任务中，我们可以将分类器函数f(x)的参数用张量网络来表示；在生成模型中，我们可以用张量网络来表示数据的联合概率分布P(x)。训练过程就是通过优化算法（通常是基于梯度的交替最小二乘ALS或直接梯度下降）来调整这些核心张量的数值，以最小化损失函数。

3. 主流张量网络模型结构及其机器学习对应物

张量网络不是一个单一的模型，而是一个模型家族，不同的网络拓扑对应于不同的数据关联假设。理解几种主流结构及其适用场景，是将其应用于机器学习的关键。

3.1 矩阵乘积态/张量链：处理序列数据的利器

MPS/TT是结构最简单、应用最广泛的张量网络之一。如前所述，它是一条“链”，适合建模一维序列数据中相邻元素间的关联。

在机器学习中的典型应用：

• 序列建模与分类：对于文本分类，可以将句子中每个单词的词嵌入向量作为输入。一个MPS模型可以沿着句子序列收缩这些嵌入向量，最终输出一个标量（用于回归）或一个向量（用于分类）。这个过程可以理解为学习一个沿着序列传播的、压缩的上下文表示。
• 替代循环神经网络：与RNN或LSTM相比，MPS具有固定深度的计算图，不存在梯度消失的长期依赖问题（在规范形式下）。它的表达能力由键维数D控制，模型更易于分析和正则化。
• 推荐系统：在协同过滤中，用户-物品评分矩阵可以视为一个巨大的二维张量。MPS的二维推广——张量环（Tensor Ring）——可以用来分解这个矩阵，其环形结构避免了MPS中边界效应，有时能获得更好的性能。

实操中的一个关键点：MPS的输入通常需要是离散的，或者被映射到一组离散的基上。对于连续值特征，一种常见做法是先用一组非线性函数（如高斯径向基函数）将其映射到高维空间，再进行张量网络计算。这类似于核方法的思想。

3.2 树张量网络：捕获层次化特征

树张量网络将核心张量排列成树形结构（通常是二叉树）。这种结构假设数据内部的关联具有层次性：局部特征先组合成中级特征，再进一步组合成高级特征。

在机器学习中的典型应用：

• 图像处理：一张图像天然具有空间层次结构。树张量网络（特别是多层树张量网络）可以模仿卷积神经网络（CNN）的层次化特征提取过程。底层的张量处理局部像素块，逐层向上合并，最终得到图像的全局表示。与CNN相比，树张量网络的理论参数效率可能更高，并且其计算过程可以表示为张量缩并，没有非线性激活函数，优化过程可能更平滑。
• 自然语言处理：对于句子，除了序列结构，词语之间也存在语法树状的层次关联（如短语结构）。树张量网络可以依据给定的语法树结构来组织计算，从而更好地建模句子的语义组合性。
• 量子化学计算：在分子能量预测等任务中，电子的波函数具有强烈的多体关联，树张量网络（如树张量网络态）是高度有效的表示方法。这启发了将其用于分子性质预测的机器学习任务。

我的经验是，树张量网络的性能非常依赖于树的拓扑结构是否与数据的内在关联结构匹配。为图像设计一个与多尺度结构对齐的树，通常比使用一个随机的树效果要好得多。这类似于CNN中卷积核大小和池化策略的设计，需要领域知识。

3.3 投影纠缠对态：处理二维关联的强者

投影纠缠对态（Projected Entangled Pair States, PEPS）是MPS向二维的推广。在PEPS中，每个核心张量放置在二维网格的格点上，与上下左右四个邻居相连（键）。这使其非常适合建模具有平面内局部关联的数据。

在机器学习中的典型应用：

• 图像分析与生成：这是PEPS最自然的应用场景。每个像素对应一个格点，PEPS可以直接对像素间的空间关联进行建模。它可以用于图像压缩、去噪、补全，甚至作为生成模型来学习图像的分布。与CNN相比，PEPS是一种非参数化的、基于统计物理的模型，提供了一种不同的建模视角。
• 棋盘格数据建模：任何具有类似网格结构的数据，如地理空间数据、传感器网络数据等，都可以考虑使用PEPS或其变种。

然而，PEPS有一个显著的挑战：计算复杂度。精确计算PEPS的归一化或边缘概率是#P难问题，通常需要近似算法，如边界矩阵乘积态方法。这使得训练大规模的PEPS模型在实践中有一定难度。通常，研究人员会采用简化版本或在小规模图像（如8x8的MNIST）上进行原理性验证。

3.4 多尺度纠缠重整化：自动学习特征尺度

多尺度纠缠重整化（Multiscale Entanglement Renormalization Ansatz, MERA）是一种比树张量网络更复杂的层次化网络，它包含了“纠缠层”和“重整化层”的交替。MERA不仅能捕获层次特征，还能描述不同尺度之间的量子纠缠（在机器学习中可理解为多尺度特征间的复杂关联）。

在机器学习中的应用更偏向前沿探索：

• 深度学习理论解释：MERA的网络结构（尤其是带有纠缠门的）与深度神经网络有深刻的相似之处。每一层可以看作是对信息的重整化（粗粒化）和纠缠（特征混合）。研究MERA有助于从信息论和重整化群的角度理解深度学习的有效性。
• 处理具有复杂多尺度关联的数据：例如，在气候数据或金融时间序列中，同时存在短期波动和长期趋势。MERA这种显式建模多尺度关联的结构可能具有优势。

对于大多数实践者，MERA可能过于复杂。但了解它有助于理解张量网络与深度学习之间更深层的联系。

提示：选择哪种张量网络结构，首要考虑的是你的数据最自然的关联结构是什么。不要试图用PEPS去处理一维文本，也不要指望MPS能完美捕获图像的二维空间关联。先验结构的匹配度是模型成功的前提。

4. 实战：用矩阵乘积态构建一个文本分类器

理论说了这么多，我们来点实际的。我将以最简单的MPS为例，展示如何用Python构建一个用于文本分类的张量网络模型。我们会使用numpy作为核心计算库，为了清晰起见，这里主要展示原理和关键步骤，实际生产环境可能需要更优化的张量操作库（如torch或jax）。

任务：情感分析（二分类），判断电影评论是正面还是负面。

步骤1：数据准备与离散化

张量网络通常处理离散输入。我们将文本转化为词袋模型（Bag-of-Words），但这里每个单词不是用一个数字表示，而是用一个局部特征向量（可以理解为一种嵌入）。

import numpy as np from sklearn.feature_extraction.text import CountVectorizer from sklearn.model_selection import train_test_split # 假设我们有文本列表 `texts` 和标签列表 `labels` (0/1) vectorizer = CountVectorizer(max_features=2000) # 限制词汇表大小 X_counts = vectorizer.fit_transform(texts).toarray() # 形状: (n_samples, vocab_size) # 关键步骤：将每个单词的计数向量“离散化”。 # 一种简单方法：使用一个小的嵌入矩阵将每个单词映射到一个低维向量。 # 这里我们随机初始化一个嵌入矩阵，实际中可以使用预训练词向量。 vocab_size = X_counts.shape[1] embedding_dim = 10 # 物理维度 d word_embedding = np.random.randn(vocab_size, embedding_dim) # 对于一篇文档，我们将其表示为所有单词嵌入向量的平均（或求和）。 # 但为了保持序列结构，我们更希望保留每个单词的嵌入。 # 假设我们固定序列长度 N（如截断或填充到100个词） max_seq_len = 100 def text_to_tensor_sequence(text): # 将单个文本转化为序列张量，形状 (max_seq_len, embedding_dim) # 这里简化处理：先得到词ID序列，然后查表得到嵌入向量 pass # 具体实现略 # 最终得到数据集：一个四阶张量，形状 (n_samples, max_seq_len, embedding_dim) # 为了简化，我们这里假设已经处理成固定长度序列的嵌入张量 `X_sequence`

步骤2：定义MPS分类器模型

我们的分类器是一个函数 f(x)，输入是一个序列张量（形状为[N, d]），输出一个标量（用于逻辑回归）或一个二维向量（用于二分类）。我们用MPS来表示这个函数的参数。

class MPSClassifier: def __init__(self, seq_len, phys_dim, bond_dim, output_dim=1): """ 初始化一个MPS分类器。 seq_len: 序列长度 N phys_dim: 物理维度 d (即词嵌入维度) bond_dim: 键维数 D output_dim: 输出维度，二分类通常为1（标量）或2（向量） """ self.N = seq_len self.d = phys_dim self.D = bond_dim self.out_dim = output_dim # 初始化MPS核心张量列表。每个核心张量形状为 (D_left, d, D_right) # 边界条件：第一个和最后一个张量的 D_left 或 D_right 为1（或等于output_dim） self.cores = [] for i in range(seq_len): if i == 0: # 第一个核心: (1, d, D) shape = (1, self.d, self.D) elif i == seq_len - 1: # 最后一个核心: (D, d, output_dim) shape = (self.D, self.d, self.out_dim) else: # 中间核心: (D, d, D) shape = (self.D, self.d, self.D) core = np.random.randn(*shape) * 0.01 # 小随机初始化 self.cores.append(core) def forward(self, input_sequence): """ 前向传播。input_sequence 形状为 (N, d) 返回一个标量或向量。 """ # 将输入序列与每个核心张量的物理指标缩并 # 结果是一个沿着链收缩的“收缩路径” # 简单实现：从左到右顺序收缩 current_tensor = None for i in range(self.N): # 获取当前输入向量 (d,) x_i = input_sequence[i] # 获取当前核心张量 core_i (D_left, d, D_right) core_i = self.cores[i] # 缩并物理指标：core_i * x_i -> (D_left, D_right) # 相当于在物理指标上做点积 contracted = np.tensordot(core_i, x_i, axes=([1], [0])) # 形状 (D_left, D_right) if current_tensor is None: # 第一个张量 current_tensor = contracted # (1, D) else: # 将当前收缩结果与累积张量结合 # current_tensor 形状 (..., D_left_prev) # 需要与 contracted (D_left_curr, D_right_curr) 在共享的键指标上缩并 # 这里 D_left_prev 应等于 D_left_curr (即上一个核心的 D_right) current_tensor = np.tensordot(current_tensor, contracted, axes=([-1], [0])) # 最终 current_tensor 形状应为 (output_dim,) 或标量 return current_tensor.squeeze() # 去除多余的维度

步骤3：训练与优化

训练MPS通常使用交替最小二乘法（ALS）或梯度下降。ALS每次优化一个核心张量，将其它核心固定，将问题转化为一个线性最小二乘问题，求解效率高且稳定。这里为了简化，我们展示梯度下降法。

def train_mps(model, X_train, y_train, epochs=100, lr=0.01): """ 使用梯度下降训练MPS模型。 这里使用均方误差损失和逻辑回归（通过sigmoid）。 """ from scipy.special import expit # sigmoid函数 for epoch in range(epochs): total_loss = 0 for x_seq, y_true in zip(X_train, y_train): # 前向传播 y_pred_raw = model.forward(x_seq) # 标量 y_pred = expit(y_pred_raw) # 映射到(0,1) # 计算损失（二分类交叉熵的梯度简化形式） loss = - (y_true * np.log(y_pred) + (1-y_true)*np.log(1-y_pred)) total_loss += loss # 反向传播计算梯度（这里需要手动推导或使用自动微分库） # 为简化，我们省略详细的手动梯度计算，它涉及对每个核心张量的偏导。 # 在实际中，强烈建议使用支持张量自动微分的框架，如 PyTorch 或 JAX。 # 以下为伪代码： # grad_cores = compute_gradients_via_backprop(model, x_seq, y_true, y_pred) # for i, core in enumerate(model.cores): # core -= lr * grad_cores[i] # 更新核心张量（此处应为梯度更新步骤，已省略） # ... if epoch % 10 == 0: print(f"Epoch {epoch}, Avg Loss: {total_loss / len(X_train):.4f}")

关键注意事项与实操心得：

1. 初始化很重要：MPS核心张量应使用小随机数初始化，类似于神经网络。全零初始化会导致梯度为零。
2. 规范形式：在ALS算法中，通常将MPS转换为“中心规范形式”，即选择一个核心作为“中心”，将其它核心通过正交化处理（如QR或SVD）变为左/右正交矩阵。这能极大地提高数值稳定性和优化效率。这是MPS实践中最关键的技巧之一，但在简单的梯度下降中可能不是必须的。
3. 梯度问题：直接使用梯度下降法训练MPS，可能会遇到梯度不稳定或消失的问题，尤其是在链较长时。这就是为什么ALS在张量网络社区更受青睐。如果你用PyTorch实现，可以利用自动微分，但要注意对计算图进行适当的优化。
4. 正则化：键维数D是控制模型容量的主要超参数。D太小会导致欠拟合，太大会过拟合。除了调整D，还可以在损失函数中加入对核心张量Frobenius范数的惩罚（L2正则化）。
5. 输入处理：本例中将文本处理为固定长度序列并取平均嵌入，丢失了位置信息。更高级的做法是引入位置嵌入，或者使用考虑了顺序的收缩方式。

这个例子虽然简单，但揭示了用张量网络做机器学习的基本流程：将数据表示为张量 -> 用具有特定结构的张量网络表示模型函数 -> 通过优化算法学习网络参数。尽管在NLP领域，Transformer已占据主导，但MPS作为一种轻量级、可解释性强的序列模型，在小规模数据或资源受限场景下仍有其价值，更重要的是，它为我们理解序列建模提供了另一个清晰的数学框架。

5. 张量网络机器学习的优势、挑战与适用场景

经过前面的原理分析和实战演练，我们可以更系统地总结一下，张量网络这套范式究竟给机器学习带来了什么，它的边界又在哪里。

核心优势：

1. 参数高效性与可解释性：这是张量网络最吸引人的地方。通过键维数等少数几个超参数，就能明确控制模型的复杂度。网络的拓扑结构直接反映了我们对数据关联结构的假设，这使得模型不像深度神经网络那样像个“黑箱”。你可以通过检查键维数的大小或可视化核心张量，来理解模型学到了什么。
2. 对抗过拟合的潜力：由于其参数数量远少于同等“宽度”的全连接网络，张量网络模型天生具有更小的容量，在数据量有限时可能更不容易过拟合。理论上的低秩结构也起到了正则化的作用。
3. 坚实的数学基础：张量网络建立在多线性代数和统计物理的坚实基础上，其性质（如可计算性、逼近能力）有严格的数学描述。这为模型设计、算法收敛性和泛化能力分析提供了理论工具，与深度学习依赖大量实验调参的风格形成互补。
4. 处理特定结构数据的自然性：对于具有明确网格、树或序列结构的数据，对应的张量网络结构（PEPS、TTN、MPS）提供了一种非常自然且高效的建模方式，无需像CNN或RNN那样通过堆叠层来隐式地捕获这些结构。

当前面临的挑战：

1. 计算复杂度：这是阻碍张量网络大规模应用的主要瓶颈。虽然MPS的计算相对高效，但像PEPS或任意拓扑的张量网络，其精确收缩是NP-hard问题。尽管有近似算法（如基于MPS的边界方法），但其计算开销仍然显著高于高度优化的GPU矩阵乘法。训练大规模张量网络模型（如处理ImageNet尺寸的图像）目前仍不现实。
2. 优化难度：虽然ALS算法对于许多问题是稳定有效的，但它是一种块坐标下降法，可能收敛到局部最优。基于梯度的优化则需要小心处理数值问题。此外，如何为张量网络设计自适应优化器（类似Adam），仍是一个活跃的研究课题。
3. 缺乏成熟的软件生态：相比于PyTorch、TensorFlow等深度学习框架，张量网络的专用库（如TeNPy、ITensor、TNTorch）在易用性、文档、社区支持和硬件加速（GPU）方面仍有较大差距。这提高了研究人员和工程师的应用门槛。
4. 模型灵活性：张量网络的表达能力受限于其固定的拓扑结构。对于结构未知或关联模式复杂的数据，如何自动学习或搜索最优的网络拓扑，是一个开放问题。而深度神经网络通过堆叠简单的层，可以产生极其灵活的函数逼近能力。

那么，张量网络机器学习适合谁？在什么场景下值得尝试？

• 理论研究与交叉学科探索者：如果你对机器学习的数学基础、可解释性、以及与物理学的交叉感兴趣，张量网络是一个绝佳的切入点。它提供了不同于神经网络的建模哲学。
• 处理中小规模、强结构数据：当你的数据维度很高但样本量有限，并且数据内部有明确的局部或层次关联（如小尺寸图像、分子图、短文本序列、传感器网络数据）时，张量网络可能是一个参数效率更高的选择，有助于避免过拟合。
• 对模型可解释性有高要求的场景：在医疗、金融等领域，模型的决策过程需要被理解。张量网络相对清晰的结构和参数可能更容易进行事后分析。
• 作为现有模型的补充或组件：不必将张量网络视为替代品。它可以作为神经网络中的一层（例如，用MPS层替代全连接层），用于压缩特征或建模特定模式；也可以与图神经网络结合，用于处理图结构数据。

在我个人的几次尝试中，将树张量网络用于小图像分类（如MNIST、Fashion-MNIST），在参数远少于简单CNN的情况下，达到了可比的精度。这验证了其在参数效率上的优势。但在处理CIFAR-10这类更复杂的图像时，纯张量网络模型很快就遇到了精度瓶颈，需要引入更多的技巧（如数据预处理、更复杂的网络设计）。这提醒我们，现阶段将张量网络视为一个特色鲜明的专用工具，而非通用解决方案，可能是更务实的态度。它的价值在于为我们提供了另一种思考数据和模型的方式，尤其是在我们被深度学习的“暴力美学”包围时，这种具有简洁数学美的范式如同一股清流，可能在未来与其他技术（如微分编程、注意力机制）融合后，催生出更强大的模型。