实战指南：在Linux下动手验证DMA与链式DMA（附代码与避坑点）

Linux环境下DMA与链式DMA实战：从原理到代码实现

在嵌入式系统和服务器开发中，直接内存访问（DMA）技术是提升I/O性能的关键。当我们需要处理高速数据流时——无论是来自FPGA的数据采集、网络数据包处理还是存储设备的大规模数据传输——理解DMA的工作机制和Linux内核提供的相关API都至关重要。本文将带您从零开始，通过可运行的代码示例，深入探索DMA的核心概念和实际应用。

1. DMA基础与Linux内核接口

DMA允许外设直接与系统内存交换数据，无需CPU介入每次传输。在Linux环境下，我们需要理解几个关键概念：

• 一致性DMA映射：用于长期存在的缓冲区，由dma_alloc_coherent()分配
• 流式DMA映射：用于一次性传输，使用dma_map_single()等接口
• DMA地址：设备看到的物理地址，可能与CPU物理地址不同（特别是在IOMMU启用时）

让我们看一个简单的内核模块示例，演示如何分配DMA缓冲区：

#include <linux/module.h> #include <linux/dma-mapping.h> #define BUF_SIZE 4096 static char *dma_buf; static dma_addr_t dma_handle; static int __init dma_demo_init(void) { dma_buf = dma_alloc_coherent(NULL, BUF_SIZE, &dma_handle, GFP_KERNEL); if (!dma_buf) { printk(KERN_ERR "Failed to allocate DMA buffer\n"); return -ENOMEM; } printk(KERN_INFO "Allocated DMA buffer: virt=%p, phys=%pad\n", dma_buf, &dma_handle); return 0; } static void __exit dma_demo_exit(void) { if (dma_buf) dma_free_coherent(NULL, BUF_SIZE, dma_buf, dma_handle); } module_init(dma_demo_init); module_exit(dma_demo_exit);

这段代码展示了最基本的DMA缓冲区分配和释放过程。值得注意的是：

• dma_alloc_coherent返回两个地址：虚拟地址（CPU使用）和DMA地址（设备使用）
• 在IOMMU启用时，这两个地址可能完全不同
• 分配的内存默认是缓存一致的，适合设备与CPU频繁交换数据的场景

2. 处理非连续内存：Scatter-Gather列表

实际应用中，我们经常需要处理物理上不连续的内存区域。这时就需要使用散列表（scatter-gather list）技术。Linux内核提供了完善的SG列表支持，让我们能够高效地处理分散的内存块。

2.1 SG列表工作原理

SG列表的核心数据结构是scatterlist，它描述了一个物理连续的内存块。多个scatterlist可以组成一个表，描述整个分散的缓冲区：

struct scatterlist { unsigned long page_link; unsigned int offset; unsigned int length; dma_addr_t dma_address; };

创建和使用SG列表的典型流程如下：

1. 准备物理上分散的内存页
2. 创建SG表并初始化各条目
3. 映射SG表到设备可见的DMA地址空间
4. 将映射后的SG表信息传递给设备
5. 传输完成后取消映射

2.2 实战代码示例

以下代码展示了如何从用户空间缓冲区创建SG列表：

#include <linux/scatterlist.h> int create_sg_from_userbuf(struct device *dev, void __user *user_buf, size_t len, struct sg_table *sgt) { struct page **pages; int ret, n_pages, i; n_pages = DIV_ROUND_UP(offset_in_page(user_buf) + len, PAGE_SIZE); pages = kmalloc_array(n_pages, sizeof(struct page *), GFP_KERNEL); if (!pages) return -ENOMEM; ret = get_user_pages_fast((unsigned long)user_buf, n_pages, 1, pages); if (ret < n_pages) { if (ret > 0) { for (i = 0; i < ret; i++) put_page(pages[i]); } kfree(pages); return -EFAULT; } ret = sg_alloc_table_from_pages(sgt, pages, n_pages, offset_in_page(user_buf), len, GFP_KERNEL); if (ret) { for (i = 0; i < n_pages; i++) put_page(pages[i]); kfree(pages); return ret; } kfree(pages); return 0; }

注意：使用用户空间缓冲区时要特别小心，必须确保缓冲区被锁定在内存中（pinned），否则可能引发页面错误。

3. 链式DMA实现与优化

链式DMA（Chained DMA）允许设备自动处理多个不连续的缓冲区，通过描述符链表（Descriptor List）实现。这种技术在高速网络设备和存储控制器中非常常见。

3.1 描述符结构设计

典型的DMA描述符包含以下字段：

以下是一个简化的描述符结构示例：

struct dma_desc { dma_addr_t src_addr; dma_addr_t dst_addr; u32 length; u32 flags; #define DESC_FLAG_LAST 0x01 // 最后一个描述符 dma_addr_t next; // 下一个描述符的DMA地址 };

3.2 构建描述符链

创建描述符链的关键步骤：

1. 分配一组物理连续的描述符内存
2. 初始化每个描述符的字段
3. 设置描述符之间的链接关系
4. 将整个链表的首地址写入设备寄存器

int setup_dma_chain(struct device *dev, struct scatterlist *sgl, int nents, dma_addr_t *chain_dma) { struct dma_desc *desc; dma_addr_t desc_dma; int i; // 分配描述符数组 desc = dma_alloc_coherent(dev, nents * sizeof(*desc), &desc_dma, GFP_KERNEL); if (!desc) return -ENOMEM; // 初始化每个描述符 for_each_sg(sgl, sg, nents, i) { desc[i].src_addr = sg_dma_address(sg); desc[i].dst_addr = DEVICE_BUFFER_ADDR; // 设备目标地址 desc[i].length = sg_dma_len(sg); desc[i].flags = (i == nents - 1) ? DESC_FLAG_LAST : 0; desc[i].next = desc_dma + (i + 1) * sizeof(*desc); } // 最后一个描述符指向NULL desc[nents - 1].next = 0; desc[nents - 1].flags |= DESC_FLAG_LAST; *chain_dma = desc_dma; return 0; }

3.3 性能优化技巧

在实际应用中，我们可以采用以下优化策略：

• 描述符预分配：在系统初始化时分配一组描述符，避免运行时分配的开销
• 批量提交：一次提交多个描述符，减少设备中断频率
• 环形缓冲区：使用环形队列管理描述符，实现生产-消费模型
• 缓存对齐：确保描述符和缓冲区按缓存行对齐，避免错误共享

4. 常见问题与调试技巧

DMA编程中会遇到各种棘手的问题，以下是几个常见陷阱及其解决方案。

4.1 典型错误案例

案例1：忘记同步缓存

// 错误示例 memcpy(dma_buf, data, len); start_dma_transfer(dev, dma_handle); // 正确做法 memcpy(dma_buf, data, len); dma_sync_single_for_device(dev, dma_handle, len, DMA_TO_DEVICE); start_dma_transfer(dev, dma_handle);

案例2：未检查DMA映射大小限制

// 每个设备可能有最大映射大小限制 size_t max_size = dma_get_max_seg_size(dev); if (len > max_size) { // 需要分割请求 }

案例3：DMA完成后过早释放内存

// 错误示例 dma_unmap_single(dev, dma_handle, len, DMA_FROM_DEVICE); free_buffer(buf); // 正确做法：等待DMA完成中断或轮询状态 wait_for_dma_completion(); dma_unmap_single(dev, dma_handle, len, DMA_FROM_DEVICE); free_buffer(buf);

4.2 调试工具与技术

1. dmesg日志分析：关注DMA相关错误消息

   [ 125.478362] DMA-API: device driver tries to sync DMA memory it has not allocated

2. IOMMU调试：启用IOMMU调试信息

   echo 1 > /sys/module/iommu/parameters/debug

3. DMA地址转换检查：

   pr_debug("virt=%p -> dma=%pad\n", virt_addr, &dma_addr);

4. 硬件寄存器检查：使用devmem工具直接读取设备寄存器

5. DMA泄漏检测：内核配置CONFIG_DMA_API_DEBUG可以跟踪DMA分配和释放

4.3 性能调优指标

使用perf工具分析DMA相关性能瓶颈：

perf stat -e dma_fault,mem_load_retired.l1_hit,mem_load_retired.l1_miss \ -a sleep 10

关键性能指标：

• DMA传输延迟：从启动到完成中断的时间
• CPU利用率：DMA操作期间的CPU使用率
• 缓存命中率：DMA缓冲区访问的缓存效率
• 吞吐量：实际数据传输速率与理论带宽的比值

5. 高级主题：RDMA技术概览

虽然本文聚焦于本地DMA，但了解远程直接内存访问（RDMA）技术对高性能网络编程很有帮助。RDMA的核心优势包括：

• 零拷贝：数据直接从应用缓冲区传输，无需中间拷贝
• 内核旁路：用户空间应用直接与硬件交互
• CPU卸载：传输过程几乎不消耗CPU资源

RDMA的三种主要实现：

1. InfiniBand：原生RDMA协议，需要专用硬件
2. RoCE(RDMA over Converged Ethernet)：基于以太网的RDMA
3. iWARP：基于TCP/IP的RDMA实现

以下是一个简单的RDMA程序流程：

// 1. 创建保护域和完成队列 struct ibv_context *ctx = ibv_open_device(device); struct ibv_pd *pd = ibv_alloc_pd(ctx); struct ibv_cq *cq = ibv_create_cq(ctx, 10, NULL, NULL, 0); // 2. 注册内存区域 struct ibv_mr *mr = ibv_reg_mr(pd, buf, len, IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_WRITE); // 3. 创建队列对 struct ibv_qp_init_attr qp_attr = { .send_cq = cq, .recv_cq = cq, .cap = { .max_send_wr = 10, .max_recv_wr = 10, .max_send_sge = 1, .max_recv_sge = 1, }, .qp_type = IBV_QPT_RC }; struct ibv_qp *qp = ibv_create_qp(pd, &qp_attr); // 4. 交换QP信息（通过TCP socket） exchange_qp_info(local_qp_num, remote_qp_num); // 5. 发布工作请求 struct ibv_sge sge = { .addr = (uintptr_t)buf, .length = len, .lkey = mr->lkey }; struct ibv_send_wr wr = { .wr_id = 1, .sg_list = &sge, .num_sge = 1, .opcode = IBV_WR_RDMA_WRITE, .send_flags = IBV_SEND_SIGNALED, .wr.rdma.remote_addr = remote_addr, .wr.rdma.rkey = remote_key }; struct ibv_send_wr *bad_wr; ibv_post_send(qp, &wr, &bad_wr);

在实际项目中，我们通常会遇到DMA缓冲区对齐问题、IOMMU配置差异导致的兼容性问题，以及不同硬件平台的DMA特性差异。解决这些问题需要结合具体硬件手册和反复测试验证。