磁盘可以说是计算机系统最慢的硬件之一,读写速度相差内存10倍以上,所以针对优化磁盘的技术非常的多,比如零拷贝、直接 I/O、异步 I/O 等等。
优化的目的就是为了提高系统的吞吐量,另外操作系统内核中的磁盘高速缓存区,可以有效的减少磁盘的访问次数。

一、DMA 技术

直接内存访问(Direct Memory Access)

1.1 未采用DMA技术

具体过程
  1. CPU 发出对应的指令给磁盘控制器,然后返回;
  2. 磁盘控制器收到指令后,于是就开始准备数据,会把数据放入到磁盘控制器的内部缓冲区中,然后产生一个中断;
  3. CPU收到中断信号后,停下手头的工作,接着把磁盘控制器的缓冲区的数据一次一个字节地读进自己的寄存器,然后再把寄存器里的数据写入到内存,而在数据传输的期间 CPU 是无法执行其他任务的。

image.png
简单的搬运几个字符数据那没问题,但是如果我们用千兆网卡或者硬盘传输大量数据的时候,都用 CPU 来搬运的话,肯定忙不过来。

1.2 采用DMA技术

什么是 DMA 技术?简单理解就是,在进行 I/O 设备和内存的数据传输的时候,数据搬运的工作全部交给 DMA 控制器,而 CPU 不再参与任何与数据搬运相关的事情,这样 CPU 就可以去处理别的事务。

具体过程
  1. 用户进程调用 read 方法,向操作系统发出 I/O 请求,请求读取数据到自己的内存缓冲区中,进程进入阻塞状态;
    操作系统收到请求后,进一步将 I/O 请求发送 DMA,然后让 CPU 执行其他任务;
  2. DMA 进一步将 I/O 请求发送给磁盘;
  3. 磁盘收到 DMA 的 I/O 请求,把数据从磁盘读取到磁盘控制器的缓冲区中,当磁盘控制器的缓冲区被读满后,向DMA 发起中断信号,告知自己缓冲区已满;
  4. DMA 收到磁盘的信号,将磁盘控制器缓冲区中的数据拷贝到内核缓冲区中,此时不占用 CPU,CPU可以执行其他任务;
  5. 当 DMA 读取了足够多的数据,就会发送中断信号给 CPU;
  6. CPU 收到 DMA 的信号,知道数据已经准备好,于是将数据从内核拷贝到用户空间,系统调用返回;

image.png
可以看到, 整个数据传输的过程,CPU 不再参与数据搬运的工作,而是全程由 DMA 完成,但是 CPU 在这个过程中也是必不可少的,因为传输什么数据,从哪里传输到哪里,都需要 CPU 来告诉 DMA 控制器。

二、传统I/O的缺点

以通过网络协议传输数据为例
传统 I/O 的工作方式是,数据读取和写入是从用户空间到内核空间来回复制,而内核空间的数据是通过操作系统层面的 I/O 接口从磁盘读取或写入。一般会需要两个系统调用:

read(file, tmp_buf, len);
write(socket, tmp_buf, len);		

image.png

2.1 四次上下文切换

  1. 之所以要发生上下文切换,这是因为用户空间没有权限操作磁盘或网卡,而内核的权限最高。
  2. 一次系统调用必然会发生 2 次上下文切换:首先从用户态切换到内核态,当内核执行完任务后,再切换回用户态交由进程代码执行。
  3. 期间共发生了 4 次用户态与内核态的上下文切换,因为发生了两次系统调用,一次是 read() ,一次是 write()
  4. 上下文切换到成本并不小,一次切换需要耗时几十纳秒到几微秒,在高并发的场景下会累积和放大,从而影响系统的性能。

2.2 四次数据拷贝

发生了 4 次数据拷贝,其中两次是 DMA 的拷贝,另外两次则是通过 CPU 拷贝的,过多的数据拷贝无疑会消耗 CPU 资源,大大降低了系统性能。。

  1. 第一次拷贝,把磁盘上的数据拷贝到操作系统内核的缓冲区里,这个拷贝的过程是通过 DMA 搬运的。
  2. 第二次拷贝,把内核缓冲区的数据拷贝到用户的缓冲区里,于是我们应用程序就可以使用这部分数据了,这个拷贝到过程是由 CPU 完成的。
  3. 第三次拷贝,把刚才拷贝到用户的缓冲区里的数据,再拷贝到内核的 socket 的缓冲区里,这个过程依然还是由 CPU 搬运的。
  4. 第四次拷贝,把内核的 socket 缓冲区里的数据,拷贝到网卡的缓冲区里,这个过程又是由 DMA 搬运的。

「从内核的读缓冲区拷贝到用户的缓冲区里,再从用户的缓冲区里拷贝到 socket 的缓冲区里」,这个过程是没有必要的。

三、零拷贝

零拷贝技术实现的方式通常有 2 种:mmap + write,sendfile

3.1 mmap + write

read() 系统调用的过程中会把内核缓冲区的数据拷贝到用户的缓冲区里,于是为了减少这一步开销,我们可以用 mmap() 替换 read() 系统调用函数。

buf = mmap(file, len);
write(sockfd, buf, len);

mmap() 系统调用函数会直接把内核缓冲区里的数据「映射」到用户空间,这样,操作系统内核与用户空间就不需要再进行任何的数据拷贝操作。
image.png

具体过程
  1. 应用进程调用了 mmap() 后,DMA 会把磁盘的数据拷贝到内核的缓冲区里。
  2. 由于mmap()将缓冲区里的数据「映射」到用户空间,应用进程跟操作系统内核可以「共享」这个缓冲区;
  3. 应用进程再调用 write(),操作系统直接将内核缓冲区的数据拷贝到 socket 缓冲区中,发生在内核态,由 CPU 来搬运数据;
  4. 最后把内核的 socket 缓冲区里的数据,拷贝到网卡的缓冲区里,这个过程是由 DMA 搬运的。

仍然需要通过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区里,而且仍需要 4 次上下文切换,因为系统调用还是 2 次。

3.2 sendfile

在 Linux 内核版本 2.1 中,提供了一个专门发送文件的系统调用函数 sendfile(),可以替代前面的 read() 和 write() 这两个系统调用,直接把内核缓冲区里的数据拷贝到 socket 缓冲区里,这样就可以减少一次系统调用,也就减少了 2 次上下文切换的开销。
image.png
但是这还不是真正的零拷贝技术,因为仍需要CPU参与拷贝。

3.3 真·零拷贝

如果网卡支持 SG-DMA可以进一步减少通过 CPU 把内核缓冲区里的数据拷贝到 socket 缓冲区的过程。

  1. 第一步,通过 DMA 将磁盘上的数据拷贝到内核缓冲区里;
  2. 第二步,SG-DMA 控制器就可以直接将内核缓存中的数据拷贝到网卡的缓冲区里,此过程不需要将数据从操作系统内核缓冲区拷贝到 socket 缓冲区中,这样就减少了一次数据拷贝;

image.png
这就是所谓的零拷贝(Zero-copy)技术,因为我们没有在内存层面去拷贝数据,也就是说全程没有通过 CPU 来搬运数据,所有的数据都是通过 DMA(2次)来进行传输的,且只有 2 次上下文切换,性能至少提高一倍。

Q.E.D.

知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议