在计算机系统设计中，Memory Hierarchy 是一种对内存进行组织的增强功能，可以最大限度地减少访问时间。 Memory Hierarchy 是基于一种称为 locality of references 的程序行为开发的。下图清楚地展示了不同级别的内存层次结构：
这种内存层次结构设计分为两种主要类型：
- 外部存储器或辅助存储器 –
包括磁盘、光盘、磁带，即处理器可通过 I/O 模块访问的外围存储设备。 - 内部存储器或主存储器 –
由主内存、高速缓存和 CPU 寄存器组成。这可由处理器直接访问。
从上图我们可以推断出Memory Hierarchy Design的以下特点：
- 容量：
它是内存可以存储的全局信息量。当我们在层次结构中从上到下移动时，容量会增加。 - 访问时间：
它是读/写请求和数据可用之间的时间间隔。当我们在层次结构中从上到下移动时，访问时间会增加。 - 表现：
早先的计算机系统在设计时没有采用 Memory Hierarchy 设计，由于访问时间差异很大，CPU 寄存器和主内存之间的速度差距会增加。这导致系统性能降低，因此需要增强。这种增强是以内存层次结构设计的形式进行的，因此系统的性能得到了提高。提高系统性能的最重要方法之一是最大限度地减少操作数据所需的内存层次结构。 - 每比特成本：
当我们在层次结构中从下到上移动时，每比特的成本增加，即内部存储器比外部存储器更昂贵。