分布式存储器结构的SIMD计算机如图10.3所示。它包含重复设置的多个同样的处理单元PE，通过数据寻径网络以一定方式互相连接。每个PE有各自的本地存储器LM。在统一的阵列控制部件作用下，实现并行操作。程序和数据通过主机装入控制存储器。由于通过控制部件的是单指令流，所以指令的执行顺序还是和单处理机一样，基本上是串行处理。
指令是送到控制部件进行译码。如果是标量操作或控制操作，则将直接由与控制部件相连的标量处理机执行。如果是向量操作，则将它广播到所有PE并行地执行。
划分后的数据集合通过向量数据总线分布到所有PE的本地存储器。PE通过数据寻径网络互连。数据寻径网络执行PE间的通信，如移数、置换和其它寻径操作。控制部件通过执行程序来控制数据寻径网络。PE的同步由控制部件的硬件实现。
换句话说，所有PE在同一个周期执行同一条指令。然而可以用屏蔽逻辑来决定任何一个PE在给定的指令周期执行或不执行指令。
IOP是输入输出处理机，也称为主机。在IOP上安装操作系统，因此，它除了负担输入输出工作之外，还负责程序的编辑、编译和调试等工作。
IlliacIV是这种结构的SIMD机器，它由64个有本地存储器的PE组成、PE间通过8×8环绕连接网格实现互连。
各种SIMD机器的主要差别在于进行PE之间互相通信的数据寻径网络不同。4-邻连接网格结构在过去是最受欢迎的一种。除了IlliacIV 外，Coodyear MPP和AMT DAP610也是用两维网格实现的。CM-2实现的嵌在网格中的超立方体和MasPar-MP-1实现的X-Net 加多级交叉开关的寻径器都是由网格演变而来的。
目前的大部分并行处理机是基于分布式存储器模型的系统。
分布存储器的并行处理机的特点是比较容易构成MPP（Massively Parallel Processor）可以达到几十万个PE，必须依靠并行算法来提高PE的利用率，应用领域很有限。