对并行计算，OPENMP,OPENMPI,MPI，进程，线程的理解

大家好，欢迎来到IT知识分享网。

1. 线程的执行特性。
   线程只有3个基本状态：就绪，执行，阻塞。
   线程存在5种基本操作来切换线程的状态：派生，阻塞，激活，调度，结束。
   
   
2. 进程通信。
   单机系统中进程通信有 4 种形式：主从式，会话式，消息或邮箱机制，共享存储区方式。
   主从式典型例子：终端控制进程和终端进程。
   会话式典型例子：用户进程与磁盘管理进程之间的通信。
   进程的执行过程是线状的，尽管中间会发生中断或暂停，但该进程所拥有的资源只为该线状执行过程服务。一旦发生进程上下文切换，这些资源都是要被保护起来的。这是进程宏观上的执行过程。而进程又可有单线程进程与多线程进程两种。我们知道，进程有 一个进程控制块PCB，相关程序段 和 该程序段对其进行操作的数据结构集 这三部分，单线程进程的执行过程在宏观上是线性的，微观上也只有单一的执行过程；而多线程进程在宏观上的执行过程同样为线性的，但微观上却可以有多个执行操作（线程），如不同代码片段以及相关的数据结构集。线程的改变只代表了 CPU 执行过程的改变，而没有发生进程所拥有的资源变化。出了CPU之外，计算机内的软硬件资源的分配与线程无关，线程只能共享它所属进程的资源。与进程控制表和PCB相似，每个线程也有自己的线程控制表TCB，而这个TCB中所保存的线程状态信息则要比PCB表少得多，这些信息主要是相关指针用堆栈（系统栈和用户栈），寄存器中的状态数据。进程拥有一个完整的虚拟地址空间，不依赖于线程而独立存在；反之，线程是进程的一部分，没有自己的地址空间，与进程内的其他线程一起共享分配给该进程的所有资源。
   线程可以有效地提高系统的执行效率，但并不是在所有计算机系统中都是适用的，如某些很少做进程调度和切换的实时系统。使用线程的好处是有多个任务需要处理机处理时，减少处理机的切换时间；而且，线程的创建和结束所需要的系统开销也比进程的创建和结束要小得多。最适用使用线程的系统是多处理机系统和网络系统或分布式系统。
   MPI：
   在程序中，不同的进程需要相互的数据交换，特别是在科学计算中，需要大规模的计算与数据交换，集群可以很好解决单节点计算力不足的问题，但在集群中大规模的数据交换是很耗费时间的，因此需要一种在多节点的情况下能快速进行数据交流的标准，这就是MPI。
   MPI(Message Passing Interface)，由其字面意思也可些许看出，是一个信息传递接口。MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。与OpenMP并行程序不同，MPI是一种基于信息传递的并行编程技术。消息传递接口是一种编程接口标准，而不是一种具体的编程语言。简而言之，MPI标准定义了一组具有可移植性的编程接口。
   进程线程MPI通信
   在了解并行计算技术的过程当中，发现通信十分重要，但又不知道MPI和之前学的管道，队列等通信方式的区别，因此，在这里做个总结。
   首先先介绍常见的进程，线程之间的通信方式：
   （1）进程间的通信方式：六大方式
   管道( pipe )：
   管道是一种半双工的通信方式，数据只能单向流动，而且只能在具有亲缘关系的进程间使用。进程的亲缘关系通常是指父子进程关系。
   有名管道 (namedpipe) ：
   有名管道也是半双工的通信方式，但是它允许无亲缘关系进程间的通信。
   信号量(semophore ) ：
   信号量是一个计数器，可以用来控制多个进程对共享资源的访问。它常作为一种锁机制，防止某进程正在访问共享资源时，其他进程也访问该资源。因此，主要作为进程间以及同一进程内不同线程之间的同步手段。
   消息队列( messagequeue ) ：
   消息队列是由消息的链表，存放在内核中并由消息队列标识符标识。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。
   信号 (sinal ) ：
   信号是一种比较复杂的通信方式，用于通知接收进程某个事件已经发生。
   共享内存(shared memory ) ：
   共享内存就是映射一段能被其他进程所访问的内存，这段共享内存由一个进程创建，但多个进程都可以访问。共享内存是最快的 IPC 方式，它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制，如信号两，配合使用，来实现进程间的同步和通信。
   套接字(socket ) ：
   套接口也是一种进程间通信机制，与其他通信机制不同的是，它可用于不同设备及其间的进程通信。
   （2）线程间的通信方式
   锁机制：包括互斥锁、条件变量、读写锁
   互斥锁提供了以排他方式防止数据结构被并发修改的方法。
   读写锁允许多个线程同时读共享数据，而对写操作是互斥的。
   条件变量可以以原子的方式阻塞进程，直到某个特定条件为真为止。对条件的测试是在互斥锁的保护下进行的。条件变量始终与互斥锁一起使用。
   信号量机制(Semaphore)：包括无名线程信号量和命名线程信号量
   信号机制(Signal)：类似进程间的信号处理
   线程间的通信目的主要是用于线程同步，所以线程没有像进程通信中的用于数据交换的通信机制。
   实际上只有进程间需要通信,同一进程的线程共享地址空间,没有通信的必要，但要做好同步/互斥,保护共享的全局变量。
   而进程间通信无论是信号，管道pipe还是共享内存都是由操作系统保证的，是系统调用。
   （3）MPI通信与上述区别
   在设计并行计算机时，最直接的方式就是多个计算单元共享一个内存，即如下图所示。共享内存的编程在数据交换和访问上有较大的优势，程序编写起来更加简单。但在扩展性上有较大的瓶颈。另一种方式为，分布式内存。即每个计算单元有单独的内存，计算单元之间的数据访问通过互联网络去传输。这一架构在可移植性和扩展上会强很多，但消息的传递会成为程序设计中的难点。将这两点结合，即是分布式共享内存并行计算机的架构，也是当今最常用的体系结构。