📅  最后修改于: 2020-11-08 08:50:30             🧑  作者: Mango
流程互通意味着流程之间的数据交换。为了开发并行应用程序,必须在进程之间交换数据。下图显示了用于多个子进程之间同步的各种通信机制-
在本节中,我们将学习各种通信机制。机制描述如下-
队列可以与多进程程序一起使用。多处理模块的Queue类类似于Queue.Queue类。因此,可以使用相同的API。 Multiprocessing .Queue为我们提供了线程与进程之间安全的FIFO(先进先出)机制进行进程之间的通信。
以下是从Python官方文档中获取的有关多处理的简单示例,以了解多处理的Queue类的概念。
from multiprocessing import Process, Queue
import queue
import random
def f(q):
q.put([42, None, 'hello'])
def main():
q = Queue()
p = Process(target = f, args = (q,))
p.start()
print (q.get())
if __name__ == '__main__':
main()
[42, None, 'hello']
它是一种数据结构,用于在多进程程序中的进程之间进行通信。 Pipe()函数返回一对通过管道连接的连接对象,管道默认情况下为双工(双向)。它以以下方式工作-
它返回一对代表管道两端的连接对象。
每个对象都有两个方法– send()和recv() ,以在进程之间进行通信。
以下是从Python官方文档中获取的有关多处理的简单示例,以了解多处理的Pipe()函数的概念。
from multiprocessing import Process, Pipe
def f(conn):
conn.send([42, None, 'hello'])
conn.close()
if __name__ == '__main__':
parent_conn, child_conn = Pipe()
p = Process(target = f, args = (child_conn,))
p.start()
print (parent_conn.recv())
p.join()
[42, None, 'hello']
Manager是一类多处理模块,它提供了一种在所有用户之间协调共享信息的方法。管理器对象控制服务器进程,该服务器进程管理共享对象并允许其他进程操纵它们。换句话说,管理者提供了一种创建可以在不同流程之间共享的数据的方法。以下是管理器对象的不同属性-
管理器的主要属性是控制服务器进程,该进程管理共享对象。
另一个重要的属性是在任何进程修改它时更新所有共享对象。
下面是一个示例,该示例使用manager对象在服务器进程中创建列表记录,然后在该列表中添加新记录。
import multiprocessing
def print_records(records):
for record in records:
print("Name: {0}\nScore: {1}\n".format(record[0], record[1]))
def insert_record(record, records):
records.append(record)
print("A New record is added\n")
if __name__ == '__main__':
with multiprocessing.Manager() as manager:
records = manager.list([('Computers', 1), ('Histoty', 5), ('Hindi',9)])
new_record = ('English', 3)
p1 = multiprocessing.Process(target = insert_record, args = (new_record, records))
p2 = multiprocessing.Process(target = print_records, args = (records,))
p1.start()
p1.join()
p2.start()
p2.join()
A New record is added
Name: Computers
Score: 1
Name: Histoty
Score: 5
Name: Hindi
Score: 9
Name: English
Score: 3
Manager类附带名称空间的概念,这是在多个进程之间共享多个属性的快速方法。命名空间不具有任何可以调用的公共方法,但是它们具有可写的属性。
以下Python脚本示例可帮助我们利用名称空间在主流程和子流程之间共享数据-
import multiprocessing
def Mng_NaSp(using_ns):
using_ns.x +=5
using_ns.y *= 10
if __name__ == '__main__':
manager = multiprocessing.Manager()
using_ns = manager.Namespace()
using_ns.x = 1
using_ns.y = 1
print ('before', using_ns)
p = multiprocessing.Process(target = Mng_NaSp, args = (using_ns,))
p.start()
p.join()
print ('after', using_ns)
before Namespace(x = 1, y = 1)
after Namespace(x = 6, y = 10)
多重处理模块提供数组和值对象,用于将数据存储在共享内存映射中。 Array是从共享内存分配的ctypes数组,而Value是从共享内存分配的ctypes对象。
要配合使用,请从多处理中导入Process,Value,Array。
以下Python脚本是一个取自Python文档的示例,该示例利用Ctypes Array和Value在进程之间共享一些数据。
def f(n, a):
n.value = 3.1415927
for i in range(len(a)):
a[i] = -a[i]
if __name__ == '__main__':
num = Value('d', 0.0)
arr = Array('i', range(10))
p = Process(target = f, args = (num, arr))
p.start()
p.join()
print (num.value)
print (arr[:])
3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]
CSP用于说明系统与其他具有并发模型的系统之间的交互。 CSP是用于通过消息传递编写并发或程序的框架,因此对于描述并发非常有效。
为了实现CSP中的核心原语, Python有一个名为PyCSP的库。它使实现非常简短易读,因此很容易理解。以下是PyCSP的基本流程网络-
在上述PyCSP流程网络中,有两个流程-流程1和流程2。这些流程通过通过两个通道(通道1和通道2)传递消息进行通信。
借助以下命令,我们可以安装Python库PyCSP-
pip install PyCSP
遵循Python脚本是一个简单的示例,用于彼此并行运行两个进程。这是在PyCSP Python libabary的帮助下完成的-
from pycsp.parallel import *
import time
@process
def P1():
time.sleep(1)
print('P1 exiting')
@process
def P2():
time.sleep(1)
print('P2 exiting')
def main():
Parallel(P1(), P2())
print('Terminating')
if __name__ == '__main__':
main()
在上面的脚本中,创建了两个函数P1和P2 ,然后用@process修饰它们以将它们转换为进程。
P2 exiting
P1 exiting
Terminating