博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
PYTHON——多进程:概念
阅读量:6116 次
发布时间:2019-06-21

本文共 2599 字,大约阅读时间需要 8 分钟。

一、多进程的概念

  由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

  multiprocessing包是Python中的多进程管理包。与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程。该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同,也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类 (这些对象可以像多线程那样,通过参数传递给各个进程),用以同步进程,其用法与threading包中的同名类一致。所以,multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。

但在使用这些共享API的时候,我们要注意以下几点:

  • 在UNIX平台上,当某个进程终结之后,该进程需要被其父进程调用wait,否则进程成为僵尸进程(Zombie)。所以,有必要对每个Process对象调用join()方法 (实际上等同于wait)。对于多线程来说,由于只有一个进程,所以不存在此必要性。
  • multiprocessing提供了threading包中没有的IPC(比如Pipe和Queue),效率上更高。应优先考虑Pipe和Queue,避免使用Lock/Event/Semaphore/Condition等同步方式 (因为它们占据的不是用户进程的资源)。
  • 多进程应该避免共享资源。在多线程中,我们可以比较容易地共享资源,比如使用全局变量或者传递参数。在多进程情况下,由于每个进程有自己独立的内存空间,以上方法并不合适。此时我们可以通过共享内存和Manager的方法来共享资源。但这样做提高了程序的复杂度,并因为同步的需要而降低了程序的效率。

Process.PID中保存有PID,如果进程还没有start(),则PID为None。

window系统下,需要注意的是要想启动一个子进程,必须加上那句if __name__ == "main",进程相关的要写在这句下面。

二、创建进程的两种方法之二:函数式调用:

实例(函数式调用):

from multiprocessing import Processimport timedef f(name):    time.sleep(1)    print('hello', name,time.ctime())if __name__ == '__main__':    p_list=[]    for i in range(3):        p = Process(target=f, args=('alvin',))        p_list.append(p)        p.start()    for i in p_list:        p.join()    print('end')

二、创建进程的两种方法之一:类式调用:

实例:类式调用:

from multiprocessing import Processimport timeclass MyProcess(Process):    def __init__(self):        super(MyProcess, self).__init__()        #self.name = name    def run(self):        time.sleep(1)        print ('hello', self.name,time.ctime())if __name__ == '__main__':    p_list=[]    for i in range(3):        p = MyProcess()        p.start()        p_list.append(p)    for p in p_list:        p.join()    print('end')

为了显示涉及的各个进程ID,这里是一个扩展的例子:

from multiprocessing import Processimport osimport timedef info(title):    print(title)    print('module name:', __name__)    print('parent process:', os.getppid())    print('process id:', os.getpid())def f(name):    info('\033[31;1mfunction f\033[0m')  #在控制台中显示时,字体颜色编程亮绿色    print('hello', name)  if __name__ == '__main__':    info('\033[32;1mmain process line\033[0m')    time.sleep(100)    p = Process(target=info, args=('bob',))    p.start()    p.join()

 实行结果:

main process linemodule name: __main__parent process: 20512process id: 161076bobmodule name: __mp_main__parent process: 161076process id: 161160

 

转载于:https://www.cnblogs.com/chenhaiming/p/9919119.html

你可能感兴趣的文章
程序员随想-关于优雅
查看>>
爱加密联合应用之星(APPSTAR)为开发者提供免费云加密服务
查看>>
部署基于Centos7的Zimbra邮件系统-之一系统规划及DNS服务配置
查看>>
如何理解比特币的底层协议
查看>>
cocos集成科大讯飞语音识别
查看>>
The Reactive Manifesto(响应式宣言)
查看>>
R语言笔记 attach()、detach()和with()
查看>>
ftp操作
查看>>
服务器双网卡双网关
查看>>
mysql入门之三:索引添加删除
查看>>
adb shell 命令详解
查看>>
dom4j解析带命名空间的xml文件
查看>>
mybaties的批量增删改查及普通增删改查
查看>>
Freenas8图文教程3--查看日志和固件升级
查看>>
添加CA根证书到操作系统获得信任
查看>>
我的友情链接
查看>>
Oracle 将秒转换成日期或者将日期转换成为秒函数
查看>>
mac之ssh记住密码。
查看>>
Redhat OpenShift架构剖析
查看>>
spring--(11)表达式语言(spel)
查看>>