python多进程使用函数封装

import multiprocessing as mp
from multiprocessing import Process
class MyProcess(Process):
    """
    自定义多进程,继承自原生Process,目的是获取多进程结果到queue
    """

    def __init__(self, func, args, q):
        super(MyProcess, self).__init__()
        self.func = func
        self.args = args
        self.res = ''
        self.q = q
        #self._daemonic = True
        #self._daemonic = True

    def run(self):
        self.res = self.func(*self.args)
        self.q.put((self.func.__name__, self.res))
    
def use_multiprocessing(func_list):
    #os.system('export PYTHONOPTIMIZE=1')  # 解决 daemonic processes are not allowed to have children 问题
    q = mp.Queue()  # 队列,将多进程结果存入这里,进程间共享, 多进程必须使用  multiprocessing 的queue
    proc_list = []
    res = []
    for func in func_list:
        proc = MyProcess(func['func'], args=func['args'], q=q)
        proc.start()
        proc_list.append(proc)

    for p in proc_list:
        p.join()
    while not q.empty():
        r = q.get()
        res.append(r)
    return res
    
 使用时候,将需要多进程执行的函数和函数的参数当作字段,组成个list 传给use_multiprocessing 方法即可

当前名称:python多进程使用函数封装
网页网址:http://bzwzjz.com/article/pgggie.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 专业网站设计 营销网站建设 温江网站设计 成都网站制作 企业网站设计 外贸网站建设 重庆电商网站建设 营销网站建设 成都网站建设公司 网站建设方案 成都网站制作 重庆网站制作 成都网站制作 网站制作报价 成都网站建设公司 定制网站制作 企业网站设计 成都网站建设 四川成都网站设计 成都网站建设 成都网站建设 响应式网站设计