Python中使用多进程multiprocessing假死原因，无提示，无光标。

ifyoung • 2020年3月25日 pm3:14 • 框架平台 • 阅读 10117

最近项目需要做并行计算，于是尝试写了并行计算程序。一般使用并行有好几种方法，包括多线程和多进程。常用的多进程方法是两种：multiprocessing.Process, multiprocessing.Pool.这两种可有优势，但一般Pool可以使用map和apply方法，对于我来说更加方便。

写了个demo：

import time
import multiprocessing
cores = multiprocessing.cpu_count()-2 #比自己电脑核少两个，避免主机资源过度占用
pool = multiprocessing.Pool(cores) #实例化池
def calc_des(smi):
 #测试一个基本函数任务
    time.sleep(1)
    return smi

if __name__ == "__main__":
    test_list = [1,2,3,4,5,6] 

  
    rl =pool.map(run, test_list)  # 映射函数
    pool.close()#关闭进程池，不再接受新的进程
    pool.join()#主进程阻塞等待子进程的退出

    print rl

import time

import multiprocessing

cores = multiprocessing.cpu_count()-2 #比自己电脑核少两个，避免主机资源过度占用

pool = multiprocessing.Pool(cores) #实例化池

def calc_des(smi):

#测试一个基本函数任务

time.sleep(1)

return smi

if __name__ == "__main__":

test_list = [1,2,3,4,5,6]

rl =pool.map(run, test_list) # 映射函数

pool.close()#关闭进程池，不再接受新的进程

pool.join()#主进程阻塞等待子进程的退出

print rl

运行发现出现卡死，无法弹出结束光标。很是疑惑，几乎就是对照别人的例子来写的，检查了很久，不知道原因。后来折腾半天发现实例化池的时候有问题。修改如下：

import time

from multiprocessing import Pool
def calc_des(smi):
 #测试一个基本函数任务
    time.sleep(1)
    return smi

if __name__ == "__main__":
    test_list = [1,2,3,4,5,6] 

    pool = Pool(5) #创建拥有5个进程数量的进程池

    rl =pool.map(run, test_list)  # 映射函数
    pool.close()#关闭进程池，不再接受新的进程
    pool.join()#主进程阻塞等待子进程的退出

    print rl

import time

from multiprocessing import Pool