October 10th, 2013

nyaload

python multiprocessing abstraction leaks

Попробовал python2.6 multiprocessing Pool, его параллельный map.

Когда всё работает - очень круто, красиво и удобно.

Когда надо прервать работу из-за ошибки - сходу налетел на пару граблей. мистическая ошибка, неработающий Ctrl+C, Pool.imap ждёт пока отработают все таски (даже при Ctrl+C), т.е. work-around со SO недостаточно.

Увы, волшебство "просто заменить map на параллельный map" не сработало, глючит и зависает. Откатился обратно к os.system("... | xargs -P 32 python me.py").