Python中Threading用法详解
Python的threading模块松散地基于Java的threading模块。但现在线程没有优先级,没有线程组,不能被销毁、停止、暂停、开始和打断。 Java Thread类的静态方法,被移植成了模块方法。
main thread: 运行python程序的线程
daemon thread 守护线程,如果守护线程之外的线程都结束了。守护线程也会结束,并强行终止整个程序。不要在守护进程中进行资源相关操作。会导致资源不能正确的释放。在非守护进程中使用Event。
Thread 类
(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)
group: 为以后的ThreadGroup类预留 target: 被执行的对象,由run()方法执行 args: target对象使用的参数 daemon: 是否为守护进程
start()
每个thread 对象都只能被调用1次start()
run()
如果创建Thread的子类,重写该方法。负责执行target参数传来的可执行对象。
join()
阻塞线程直到结束。
GIL
在CPython中,由于GIL的存在,Python每次只能执行一个线程。如果要充分利用多核机器的计算资源需要使用multiprocessing或者是concurrent.futures.ProcessPollExecutor。 但,但如果你想要很多I/O相关的并发操作,threding仍然是一个很好的选择 。?因为系统自动实现了线程的上下文切换。
from threading import Thread import requests url = 'http://www.baidu.com' urls = [url]*20 threads = [] for url in urls: t = Thread(target=requests.get, args=(url, )) t.start() threads.append(t) for t in threads: t.join()
锁(Lock)对象
原始锁(primitive lock),当它锁住的时候,它是一种不属于任何一个线程的同步原语(synchronization primitive)。 在Python中,他是目前可用的最底层的同步原语,由_thread模块提供。
一个原始锁有两个状态:locked 和unlocked。锁创建时,处于unlocked状态。 锁由两个基本方法:acquire()和release()。
当处于unlocked状态时,acquire(()方法可以将状态变为locked,并立即返回。当处于locked状态时,acquire()会阻塞直至另一个线程调用了release()使改锁解锁,然后acquire()将锁上锁,并返回。
release()方法只能在锁locked时别调用,并释放锁。否则会抛出RuntimeError错误。
如果有多个 acquire()在等待解锁,则不确定哪一个哪一个会被触发。
class threading.Lock
如果一个线程acquire了一个锁,那么后续获取它的线程都会被阻塞,直至锁被释放。任何线程都可以释放锁。
Lock是一个工厂函数,返回当前平台下最高效的concrete Lock类的实例。
Lock支持上下文管理方法(context management protocol),也就是with 语句。在存在竞态条件(race condition)的时候,要使用锁。比如多线程共同操作某个数据。
# 摘自python Cookbook import threading class SharedCounter: def __init__(self, init_value=0): self._value = init_value self._value_lock = threading.Lock() def incr(self, delta=1): # 在这里使用了with 语句,创建一个锁,增加值,释放锁。 with self._value_lock: self._value += 1
RLock对象
可重入锁(reentrant lock)。感觉是一个锁中锁,就是可以递归的锁。等见到具体的应用例子再写。
Condition对象
condition变量总是与某种锁相关,锁可以是传过来的,也可以通过默认设置创建。如果有多个 condition对象需要共享一个锁时,传递一个锁是非常有用的。锁是condition对象的一部分,你不用刻意的跟踪它。
Timer对象
Timer是Thread的子类,所以也要接受function参数,也可以被start()。 它的run()函数被重写为先event.wait(interval),再启动function。
Barrier对象
实现某些服务的共进退。
threading.Barrier(parties, action=None, timeout=None)
设置n=parties个线程,当n个barrier.wait()被调用后,所有这些调用的阻塞被同时解除,执行action
感觉Barrier可以实现很多复杂的功能。