python并发编程-进程池

在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。多进程是实现并发的手段之一，需要注意的问题是：

网站建设哪家好，找成都创新互联公司！专注于网页设计、网站建设、微信开发、成都微信小程序、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了华阴免费建站欢迎大家使用！

例如当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个。。。手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。

我们就可以通过维护一个进程池来控制进程数目，比如httpd的进程模式，规定最小进程数和最大进程数..

ps： 对于远程过程调用的高级应用程序而言，应该使用进程池，Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，就重用进程池中的进程。

创建进程池的类：如果指定numprocess为3，则进程池会从无到有创建三个进程，然后自始至终使用这三个进程去执行所有任务，不会开启其他进程

参数介绍：

方法介绍：

主要方法：

其他方法（了解部分）

应用：

发现：并发开启多个客户端，服务端同一时间只有3个不同的pid，干掉一个客户端，另外一个客户端才会进来，被3个进程之一处理

回调函数：

需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数

我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。

如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数

python中如何限制输入次数

python 限制函数调用次数的实例讲解

发布时间：2018-04-21 09:58:18 作者：随便起个名字啊

下面小编就为大家分享一篇python 限制函数调用次数的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

如下代码，限制某个函数在某个时间段的调用次数，

灵感来源：python装饰器-限制函数调用次数的方法(10s调用一次) 欢迎访问

原博客中指定的是缓存，我这里换成限制访问次数，异曲同工

#newtest.py

#!/usr/bin/env python

#-*- coding:utf-8 -*-

import time

def stat_called_time(func):

cache={}

limit_times=[10]

def _called_time(*args,**kwargs):

key=func.__name__

if key in cache.keys():

[call_times,updatetime]=cache[key]

if time.time()-updatetime 60:

cache[key][0]+=1

else:

cache[key]=[1,time.time()]

else:

call_times=1

cache[key]=[call_times,time.time()]

print('调用次数: %s' % cache[key][0])

print('限制次数: %s' % limit_times[0])

if cache[key][0] = limit_times[0]:

res=func(*args,**kwargs)

cache[key][1] = time.time()

return res

else:

print("超过调用次数了")

return None

return _called_time

@stat_called_time

def foo():

print("I'm foo")

if __name__=='__main__':

for i in range(10):

foo()

#test.py

from newtest import foo

import time

for i in range(30):

foo()

print('*'*20)

foo()

foo()

print('*'*20)

for i in range(60):

print(i)

time.sleep(1)

for i in range(11):

foo()

python特点和优点

Python语言拥有诸多的优点，这其中，以下几个优点特别显著：

简单易学：Python语言相对于其他编程语言来说，属于比较容易学习的一门编程语言，它注重的是如何解决问题而不是编程语言的语法和结构。正是因为Python语言简单易学，所以，已经有越来越多的初学者选择Python语言作为编程的入门语言。例如，在浙江省2017年高中信息技术改革中，《算法与程序设计》课程将使用Python语言替换原有的VB语言。

语法优美：Python语言力求代码简洁、优美。在Python语言中，采用缩进来标识代码块，通过减少无用的大括号，去除语句末尾的分号等视觉杂讯，使得代码的可读性显著提高。阅读一段良好的Python程序就感觉像是在读英语一样，它使你能够专注于解决问题，而不用太纠结编程语言本身的语法。

丰富强大的库：Python语言号称自带电池(BatteryIncluded)，寓意是Python语言的类库非常的全面，包含了解决各种问题的类库。无论实现什么功能，都有现成的类库可以使用。如果一个功能比较特殊，标准库没有提供相应的支持，那么，很大概率也会有相应的开源项目提供了类似的功能。合理使用Python的类库和开源项目，能够快速的实现功能，满足业务需求。

开发效率高：Python的各个优点是相辅相成的。例如，Python语言因为有了丰富强大的类库，所以，Python的开发效率能够显著提高。相对于C、C++和Java等编译语言，Python开发者的效率提高了数倍。实现相同的功能，Python代码的文件往往只有C、C++和Java代码的1/5~1/3。虽然Python语言拥有很多吸引人的特性，但是，各大互联网公司广泛使用Python语言，很大程度上是因为Python语言开发效率高这个特点。开发效率高的语言，能够更好地满足互联网快速迭代的需求，因此，Python语言在互联网公司使用非常广泛。

应用领域广泛：Python语言的另一大优点就是应用领域广泛，工程师可以使用Python做很多的事情。例如，Web开发、网络编程、自动化运维、Linux系统管理、数据分析、科学计算、人工智能、机器学习等等。Python语言介于脚本语言和系统语言之间，我们根据需要，既可以将它当作一门脚本语言来编写脚本，也可以将它当作一个系统语言来编写服务。在学习过程中有什么不懂的可以加我们的python学习交流圈。有不错的学习视频教程、开发工具与电子书籍。与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容

不可忽视的缺点

毫无疑问，Python确实有用很多的优点，每一个优点看起来都非常吸引人。但是，Python并不是没有缺点的，最主要的缺点有以下几个：

Python的执行速度不够快。当然，这也不是一个很严重的问题，一般情况下，我们不会拿Python语言与C/C++这样的语言进行直接比较。在Python语言的执行速度上，一方面，网络或磁盘的延迟，会抵消掉部分Python本身消耗的时间；另一方面，因为Python特别容易和C结合起来，因此，我们可以通过分离一部分需要优化速度的应用，将其转换为编译好的扩展，并在整个系统中使用Python脚本将这部分应用连接起来，以提高程序的整体效率。

Python的GIL锁限制并发：Python的另一个大问题是，对多处理器支持不好。如果读者接触Python时间比较长，那么，一定听说过GIL这个词。GIL是指Python全局解释器锁（GlobalInterpreterLock），当Python的默认解释器要执行字节码时，都需要先申请这个锁。这意味着，如果试图通过多线程扩展应用程序，将总是被这个全局解释器锁限制。当然，我们可以使用多进程的架构来提高程序的并发，也可以选择不同的Python实现来运行我们的程序。

Python2与Python3不兼容：如果一个普通的软件或者库，不能够做到后向兼容，那么，它会被用户无情地抛弃了。在Python中，一个槽点是Python2与Python3不兼容。因为Python没有向后兼容，给所有的Python工程师带来了无数的烦恼。