python如何进行内存管理

Python的内存管理主要有三种机制：引用计数机制，垃圾回收机制和内存池机制。

创新互联公司是一家企业级云计算解决方案提供商,超15年IDC数据中心运营经验。主营GPU显卡服务器，站群服务器，成都多线机房，海外高防服务器，大带宽服务器，动态拨号VPS，海外云手机，海外云服务器，海外服务器租用托管等。

引用计数机制

简介

python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。

特性

1.当给一个对象分配一个新名称或者将一个对象放入一个容器(列表、元组或字典)时，该对象的引用计数都会增加。

2.当使用del对对象显示销毁或者引用超出作用于或者被重新赋值时，该对象的引用计数就会减少。

3.可以使用sys.getrefcount()函数来获取对象的当前引用计数。多数情况下，引用计数要比我们猜测的大的多。对于不可变数据(数字和字符串)，解释器会在程序的不同部分共享内存，以便节约内存。

垃圾回收机制

特性

1.当内存中有不再使用的部分时，垃圾收集器就会把他们清理掉。它会去检查那些引用计数为0的对象，然后清除其在内存的空间。当然除了引用计数为0的会被清除，还有一种情况也会被垃圾收集器清掉：当两个对象相互引用时，他们本身其他的引用已经为0了。

2.垃圾回收机制还有一个循环垃圾回收器, 确保释放循环引用对象(a引用b, b引用a, 导致其引用计数永远不为0)。

内存池机制

简介

在Python中，许多时候申请的内存都是小块的内存，这些小块内存在申请后，很快又会被释放，由于这些内存的申请并不是为了创建对象，所以并没有对象一级的内存池机制。这就意味着Python在运行期间会大量地执行malloc和free的操作，频繁地在用户态和核心态之间进行切换，这将严重影响Python的执行效率。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

内存池概念

内存池的概念就是预先在内存中申请一定数量的，大小相等的内存块留作备用，当有新的内存需求时，就先从内存池中分配内存给这个需求，不够了之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片，提升效率。内存池的实现方式有很多，性能和适用范围也不一样。

特性

1.Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。

2.Pymalloc机制。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

3.Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的 malloc。

4.对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

python函数高级

一、函数的定义

函数是指将一组语句的集合通过一个名字（函数名）封装起来，想要执行这个函数，只需要调用函数名即可

特性：

减少重复代码

使程序变得可扩展

使程序变得易维护

二、函数的参数

2.1、形参和实参数

形参，调用时才会存在的值

实惨，实际存在的值

2.2、默认参数

定义：当不输入参数值会有一个默认的值，默认参数要放到最后

2.3、 关键参数

定义： 正常情况下，给函数传参数要安装顺序，不想按顺序可以用关键参数，只需要指定参数名即可，（指定了参数名的就叫关键参数），但是要求是关键参数必须放在位置参数（以位置顺序确定对应的参数）之后

2.4、非固定参数

定义： 如你的函数在传入参数时不确定需要传入多少个参数，就可以使用非固定参数

# 通过元组形式传递

# 通过列表形式传递

# 字典形式（通过k,value的方式传递）

# 通过变量的方式传递

三、函数的返回值

作用：

返回函数执行结果，如果没有设置，默认返回None

终止函数运行，函数遇到return终止函数

四、变量的作用域

全局变量和局部变量

在函数中定义的变量叫局部变量，在程序中一开始定义的变量叫全局变量

全局变量作用域整个程序，局部变量作用域是定义该变量的函数

当全局变量与局部变量同名是，在定义局部变量的函数内，局部变量起作用，其他地方全局变量起作用

同级的局部变量不能互相调用

想要函数里边的变量设置成全局变量，可用global进行设置

五、特殊函数

5.1、嵌套函数

定义： 嵌套函数顾名思义就是在函数里边再嵌套一层函数

提示 在嵌套函数里边调用变量是从里往外依次调用，意思就是如果需要调用的变量在当前层没有就会去外层去调用，依次内推

匿名函数

基于Lambda定义的函数格式为： lambda 参数:函数体

参数，支持任意参数。

匿名函数适用于简单的业务处理，可以快速并简单的创建函数。

# 与三元运算结合

5.3、高阶函数

定义：变量可以指向函数，函数的参数可以接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数称之为高阶函数 只需要满足一下任意一个条件，即是高阶函数

接收一个或多个函数作为输入

return返回另一个函数

5.4、递归函数

定义:一个函数可以调用其他函数，如果一个函数调用自己本身，这个函数就称为递归函数

在默认情况下Python最多能递归1000次，（这样设计师是为了防止被内存被撑死）可以通过sys.setrecursionlimit(1500)进行修改

递归实现过程是先一层一层的进，然后在一层一层的出来

必须有一个明确的条件结束，要不然就是一个死循环了

每次进入更深层次，问题规模都应该有所减少

递归执行效率不高，递归层次过多会导致站溢出

# 计算4的阶乘 4x3x2x1

# 打印数字从1-100

5.5、闭包现象

定义:内层函数调用外层函数的变量，并且内存函数被返回到外边去了

闭包的意义：返回的函数对象，不仅仅是一个函数对象，在该函数外还包裹了一层作用域，这使得，该函数无论在何处调用，优先使用自己外层包裹的作用域

Python是如何进行内存管理的

Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。

Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的

malloc。另外Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的

整数，用于缓存这些整数的内存就不能再分配给浮点数。

在Python中，许多时候申请的内存都是小块的内存，这些小块内存在申请后，很快又会被释放，由于这些内存的申请并不是为了创建对象，所以并没有对象一

级的内存池机制。这就意味着Python在运行期间会大量地执行malloc和free的操作，频繁地在用户态和核心态之间进行切换，这将严重影响

Python的执行效率。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。这也就是之前提到的

python内存管理机制

由于python中万物皆对象，所以python的存储问题是对象的存储问题。实际上，对于每个对象，python会分配一块内存空间去存储它。

那么python是如何进行内存分配，如何进行内存管理，又是如何释放内存的呢？

总结起来有一下几个方面：引用计数，垃圾回收，内存池机制

python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数

1、对象被创建 a= 'abc'

2、对象被引用 b =a

3、对象被其他的对象引用 li = [1,2,a]

4、对象被作为参数传递给函数：foo(x)

1、变量被删除 del a 或者 del b

2、变量引用了其他对象 b = c 或者 a = c

3、变量离开了所在的作用域（函数调用结束） 比如上面的foo(x)函数结束时，x指向的对象引用减1。

4、在其他的引用对象中被删除（移除） li.remove(a)

5、窗口对象本身被销毁：del li，或者窗口对象本身离开了作用域。

即对象p中的属性引用d，而对象d中属性同时来引用p，从而造成仅仅删除p和d对象，也无法释放其内存空间，因为他们依然在被引用。深入解释就是，循环引用后，p和d被引用个数为2，删除p和d对象后，两者被引用个数变为1，并不是0，而python只有在检查到一个对象的被引用个数为0时，才会自动释放其内存，所以这里无法释放p和d的内存空间

垃圾回收机制: ① 引用计数 , ②标记清除 , ③分带回收

引用计数也是一种垃圾收集机制, 而且也是一种最直观, 最简单的垃圾收集技术.当python某个对象的引用计数降为 0 时, 说明没有任何引用指向该对象, 该对象就成为要被回收的垃圾了.(如果出现循环引用的话, 引用计数机制就不再起作用了)

优点:简单实时性，缺点：维护引用计数消耗资源，且无法解决循环引用。

如果两个对象的引用计数都为 1 , 但是仅仅存在他们之间的循环引用,那么这两个对象都是需要被回收的, 也就是说 它们的引用计数虽然表现为非 0 , 但实际上有效的引用计数为 0 ,.所以先将循环引用摘掉, 就会得出这两个对象的有效计数.

标记清除算法也有明显的缺点：清除非活动的对象前它必须顺序扫描整个堆内存，哪怕只剩下小部分活动对象也要扫描所有对象。

为了提高效率，有很多对象，清理了很多次他依然存在，可以认为，这样的对象不需要经常回收，可以把它分到不同的集合，每个集合回收的时间间隔不同。简单的说这就是python的分代回收。

具体来说，python中的垃圾分为1，2，3代，在1代里的对象每次回收都会去清理，当清理后有引用的对象依然存在，此时他会进入2代集合，同理2代集合清理的时候存在的对象会进入3代集合。

每个集合的清理时间如何分配：会先清理1代垃圾，当清理10次一代垃圾后会清理一次2代垃圾，当清理10次2代垃圾后会清理3代垃圾。

在Python中，许多时候申请的内存都是小块的内存，这些小块内存在申请后，很快又会被释放，当创建大量消耗小内存的对象时，频繁调用new/malloc会导致大量的内存碎片，致使效率降低。

内存池的概念就是预先在内存中申请一定数量的，大小相等的内存块留作备用，当有新的内存需求时，就先从内存池中分配内存给这个需求，不够了之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片，提升效率。

Python中有分为大内存和小内存：（256K为界限分大小内存）

大小小于256kb时，pymalloc会在内存池中申请内存空间，当大于256kb，则会直接执行 new/malloc 的行为来申请新的内存空间

在python中 -5到256之间的数据，系统会默认给每个数字分配一个内存区域，其后有赋值时都会指向固定的已分配的内存区域

在运行py程序的时候，解释器会专门分配一块空白的内存，用来存放纯单词字符组成的字符串（数字，字母，下划线）

字符串赋值时，会先去查找要赋值的字符串是否已存在于内存区域，已存在，则指向已存在的内存，不存在，则会在大整数池中分配一块内存存放此字符串

python的内存管理机制

论坛

活动

招聘

专题

打开CSDN APP

Copyright © 1999-2020, CSDN.NET, All Rights Reserved

登录

XCCS_澍

关注

Python 的内存管理机制及调优手段？ 原创

2018-08-05 06:50:53

XCCS_澍

码龄7年

关注

内存管理机制：引用计数、垃圾回收、内存池。

一、引用计数：

引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。

二、垃圾回收 ：

1. 引用计数

引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的垃圾收集技术。当 Python 的某个对象的引用计数降为 0 时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了。比如某个新建对象，它被分配给某个引用，对象的引用计数变为 1。如果引用被删除，对象的引用计数为 0，那么该对象就可以被垃圾回收。不过如果出现循环引用的话，引用计数机制就不再起有效的作用了

2. 标记清除

如果两个对象的引用计数都为 1，但是仅仅存在他们之间的循环引用，那么这两个对象都是需要被回收的，也就是说，它们的引用计数虽然表现为非 0，但实际上有效的引用计数为 0。所以先将循环引用摘掉，就会得出这两个对象的有效计数。

3. 分代回收

从前面“标记-清除”这样的垃圾收集机制来看，这种垃圾收集机制所带来的额外操作实际上与系统中总的内存块的数量是相关的，当需要回收的内存块越多时，垃圾检测带来的额外操作就越多，而垃圾回收带来的额外操作就越少；反之，当需回收的内存块越少时，垃圾检测就将比垃圾回收带来更少的额外操作。

python使用函数可以减小内存开支吗

函数其实也就是封装好的算法代码，因为一些常用函数都经过开发者，用户的多次测试优化，在python的开源环境下更是如此，所以大多时候比新手开发者自己写的方法内存性能都有提升，但针对不同的需求，自己写新的算法可能更优，并不绝对