怎样用 Python 进行数据分析？

做数据分析，首先你要知道有哪些数据分析的方法，然后才是用Python去调用这些方法

成都创新互联公司主营夷陵网站建设的网络公司,主营网站建设方案,app软件开发公司,夷陵h5小程序开发搭建,夷陵网站营销推广欢迎夷陵等地区企业咨询

那Python有哪些库类是能做数据分析的，很多，pandas，sklearn等等

所以你首先要装一个anaconda套件，它包含了几乎所有的Python数据分析工具，

之后再学怎么分析。

python基础：内置函数、方法、转义字符大全

在写python程序时，常能用到一些函数和方法，总结一下，保存起来，方便查询。

一、内置函数

# abs()获取数字绝对值

# chr(i)数字转换为字符类型

# divmod() 获取两个数值的商和余数

# enumerate() 将可遍历序列组合为索引序列

# float()转换为浮点数

# format() 格式化字符串

# int()转换为整数 

# input() 接受用户输入内容

# len() 计算元素个数

# max() 返回最大值

# min() 返回最小值

# math.ceil() 返回指定数值的上舍整数

# open()打开文件并返回文件对象

# pow() 幂运算

# print()打印输出 

# range() 生成器

# reversed()反转所有元素

# round()四舍五入求值

# sorted()对可迭代对象进行排序 

# str() 转换为字符串

# sum() 求和

# set() 创建集合

# tuple() 将序列转换为元组

# zip()将可迭代对象打包成元组

二、方法

# append() 添加列表元素

# capitalize()首字母转换为大写 

# count()字符出现次数

# close() 关闭文件

# decode() 解码字符串

# dict.keys() 获取字典所有的键

# find()字符串首次出现的索引

# f.read() 读取文件内容

# dict.update()更新字典

# dict.items() 获取字典键/值对

# dict.get() 返回指定键的值

# encode() 编码字符串

# list.sort() 排序列表元素

# index() 元素首次出现的索引

# isdigit() 判断字符串是否只由数字组成

# isupper() 是否所有字母都为大写

# isnum() 判断字符串是否由字母和数字组成

# islower() 是否所有字母都为小写

# isdecimal() 检查字符串是否只包含十进制字符

# isalpha() 检测字符串是否为纯字母

# random.shuffle()随机排序

# random.sample()返回无重复随机数列表

# random.choice() 返回一个随机元素

# random.randint() 生成指定范围的随机整数

# random.randrange() 生成指定范围的指定递增基数随机整数

# pop() 删除列表中的元素

# remove()删除列表中的指定元素

# strip()去除空格

# lstrip()去除左侧空格

# rstrip() 去除右侧空格

# readline() 读取单行内容

# root.after() Tkinter中等待一段时间后再执行命令

# str.isnumeric() 验证字符串是否为数字（适用于Unicode）

# split()分割字符串

# ord() 将字符转换为整数

# replace() 字符串替换

# ljust() 左对齐填充

# rjust() 左对齐填充

# readlines() 读取所有行内容

# datetime.datetime.now() 返回指定时区的本地日期时间

# datetime.datetime.today() 获取当前本地日期的date对象

# datetime.utcnow() 返回当前UTC时间的datetime对象

# time.strptime()把时间字符串解析为元组

# time.time()返回当前时间的时间戳

# time.sleep()暂停指定秒数

# time.strftime() 返回指定格式的日期字符串

# time.mktime() 接收时间元组并返回时间戳

# os.getcwd() 获取当前工作目录

# os.listdir() 获取指定路径下的目录和文件列表

# os.makedirs() 递归创建目录

# os.rename() 重命名目录或文件

# os.path.exists() 判断路径是否存在

# upper() 全部转换为大写字母

# lower()  全部转换为小写字母

# sys.stdout.write() 标准输出打印

# sys.stdout.flush()刷新输出 

# shutil.copy() 复制单个文件到另一文件或目录

# write() 写入文件内容

# winsound.Beep() 打开电脑扬声器

# zfill() 在字符串前面填充0

三、循环语句

# break终止当前循环

# continue 终止本循环进入下一次循环

# with open() as file 以with语句打开文件（数据保存）

四、转义字符

\ 行尾续行符

\' 单引号 

\'' 双引号

\a 响铃

\e 转义

\n 换行

\t 横向制表符

\f 换页

\xyy 十六进制yy代表的字符

\\反斜杠符号

\b 退格

\000 空

\v 纵向制表符

\r 回车

\0yy 八进制yy代表的字符

\other 其他的字符以普通格式输出

一文秒懂python正则表达式常用函数

01 Re概览

Re模块是python的内置模块，提供了正则表达式在python中的所有用法，默认安装位置在python根目录下的Lib文件夹（如 ..\Python\Python37\Lib）。主要提供了3大类字符串操作方法：

字符查找/匹配

字符替换

字符分割

由于是面向字符串类型的模块，就不得不提到字符串编码类型。re模块中，模式串和搜索串既可以是 Unicode 字符串 (常用str类型) ，也可以是8位字节串 (bytes，2位16进制数字，例如\xe5) ， 但要求二者必须是同类型字符串。

02 字符串查找/匹配

预编译：compile

在介绍查找和匹配函数前，首先需要知道re的compile函数，该函数可以将一个模式串编译成正则表达式类型，以便后续快速匹配和复用

import re pattern = re.compile(r'[a-z]{2,5}') type(pattern) #re.Pattern

此例创建了一个正则表达式式对象 (re.pattern) ，命名为pattern，用于匹配2-5位小写字母的模式串。后续在使用其他正则表达式函数时，即可使用pattern进行方法调用。

匹配：match

match函数用于从文本串的起始位置开始匹配，若匹配成功，则返回相应的匹配对象，此时可调用group()方法返回匹配结果，也可用span()方法返回匹配起止下标区间；否则返回None

import re pattern = re.compile(r'[a-z]{2,5}') text1 = 'this is a re test' res = pattern.match(text1) print(res) # if res:  print(res.group()) #this  print(res.span()) #(0, 4) text2 = '是的, this is a re test' print(pattern.match(text2))#None

match函数还有一个变形函数fullmatch，当且仅当模式串与文本串刚好全部匹配时，返回一个匹配对象，否则返回None

搜索：search

match只提供了从文本串起始位置匹配的结果，如果想从任意位置匹配，则可调用search方法，与match方法类似，当任意位置匹配成功，则立即返回一个匹配对象，也可调用span()方法获取起止区间、调用group方法获得匹配文本串

import re pattern = re.compile(r'\s[a-z]{2}') text1 = 'this is a re test' res = pattern.search(text1) print(res) # if res:  print(res.group()) #is  print(res.span()) #(4, 7) pattern2 = re.compile(r'\s[a-z]{5}') text2 = '是的,this is a re test' print(pattern2.search(text2))#None

match和search均用于匹配单个结果，唯一区别在于前者是从起始位置开始匹配，而后者从任意位置匹配，匹配成功则返回一个match对象。

全搜索：findall/finditer

几乎是最常用的正则表达式函数，用于寻找所有匹配的结果，例如在爬虫信息提取中，可非常方便地提取所有匹配字段

import re pattern = re.compile(r'\s[a-z]{2,5}') text1 = 'this is a re test' res = pattern.findall(text1) print(res) #[' is', ' re', ' test']

findall返回的是一个列表对象类型，当无匹配对象时，返回一个空列表。为了避免因同时返回大量匹配结果占用过多内存，可以调用finditer函数返回一个迭代器类型，其中每个迭代元素是一个match对象，可继续调用group和span方法获取相应结果

import re pattern = re.compile(r'\s[a-z]{2,5}') text1 = 'this is a re test' res = pattern.finditer(text1) for r in res:  print(r.group()) """  is  re  test """

当匹配模式串较为简单或者仅需单词调用时，上述所有方法也可直接调用re类函数，而无需事先编译。此时各方法的第一个参数为模式串。

import re pattern = re.compile(r'\d{2,5}') text = 'this is re test' re.findall('[a-z]+', text) #['this', 'is', 're', 'test'] 03 字符串替换/分割

替换:sub/subn

当需要对文本串进行条件替换时，可调用re.sub实现 (当然也可先编译后再用调用实例方法) ，相应参数分别为模式串、替换格式、文本串，还可以通过增加缺省参数限定替换次数和匹配模式。通过在模式串进行分组，可实现字符串的格式化替换（类似字符串的format方法），以实现特定任务。

import re text = 'today is 2020-03-05' print(re.sub('-', '', text)) #'today is 20200305' print(re.sub('-', '', text, 1)) #'today is 202003-05' print(re.sub('(\d{4})-(\d{2})-(\d{2})', r'\2/\3/\1', text)) #'today is 03/05/2020'

re.sub的一个变形方法是re.subn，区别是返回一个2元素的元组，其中第一个元素为替换结果，第二个为替换次数

import re text = 'today is 2020-03-05' print(re.subn('-', '', text)) #('today is 20200305', 2)

分割：split

还可以调用正则表达式实现字符串的特定分割，相当于.split()方法的一个加强版，实现特定模式的分割，返回一个切割后的结果列表

import re text = 'today is a re test, what do you mind?' print(re.split(',', text)) #['today is a re test', ' what do you mind?'] 04 总结

python中的re模块提供了正则表达式的常用方法，每种方法都包括类方法调用(如re.match)或模式串的实例调用(pattern.match)2种形式

常用的匹配函数：match/fullmatch

常用的搜索函数：search/findall/finditer

常用的替换函数：sub/subn

常用的切割函数：split

还有其他很多方法，但不是很常用，具体可参考官方文档

另外，python还有第三方正则表达式库regex可供选择

到此这篇关于一文秒懂python正则表达式常用函数的文章就介绍到这了，希望大家以后多多支持！

Python常用的正则表达式处理函数详解

正则表达式是一个特殊的字符序列，用于简洁表达一组字符串特征，检查一个字符串是否与某种模式匹配，使用起来十分方便。

在Python中，我们通过调用re库来使用re模块：

import re

下面介绍Python常用的正则表达式处理函数。

re.match函数

re.match 函数从字符串的起始位置匹配正则表达式，返回match对象，如果不是起始位置匹配成功的话，match()就返回None。

re.match(pattern, string, flags=0)

pattern：匹配的正则表达式。

string：待匹配的字符串。

flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。具体参数为：

re.I：忽略大小写。

re.L：表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境。

re.M：多行模式。

re.S：即 . ，并且包括换行符在内的任意字符（. 不包括换行符）。

re.U：表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库。

re.X：为了增加可读性，忽略空格和 # 后面的注释。

import re #从起始位置匹配 r1=re.match('abc','abcdefghi') print(r1) #不从起始位置匹配 r2=re.match('def','abcdefghi') print(r2)

运行结果：

其中，span表示匹配成功的整个子串的索引。

使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

group(num)：匹配的整个表达式的字符串，group() 可以一次输入多个组号，这时它将返回一个包含那些组所对应值的元组。

groups()：返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

import re s='This is a demo' r1=re.match(r'(.*) is (.*)',s) r2=re.match(r'(.*) is (.*?)',s) print(r1.group()) print(r1.group(1)) print(r1.group(2)) print(r1.groups()) print() print(r2.group()) print(r2.group(1)) print(r2.group(2)) print(r2.groups())

运行结果：

上述代码中的(.*)和(.*?)表示正则表达式的贪婪匹配与非贪婪匹配。

re.search函数

re.search函数扫描整个字符串并返回第一个成功的匹配，如果匹配成功则返回match对象，否则返回None。

re.search(pattern, string, flags=0)

pattern：匹配的正则表达式。

string：待匹配的字符串。

flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

import re #从起始位置匹配 r1=re.search('abc','abcdefghi') print(r1) #不从起始位置匹配 r2=re.search('def','abcdefghi') print(r2)

运行结果：

使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

group(num=0)：匹配的整个表达式的字符串，group() 可以一次输入多个组号，这时它将返回一个包含那些组所对应值的元组。

groups()：返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

import re s='This is a demo' r1=re.search(r'(.*) is (.*)',s) r2=re.search(r'(.*) is (.*?)',s) print(r1.group()) print(r1.group(1)) print(r1.group(2)) print(r1.groups()) print() print(r2.group()) print(r2.group(1)) print(r2.group(2)) print(r2.groups())

运行结果：

从上面不难发现re.match与re.search的区别：re.match只匹配字符串的起始位置，只要起始位置不符合正则表达式就匹配失败，而re.search是匹配整个字符串，直到找到一个匹配为止。

re.compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式对象，供 match() 和 search() 这两个函数使用。

re.compile(pattern[, flags])

pattern：一个字符串形式的正则表达式。

flags：可选，表示匹配模式，比如忽略大小写，多行模式等。

import re #匹配数字 r=re.compile(r'\d+')  r1=r.match('This is a demo') r2=r.match('This is 111 and That is 222',0,27) r3=r.match('This is 111 and That is 222',8,27)   print(r1) print(r2) print(r3)

运行结果：

findall函数

搜索字符串，以列表形式返回正则表达式匹配的所有子串，如果没有找到匹配的，则返回空列表。

需要注意的是，match 和 search 是匹配一次，而findall 匹配所有。

findall(string[, pos[, endpos]])

string：待匹配的字符串。

pos：可选参数，指定字符串的起始位置，默认为0。

endpos：可选参数，指定字符串的结束位置，默认为字符串的长度。

import re #匹配数字 r=re.compile(r'\d+')  r1=r.findall('This is a demo') r2=r.findall('This is 111 and That is 222',0,11) r3=r.findall('This is 111 and That is 222',0,27)   print(r1) print(r2) print(r3)

运行结果：

re.finditer函数

和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。

re.finditer(pattern, string, flags=0)

pattern：匹配的正则表达式。

string：待匹配的字符串。

flags：标志位，用于控制正则表达式的匹配方式，如是否区分大小写，多行匹配等。

import re  r=re.finditer(r'\d+','This is 111 and That is 222') for i in r:   print (i.group())

运行结果：

re.split函数

将一个字符串按照正则表达式匹配的子串进行分割后，以列表形式返回。

re.split(pattern, string[, maxsplit=0, flags=0])

pattern：匹配的正则表达式。

string：待匹配的字符串。

maxsplit：分割次数，maxsplit=1分割一次，默认为0，不限次数。

flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等。

import re  r1=re.split('\W+','This is 111 and That is 222')  r2=re.split('\W+','This is 111 and That is 222',maxsplit=1)  r3=re.split('\d+','This is 111 and That is 222')  r4=re.split('\d+','This is 111 and That is 222',maxsplit=1)  print(r1) print(r2) print(r3) print(r4)

运行结果：

re.sub函数

re.sub函数用于替换字符串中的匹配项。

re.sub(pattern, repl, string, count=0, flags=0)

pattern：正则中的模式字符串。

repl：替换的字符串，也可为一个函数。

string：要被查找替换的原始字符串。

count：模式匹配后替换的最大次数，默认0表示替换所有的匹配。

import re  r='This is 111 and That is 222' # 删除字符串中的数字 r1=re.sub(r'\d+','',r) print(r1) # 删除非数字的字符串  r2=re.sub(r'\D','',r) print(r2)

运行结果：

到此这篇关于Python常用的正则表达式处理函数详解的文章就介绍到这了，希望大家以后多多支持！

python -33-用函数校验用户名和密码格式是否正确

要求从键盘输入用户名和密码，校验格式是否符合规则，

如果不符合，打印出不符合的原因，并提示重新输入

python可以做哪些数据分析

1、检查数据表

Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Isnull是Python中检验空值的函数，你可以对整个数据表进行检查，也可以单独对某一列进行空值检查，返回的结果是逻辑值，包含空值返回True，不包含则返回False。使用unique函数查看唯一值，使用Values函数用来查看数据表中的数值。

2、数据表清洗

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_duplicates函数删除重复值，replace函数实现数据替换。

3、数据预处理

数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。

4、数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提起数据以外，还可以按具体的条件进行数据，比如使用loc和isin两个函数配合使用，按指定条件对数据进行提取。

5、数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和 count函数还能实现excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。groupby是进行分类汇总的函数，使用方法很简单，制定要分组的列名称就可以，也可以同时制定多个列名称，groupby 按列名称出现的顺序进行分组。