【学习笔记】PYTHON语言程序设计(北理工嵩天)

丁德琪 · 发表于 2019-9-3 09:58:00

1 Python基本语法元素

1.1 程序设计基本方法

计算机发展历史上最重要的预测法则摩尔定律：单位面积集成电路上可容纳晶体管数量约2年翻倍 cpu/gpu、内存、硬盘、电子产品价格等都遵循此定律

50年来计算机是唯一一个指数发展的领域

源代码、目标代码（机器代码）

编译、解释

静态语言、脚本语言

静态语言编译器一次性生成目标代码，优化更冲份，程序运行速度更快

脚本语言执行程序时需要源代码，维护更灵活

程序的基本设计方法IPO

I：input 文件输入、网络输入、控制台输入、交互界面输入、内部参数输入

P：process 处理

O:output 控制台输出、图形输出、文件输出、网络输出、操作系统内部输出

6个步骤：

－分析问题：分析问题的计算部分，想清楚

－划分边界：划分问题的功能边界，规划IPO

－设计算法：设计问题的求解算法，关注算法

－编程

－调试测试

－升级维护

3个精简步骤：确定IPO、编程、调试运行

计算思维（编程体现了一种抽象交互关系、自动化执行的思维模式）、逻辑思维、实证思维

1.2 Python开发环境配置

python 蟒蛇

psf 拥有者，开放、开源精神

Guido van Rossum创立

2002年 2.x

2008年 3.x

python3不兼容python2

交互式、文件式

linux自带python2和python3，无需安装，不过没有pip，要安装apt install python3-pip

1.3 实例1：温度转换

实例1：温度转换

需求：摄氏度与华氏度相互转换

#TempConvert.py
TempStr = input("请输入带有符号的温度值: ")
if TempStr[-1] in ['F', 'f']:
    C = (eval(TempStr[0:-1]) - 32)/1.8
    print("转换后的温度是{:.2f}C".format(C))
elif TempStr[-1] in ['C', 'c']:
    F = 1.8*eval(TempStr[0:-1]) + 32
    print("转换后的温度是{:.2f}F".format(F))
else:
    print("输入格式错误")

1.4 Python程序语法元素分析

程序的格式框架：

代码高亮是辅助

缩进是语法要求一般4个空格或者1个tab 表达代码间包含和层次关系的唯一手段

注释：单行注释 # 多行注释 ”’ ”’

命名：给变量关联标识符的过程

命名大小写敏感、首字符不能是数字、不与保留字相同

保留字：被编程语言内部定义并保留使用的标识符也大小写敏感 33个

数据类型

字符串

用‘’或“”

正向递增序号、反向递减序号 正向0开始编号

索引：可以使用[M]索引其中单个字符

切片：可以使用[M:N]返回其中一段子串,从第M到第N-1个字符

数字类型：整数、浮点数

列表：表示0到多个数据组成的有序序列，采用,分隔各元素，使用in判断一个元素是否在列表中

= 赋值主语句

分支语句if elif else构成

eval 评估函数 去除参数最外侧引号并执行余下语句的函数

垂直输出hello world

for i in “Hello World”:

print(i)

输出

x = input()

print(eval(x)**0,eval(x)**1,eval(x)**2,eval(x)**3,eval(x)**4,eval(x)**5)

2. Python基本图形绘制

2.1 深入理解Python语言

计算机演进过程：

1946-1981 计算机系统结构时代计算能力问题 1981年个人pc诞生

1981-2008 网络和视窗时代交互问题 2008 Android诞生标志pc转向移动

2008-2016 复杂信息系统时代数据问题 2016年alpha go打败人类

2017- 人工智能时代人类的问题

新计算时代过度到人工智能时代的中间时代

编程语言的初心

不完全统计600多中语言常用的也就那么20来种

python已经在tiobe排行超过C++跃居第三

Python语言是通用语言、脚本语言、开源语言、跨平台语言、多模型语言

–强制可读性

–较少的底层语法元素

–多种编程方式

–支持中文字符

–C代码量的10% 语法简洁 *10

–13万第三方库 生态高产 *10

–快速增长的计算生态每年2万

–避免重复造轮子

–开放共享

–跨操作系统平台

人生苦短我学Python

–C/C++：C归C Python归Python

–Java：针对特定开发和岗位需求

–HTML/CSS/JS:不可替代的前端技术，全栈能力

-R/GO/Matlab等：特定领域

Python是最高产的程序设计语言

–掌握抽象并求解计算问题综合能力的语言

-了解产业界解决复杂计算问题方法的语言

-享受利用编程将创新变为实现乐趣的语言

工具决定思维：关注工具变革的力量！

python具有最庞大的生态库，是唯一的超级语言，前进步伐不可阻挡

2.2 实例2：Python蟒蛇绘制

2.3 模块1： turtle库的使用

turtle库基本介绍

import 保留字引入turtle绘图库海龟绘图体系

turtle库是turtle绘图体系的Python实现 1969年诞生，主要用于程序设计入门 Python的标准库之一入门级的图形绘制函数库

Python计算生态=标准库+第三方库

库library，包package，模块module ,统称模块

有一只海龟，其实在窗体正中心，在画布上游走，走过的轨迹绘制的图形，海龟由程序控制，可以变换颜色宽度

turtle绘图窗体布局

turtle的一个画布空间最小单位是像素

屏幕坐标系：屏幕左上角为0 0

turtle.setup(width,height,startx,starty)后两个可选默认屏幕中央并不是必须的用来设置窗体大小和窗体左上角与屏幕左上角的相对位置

turtle空间坐标系：

绝对坐标 海龟在屏幕中央记为（0，0）坐标原点 turtle.goto(x,y)

海龟坐标以海归的视角turtle.fd(d),turtle.bk(d),turtle.circle(r,angle) 左侧r为止为中心行走angle角度的弧线

turtle角度坐标体系

绝对角度 改变海龟前进方向 turtle.seth(angle)

海龟角度 turtle.left(angle),turtle.right(angle)

RGB色彩体系 0-255整数或 0-1 的小数

默认采用小数制，可切换为整数制 turtle.colormode(mode) mode为1.0或255

2.4 turtle语法元素分析

库引用

扩充Python程序功能的方式使用import保留字完成，采用<a>.<b>()的编码风格

from turtle import* 缺点函数重名适用于短的程序

from turtle import函数名

可以as保留字起别名 import turtle as t –推荐使用

画笔控制函数

画笔操作后一直有效，一般成对出现

-turtle.penup() 别名turtle.pu() 抬起画笔，海龟在飞行

-turtle.pendown() 别名turtle.pd() 落下画笔，海龟在爬行

画笔设置后一直有效，直到下次设置

-turtle.pensize(width) 别名turtle.width(width) 画笔宽度，海龟腰围

-turtle.pencolor(color) color为颜色字符串或rgb值画笔颜色，海龟在涂装

-颜色字符串 turtle.pencolor(“purple”)

-rgb小数 turtle.pencolor(0.63，0.13，0.94)

-rgb元组值 turtle.pencolor((0.63，0.13，0.94))

运动控制函数

控制海龟行进：走直线&走曲线

-turtle.forward(d) 别名 turtle.fd(d) 向前行进，海龟走直线 d可以为负数

-turtle.circle(r,extent=none) 根据半径r绘制extent角度的弧线 r默认圆心在海龟左侧r距离的位置 -extent绘制角度，默认是360度

方向控制函数

turtle.setheading() 别名turtle.seth() 控制海龟面对方向：绝对角度海龟角度

turtle.left() turtle.right()

循环语句

for in 保留字

range() 产生循环计算序列 range(N) range(M,N) 0到N-1 M到N-1

turtle.done() 运行结束不退出需要手工退出去掉就自动退出了

3. 基本数据类型

3.1 数字类型及其操作

整数类型：可正可负取值无限 pow(x,y) x的y次方

4种进制表示：10进制、二进制0b或0B开头 0b010、8进制0o或0O、16进制0x或0X

浮点型 10的308次方精度达到：10的-16次方小数即53位二进制与数学中实数一致

不确定尾数 （浮点数运算）不是bug 53位二进制表示浮点数的小数部分约10的-16次方计算机中的二进制和十进制不完全对等

二进制表示小数，可以无限接近，但不完全相同

0.1+0.2 结果接近0.3

0.1+0.2 == 0.3 false 用round(x,d)处理不确定尾数 不确定位数一般发生在10的-16次方左右

科学计数法 e或E作为幂的符号，10为基数 <a>e<b> 4.3e-3

复数类型 z.real z.imag 获得实部和虚部

数值运算操作符

x+y x-y x*y x/y x//y +x -y x%y x**y ps:x/y 是浮点数别的语言中不是这样

二元操作符有对应的增强赋值操作符

x op =y x+=y x-=y x*=y x/=y x//=y x%=y x**=y

类型间可以混合运算结果生成为“最宽”的类型隐式转换整数->浮点数->复数如123+4.0=127.0

数值运算函数

abs(x) 绝对值

divmod(x,y) 商余 divmod(10,3) 结果是二元数(3,1)

pow(x,y[,z]) 幂余

round(x[,d]) 四舍五入

max(x1,x2,..)

min(x1,x2,..)

int(x) 显示类型转换，变为整数，舍弃小数

float(x) 转浮点数

complex(x) 转复数

3.2 实例3：天天向上的力量

问题分析：持续的价值 一年365天每天进步1%，累计进步多少？相反，每天退步1%，累计剩下多少？如果三天打渔二天晒网呢？

每天进步或退步0.1%

如果是0.5% 1%呢

如果是工作日的力量？工作日进步1%，休息日退步1%

工作日的努力要达到多少才能和每天努力1%一样？

3.3 字符串类型及操作

四种字符串表示方法：

由一对单引号或双引号表示单行字符串

由一对三引号或三双引号表示多行字符串

三单引号表示字符串，程序啥都不执行，相当于注释，python实际没有真正提供多行注释

[M:N:K]根据步长对字符串切片 M和N均可以缺失，表示至开头或至结尾

[::-1]倒序

转义符\ \b 回退 \n 换行 \r 回车光标移动到行首

字符串操作符

x+y 连接两个字符串

n*x或x*n 复制n次字符串x

x in s

字符串处理函数

len(x) 字符串长度中英文长度都是1

str(x) 强制类型转换为字符串 和eval相反操作

hex(x) 整数x转变为8进制形式

oct(x) 整数x转变为16进制形式

chr(x) 将unicode编码返回其字符形式

ord(x) 上面的反操作

unicode编码统一字符编码从0到1114111(0x10FFFF) Python字符串每个字符都是unicode编码

字符串处理方法

<a>.<b> 形式面向对象的术语表示对象的动作

8个字符串处理方法

.lower() .upper() 大小写转换

.split(sep=None) 字符串分割，返回一个列表例：”a,b,c”.split(‘,’)结果是[‘a’, ‘b’, ‘c’]

.count(sub) 字符串sub在其中出现次数

.replace(old,new) 字符串替换

.center(width[,fillchar]) 字符串格式处理，字符串居中例： ‘python’.center(30,’=’) 结果’============python============’

.strip(chars) 去除字符换两边字符如：’= python= ‘.strip(‘ =np’)结果’ytho’

.join(iter) 填充字符如：’,’.join(‘12345′)结果’1,2,3,4,5’

字符串类型的格式化

格式化是对字符串进行格式化表达的方式

.format方法用法：<模板字符串>.format(<逗号分隔的参数>)

槽相当于占位信息符，只在字符串中有用

分为2组

前三个参数是一组默认填充空格左对齐

如： “{:=^20}”.format(“python”) 结果： ‘=======python=======’

如： “{0:,.2f}”.format(12345.6789) 结果 ‘12,345.68’

如：”{0:b} {0:c} {0:d} {0:o} {0:x} {0:X}”.format(425) 结果’110101001 Ʃ 425 651 1a9 1A9′

如： “{0:e} {0:E}{0:f} {0:%}”.format(3.14) 结果 ‘3.140000e+00 3.140000E+003.140000 314.000000%’

3.4 模块2：time库的使用

time库是Python中处理时间的标准库

时间获取

time() 获取当前时间戳，即计算机系统内部时间值，浮点数 1970年1月1日0点0分开始到当前系统以秒为单位的浮点数如：1537763974.4934046

ctime() 获取当前时间，返回字符串，人类易读如：’Mon Sep 24 12:41:59 2018′

gmtime() 获取当前时间，struct_time格式，计算机易处理的格式

如：time.struct_time(tm_year=2018, tm_mon=9, tm_mday=24, tm_hour=4, tm_min=42, tm_sec=52, tm_wday=0, tm_yday=267, tm_isdst=0)

时间格式化

strftime()

格式化字符串
striptime()

程序计时

perf_counter()

sleep()

3.5 实例4：文本进度条

问题分析：采用字符串方式打印可以动态变化的文本进度条能在一行中逐渐变化

刷新的本质：用后打印的字符覆盖之前的字符

print() 默认加换行 print( ，end=””)不换行 \r退格到行首

idle不是主要的运行环境所以\r功能在idle屏蔽了用shell执

文本进度条简单的开始

文本进度条单行动态刷新

文本进度条实例完整效果

4.程序的控制结构

4.1 分支结构

单分支结构

if <条件>:

<程序1>

二分支结构

if <条件1>:

<程序1>

else：

<程序2>

紧凑形式：适用于简单表达式的二分支结构

<表达式1> if <条件> else <表达式2>

如：

guess = eval(input())

print(“猜{}了”.format(“对”if guess == 99 else ”错”))

多分支结构

if <条件1>:

<程序2>

elif <条件2>:

<程序3

…

else:

<程序n>

条件判断> >= < <= == !=

条件组合x and y x or y not x

异常处理

try:

程序1

except [NameError]:

程序2

try:

程序1

except:

程序2

else:

程序3

finally:

程序4

4.2 实例5：身体质量指数BMI

问题分析：BMI是身体肥胖程度的刻画（BODY MASS INDEX） BMI=体重(kg)/身高的平方(m)，接收用户信息判断身体肥胖程度

4.3 循环结构

for 遍历循环

for <循环变量> in <遍历结构>：

<语句块>

记数循环

for I in range(5):

print(i）

for I in range(m:n:k):

print(i）

字符串遍历循环

for c in s:

<语句块>

for c in “Python123”:
print(c)

列表遍历循环ls是列表

for item in ls:

<语句块>

for item in [123,”py”,456]:
print(item,end=’,’)

文件遍历循环 fi是文件标识符

for line in fi:

<语句块>

while 无限循环

while <条件>:

<语句>

循环控制保留字break continue

循环扩展：两种循环后面都可以加else分支 else为没有被break退出是执行的，作为正常运行的奖励

4.4 模块3：random库使用

random库是使用随机数的python标准库

计算机没法产生真正的随机数，但是可以使用梅森旋转算法产生伪随机数

使用 import random

random库包括2类函数，常用共8个

基本随机数函数：seed(),random()

括展随机数函数：randint(),getrandbits(),uniform(),randrange(),choice(),shuffle()

随机数种子

seed(a=None) 初始化给定的随机数种子，默认为系统当前时间，例：random.seed(10) #产生种子10对应的序列 0.5714025946899135 0.4288890546751146 ..

random() 生成一个[0.0,1.0)之间的随机小数，例：random.random()

为什么要使用随机数种子呢，因为可以使用相同的随机数种子复现程序的执行情况

randint(a,b) 生成一个[a,b]之间的整数，例：random.randint(10,100)

randrange(m,n[,k]) 生成一个[m,n)之间以k为步长的随机整数,例：random.random(10,100,10)

getrandbits(k) 生成一个k比特长的随机整数

uniform(a,b) 生成一个[a,b]之间的随机小数

choice(seq) 从序列中随机选择一个元素，例：random.choice([1,2,3,4,5,6])

shuffle(seq) 将序列中元素随机排序，返回打乱后的序列，例：s=[1,2,3,4];random.shuffle(s);print(s)

4.4 实例6：圆周率计算

蒙特卡罗方法 工程方法

数学思维

计算思维

time库perf_counter来关注程序性能

据统计，程序80%的时间消耗在不到10%的代码上有点儿类似28法则

关注循环

5.函数和代码复用

5.1 函数的定义与使用

函数定义

函数是一段具有特定功能可复用的语句

df <函数名>(参数):

<函数体>

return <返回值>

其中参数可以是0个到多个，是占位符

函数不经过调用是不会执行的

函数就是IPO的实现

函数也是一段完整代码的封装

函数的参数传递

可选参数传递：可以为参数指定默认值，变为可选参数，可选参数要放在非可选参数之后

可变参数传递：不确定参数有多少个

参数传递的两个方式

默认是按照位置，可以按照名称方式传递

函数的返回值

return可以返回0个或多个结果

函数可以有返回值也可以没有

可以有return 也可以没有

返回多个值的时候是返回元组类型用() 元素用逗号分隔

局部变量与全局变量

函数外边的是全局变量，里面是局部变量

局部变量是函数内部的占位符，可能与全局变量重名单不相同

函数运行结束后局部变量被释放

规则1：局部变量与全局变量是不同变量

可以使用global保留字在函数内部使用全局变量

规则2：局部变量如果是组合数据类型且未被创建，等同于全局变量组合数据类型实际是指针的原因

lambda函数

lambda函数返回函数名作为结果

lambda函数是一种匿名函数，没有名字的函数

lambda函数用于定义一种简单的能够在一行内表示的函数

是一种函数的紧凑表达形式

<函数名> = lambda <参数>：<表达式>

f = lambda x,y : x + y

f(10,15)

谨慎使用lambda函数

用于特定的方法的参数

一般就算是1行代码，也建议用def方式定义

5.2 实例7：七段数码管绘制

问题分析：用turtle绘制数码管样式的时间

5.3 代码复用与函数递归

代码复用

代码抽象化：使用函数等方法对代码赋予更高级别的定义

函数和对象是代码复用的2中主要形式

函数是在代码层面建立了初步抽象

对象有属性和方法，是更高级别的抽象

封装

模块化设计

分而治之：

通过函数或对象封装将程序划分为模块与模块间的表达

主程序、子程序与子程序之间的关系

一般将子程序看作模块，主程序看作模块与模块间的关系

是一种分而治之、分层抽象、体系化的设计思想

紧耦合：两个部分之间交流很多，无法独立存在

松耦合：两个部分之间交流很少，可以独立存在，有各自清晰简单的接口

模块化设计基本思路和原则：模块内部紧耦合，模块之间松耦合

函数递归：函数定义中调用自身的方式

两个关键特征

链条：计算过程存在递归链条

基例：存在一个或者多个不需要再次递归的基例递归的最末段

类似数学归纳法，先证明第一个取值命题成立，然后第n个取值命题成立，第n+1取值命题也成立，那么命题成立

递归可以理解为数学归纳法思维在编程中的体现

函数递归的调用

函数+分支语句：基例和链条分别编写代码

3个小栗子

5.4 模块4：Pyinstaller库的使用

是第三方库需要安装

pip工具

shell中使用使用 pyinstaller –F <文件名.py>

5.5 实例8：科赫雪花小包裹

分形几何

6. 组合数据类型

6.1 集合类型及操作

集合是多个元素的无序组合，每个元素唯一，不存在相同元素

集合元素不可更改，不能是可变数据类型，比如列表类型就不能作为元素，整数浮点数复数字符串元组类型等都是不可变数据类型

用{}表示，元素间用逗号分隔

建立集合用{}或者set()

例如：B = set(“pypy123”) 结果{‘1’,’2’,’3’,’p’,’y’}

建立空集合必须用set()

6个集合操作符

S | T 并

S – T 差

S & T 交

S ^ T 补

S <= T、S < T 包含与子集关系

S >= T、S > T

增强操作符

S |= T

S –= T

S &= T

S ^= T

10个集合处理方法

S.add(x) 如果x不在S中，将x元素加入S集合

S.discard(x) 移除S中元素x，如果x不在集合S中，不报错

S.remove(x) 移除S中元素x，如果x不在S中，产生KeyError异常

S.clear() 移除S中所有元素

S.pop() 随机返回S的一个元素，更新S，若S为空产生KeyError异常

S.copy() 返回集合S的一个副本

len(S) 返回个数

x in S 判断S中是否有元素x

x not in S 同上相反

set(x) 将其他类型变量x转变为集合类型

集合类型应用场景

包含关系的比较

数据去重

6.2 序列类型及操作

序列是有先后顺序的一组元素

序列是一维元素向量，元素类型可以不同，类似C语言中的一维数组

元素间由序号引导，通过下标访问序列的特定元素

序列是一个基类类型

一般不直接用序列类型而是使用其衍生类型，比如字符串、元组、列表

序列处理函数与方法

元组类型

元组是一种序列类型，一旦创建就不能被修改

使用()或者tuple()创建,元素间用逗号分隔

可以使用或不适用小括号,比如函数返回多个返回值就是使用没有括号的元组类型,python内部认为是一个值，是一个元组

元组类型继承了序列的所有通用操作

元组类型因为一旦定义不能修改，所以没有特殊操作

列表类型及操作

列表是序列类型的扩展，十分常用

列表是一种序列类型，创建后可以随意修改，长度无限制，元素类型可不同

列表本质是指针，如果通过赋值语句给另外一个变量，那么实际并没有创建一个新列表，可以类似linux的硬链接,[]或者函数list()才是真正创建一个列表，赋值仅仅传递引用
一些例子
一些例子

序列类型应用场景

包含元组列表

元组用于元素不改变的场景，更多用于固定场景比如函数返回值

列表则更加灵活，是常用的序列类型

最主要作用：表示一组有序数据并进而操作它们

元素遍历 for item in lt

数据保护利用元组不可修改的特性

6.3 实例9：基本统计值计算

问题分析：给出一组数据，给出概要理解，比如求和、平均值、方差、中位数…

总个数：len()

求和：for … in

平均值：上2个除

方差：各数据与平均值的平方的和的平均数

中位数：排序，取中间的或者中间2个数平均数

6.4 字典类型及操作

字典类型的定义

映射是一种键(索引)和值(数据)的对应

用{}或者dict()创建字典，键值对用:表示 {key:value,key2:value2…}

type()可以检测变量的类型

{}可以用来声明空字典，这就是集合类型中定义空集合不能用{}的原因

一些例子

6.5 模块5：jieba库的使用

优秀的中文分词第三方库

由于中文是连续书写的需要通过特定手段获得单个词语

jieba库提供3种分词模式，最简单只需要掌握一个函数

通过中文词库方式识别确定汉字之间关联概率概率大的组成词组，形成分词效果

除了分词，用户也可以添加自定义的词组

三种模式

精确模式：把文本精确的切分开，不存在冗余单词最常用的分词模式

全模式：把文本中所有可能的词语都扫描出来，存在冗余

搜索引擎模式：更加智能，在精确模式的基础上，对长词再次切分，存在冗余，在某些特定场景下使用

6.6 实例10：文本词频统计

问题分析：一篇文章，出现了哪些词？哪些词最多？

中英文各一个程序：分别是哈姆雷特和三国演义

7. 文件和数据格式化

7.1 文件的使用

文件的类型

文本文件、二进制文件只是展示方式，本质上都是二进制数据

文本文件：由单一特定编码组成的文件，如utf-8编码由于存在编码，文本文件也被看为一个长字符串

二级制文件：数据间没有统一字符编码，01组成，比如png avi等文件

文件的打开和关闭

打开->操作->关闭文件存储状态和占用状态转换

文件的打开

<变量名> = open(<文件名>,<打开模式>)

文件句柄

文件路径和名称，使用相对路径或者绝对路径，同一个路径的话就直接文件名，斜杠\是转移字符使用反斜杠/替换,或者\\

打开模式

<变量名>.close 关闭文件

当程序退出的时候，python也会自动关闭文件

文件内容的读取

<f>.read(size=-1) 读入全部内容，如果给出参数，读入前size长度

<f>.readline(size=-1) 读入一行，如果给了size，读入该行前size长度

<f>.readlines(hint=-1) 读入文件所有行，以每行为元素形成列表,hint参数可选，读入前hint行

遍历全文本

文件的逐行处理

文件写入

<f>.write(s) 向文件写入一个字符串或字节流如：f.write(“abc”)

<f>.writelines(lines) 将一个元素全为字符串的列表写入文件如：ls=[‘a’,’b’,’c’],f.writelines(ls)

<f>.seek(offset) 改变当前文件操作指针的位置，offset含义如下：0文件开头，1-当前位置，2-文件结尾

例子：

7.2 实例11：自动轨迹绘制

问题分析：根据脚本来绘制图形不是写代码而是写数据绘制轨迹

自动化思维

将数据和功能分离开来

数据驱动

接口化设计

可以扩展

扩展接口设计，增加更多控制接口

扩展功能设计，增加弧形等更多功能

扩展应用需求，发展自动轨迹绘制到动画绘制

7.3 一维数据的格式化

一维数据：由对等关系的有序或无序数据构成，采用线性方式组织，对应列表、集合、数组等概念

二维数据：由多个一维数据组成，是一维数据的组合形式

多维数据：是一维或二维数据在新唯独上扩展形成，比如中国大学排行榜加入时间维度

高维数据：仅利用最基本的二元关系展示数据间的复杂结构，比如字典类型中的key-value形式

操作周期

一维数据的表示

如果数据间有序，使用列表类型

如果数据间无序，使用集合类型

一维数据的存储

一维数据的处理
类似于一个驱动

7.4 二维数据的格式化和处理

二维列表

两层for循环遍历二维列表

csv:comma-separated values 逗号分隔国际通用一般.csv为扩展名

每行一个一维数据，无空行

一般的软件都能生成csv格式文件

如果每个元素缺失，逗号要保留

表头可以作为数据存储，也可以令行存储

如果数据中包含逗号，不同的软件有不同的约定，比如转义符或者其他方式

按行存或者按列存都行，一般索引习惯 ls[row][col] 先行后列，按行存

二维数据的处理

读入处理

7.5 模块6：wordcloud库的使用

词云展示的第三方库

wordcloud库把词云当作一个WordCloud对象

wordcloud.WordCloud()代表一个文本对应的词云

可以根据文本中词语出现的频率等参数绘制词云

绘制词云的形状、尺寸、颜色都可以设定

w = wordcloud.WordCloud()

以WordCloud对象为基础

配置参数、加载文本、输出文件

常规方法

w.generate(txt) 向WordCloud对象w中加载文本txt 如：w.generate(“Python and WordCloud”)

w.to_file(filename) 将词云输出为图像文件，.png或.jpg格式如：w.to_file(“output.png”)

绘制词云的步骤：

setp1：配置对象参数

setp2：加载词云文本

step3：输出词云文件

生成默认400*200的图片

wordcloud干啥了：

a.分隔：以空格为分隔单词

b.统计：单词出现次数并过滤

c.字体：根据统计配置字号

d.布局：颜色环境尺寸

对象参数

width 默认400

height 默认200

min_font_size 最小字号默认4号

max_font_size 最大字号根据高度自动调节

font_step 默认1，字体步进间隔

font_path 字体路径，默认None，如：w=wordcloud.WordCloud(font_path=”msyh.ttc”)

max_words 指定词云显示的最大单词数量，默认200 比如词云显示的不那么有力，可以修改这个

stop_words 指定排除单词如：w=wordcloud.WordCloud(stop_words={“Python”})

background_color 指定背景色默认黑色

默认显示的矩形效果，使用mask参数可以改变

中文的话需要先用jieba库分词，中文不是空格分隔的

7.6 实例12：政府工作报告词云

常规矩形词云

不规则词云

8. 程序设计方法学

8.1 实例13：体育竞技分析

自顶向下（设计）分而治之

将一个总问题表达为若干个小问题组成的形式

使用相同的方法进一步分解小问题

解决复杂问题的有效设计方法

自底向上（执行）模块化集成

逐步组建复杂系统的有效测试方法

分单元测试，逐步组装

8.2 Python程序设计思维

计算思维与程序设计

第三种人类思维特征

逻辑思维：以推理和演绎为特征，以数学为代表，A->B,B->C,A->C

实证思维：以实验和验证为特征，以物理为代表，引力波<-实验

计算思维：以设计和构造为特征，计算机为代表，汉诺塔递归

有非常明显的特征：抽象和自动化，抽象问题的计算过程并利用计算自动化求解(并不是抽象因果关系仅仅是抽象过程）

1+2+..+100 高斯 vs 累计

圆周率高数求和 vs 蒙特卡洛方法

汉诺塔问题逻辑推理的2的n次方-1 vs 递归

计算思维基于计算机强大的算力和海量的数据

抽象计算过程，关注设计和构造，而非因果

以计算机程序设计为主要实现手段

编程是将计算思维变为现实的手段

计算生态与Python语言

从开源运动说起…

-1983年，Richard Stallman启动GNU项目

-1989年，GNU通用许可协议诞生，自由软件时代到来 大教堂模式

-1991年，Linus Torvalds发布了Linux内核集市模式(成为主流)

-1998年，网景浏览器开源，产生了Mozilla，开源生态逐步建立

计算生态以开源项目为组织形式，充分利用“共识原则”和“社会他人”组织人员，在竞争发展、相互依存和迅速更迭中完成信息技术的更新换代，形成了技术的自我演进路径。

开源思想深入演化和发展，形成了计算生态

计算生态是没有顶层设计、以功能为单位、具备三个特点：竞争发展、相互依存和迅速更迭

python

-以开源项目为代表的大量第三方库 Python语言提供 > 13万个第三方库并以两万+每年的速度发展

-库的建设经过野蛮生长和自然选择同一个功能，Python语言提供2个以上第三方库

-库之间相互关联使用，依存发展 Python库间广泛联系，逐级封装

-社区庞大，新技术更迭迅速 Alpha Go深度学习算法采用Python语言开源

API ！= 生态

创新：跟随创新、集成创新、原始创新

-计算生态加速科技类应用创新的重要支撑

-发展科技产品商业价值的重要模式

-国家科技体系安全和稳固的基础

刀耕火种 –> 站在巨人的肩膀上

-编程的起点不是算法而是系统

-变成如同搭积木，利用计算生态为主要模式

-编程的目标是快速解决问题

优质的计算生态 python123 由老师、产业人员共同筛选的优质生态https://python123.io/index/monthly_packages/201808

用户体验与软件产品

实现功能 –> 关注体验

用户体验指用户对产品建立的主管感受和认识

关心功能实现，更要关心用户体验，才能做出好产品

编程只是手段，不是目的，程序最终为人类服务

提高用户体验的方法

方法1：进度展示

-如果程序需要计算时间，可能产生等待，请增加进度展示

-如果程序需要若干步骤，需要提示用户，请增加进度展示

-如果程序可能存在大量次数的循环，请增加进度展示

方法2：异常处理

-当获得用户输入时候，对合规性需要检查，需要异常处理

-当读写文件时，对结果进行判断，需要异常处理

-当进行输入输出时，对运算结果进行判断，需要异常处理

其他方法：

-打印输出：特定位置，输出程序运行的过程信息verbose

-日志文件：对程序异常以及用户的使用进行定期记录

-帮助信息：给用户多种方式提供帮助

软件程序到软件产品，其核心关键就是用户体验

基本的程序设计模式

IPO

模块化设计

自顶向下设计

配置化设计 （自动轨迹绘制实例）

-引擎+配置：程序执行和配置分离，将可选参数配置化

-将程序开放变为配置文件编写，扩展功能而不修改程序

-关键在于接口设计，清晰明了，灵活扩展，这是一种更高级别的设计思路

应用开发的四个步骤：

1.产品定义对应用需求充分理解和明确定义

-产品定义，而不仅是功能定义，要考虑商业模式

2.系统架构以系统方式思考产品的技术实现

-系统架构，关注数据流、模块化、体系架构

3.设计与实现结合架构完成关键设计及系统实现

-结合可扩展性、灵活性、是否适应未来需求变化等进行设计优化

4.用户体验从用户角度思考应用效果

-用户至上，体验优先，以用户为中心构造软件产品

8.3 Python第三方库安装

看见更大的Python世界

13万个第三方库全区社区 https://pypi.org

PYPI

-Python Package Index

-PSF维护的展示全球Python计算生态的主站

-学会检索并利用PyPI，找到合适的第三方开发程序

3种安装方法：

-方法1（主要方法）：使用pip命令

-方法2：集成安装方法

-方法3：文件安装方法

pip安装方法（最主要的方法）

pip -h 可以查看帮助

pip install <第三方库名> 安装

pip install –U <第三方库名> 升级

pip uninstall <第三方库名> 卸载

pip download <第三方库名> 下载单并不安装

pip show <第三方库名> 列出某个第三方库的详细信息

pip search 关键词搜索第三方库

pip list 列出已安装的第三方库

集成安装方法

结合安装工具，批量安装，不过这样的安装工具不多，推荐一个叫anaconda

文件安装方法

为什么有些第三方库用pip可以下载，单无法安装？

-某些第三方库下载后，需要编译再安装

-如果操作系统没有编译环境，则能下载单不能安装

-可以找编译后的版本来安装吗 http://www.lfd.uci.edu/~gohlke/pythonlibs UCI页面加州大学教授维护的 win系统的直接编译后的版本

pip install 文件

8.4 模块7：os库的使用

os库提供通用的、基本的操作系统交互功能

是python标准库，由几百个函数，包括常用路径操作、进程管理、环境参数等几类

-路径操作：os.path子库，处理文件路径及信息

-进程管理：启动系统中其他程序

-环境参数：获得系统软硬件信息等参数

路径操作

os.path子库以path为入口，用于操作和处理文件路径

import os.path

import os.path as op

os库进程管理

os.system(command) 调用其他程序

os库之环境参数

获取或改变系统环境信息

8.5 实例14：第三方库安装脚本

第三方库自动安装脚本

9 Python计算生态概览

9.1 从数据处理到人工智能

从数据处理到人工智能的完整链条：数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能

Python库之数据分析

Numpy：表达N维数组的最基础库

-Python接口使用，C语言实现，计算速度优异

-Python数据分析及科学计算的基础库，支撑Pandas等

-提供直接的矩阵运算、广播函数、线性代数等功能

Pandas：Python数据分析高层次应用库

-提供了简单易用的数据结构和数据分析工具

-理解数据类型与索引的关系，操作索引即操作数据

-Python库最主要的数据分析功能库，基于Numpy开发

提供两个数据结构：

Series = 索引 + 一维数据

DataFrame = 行列索引 + 二维数据

Scipy：数学、科学和工程计算功能库

-提供了一批数学算法及工程数据运算功能

-类似Matlab，可用于傅里叶变换、信号处理等应用

–Python最主要的科学计算功能库，基于Numpy开发

Python库之数据可视化

Matplotlib:高质量的二维数据可视化功能库，有大量子库

-提供了超过100种数据可视化展示效果

-通过matplotlib.pyplot子库调用各可视化效果

-Python最主要的数据可视化功能库，基于Numpy开发

Seaborn：统计类数据可视化功能库

-提供了一批高层次的统计类数据可视化展示效果

-主要展示数据间分布、分类和线性关系等内容

-基于Matplotlib开发，支持Numpy和Pandas

Mayavi：三维科学计算可视化功能库

-提供了一批简单易用的3D科学计算数据可视化展示效果

-目前是Mayavi2，三维可视化最主要的第三方库

-支持Numpy、TVTK、Traits、Envisage等第三方库

Python库之文本处理

PyPDF2：用来处理pdf文件的工具集

-提供了一批处理PDF文件的计算功能

-支持获取信息、分隔/整合文件、加密解密等

-完全Python语言实现，不需要额外依赖，功能稳定

NLTK：自然语言文本处理第三方库

–提供了一批简单易用的自然语言文本处理功能

-支持语言文本分类、标记、语法句法、语义分析等

-最优秀的Python自然语言处理库

Python-docx：创建或更新word文档的第三方库

-提供创建或更新.doc .docx等文件的计算功能

-增加并配置段落、图片、表格、文字等，功能全面

Python库之机器学习

Scikit-learn:机器学习方法工具集

-提供一批统一化的机器学习方法功能接口

-提供聚类、分类、回归、强化学习等计算功能

-机器学习最基本且最优秀的Python第三方库

TensorFlow：AlphaGo背后的机器学习计算框架

-谷歌公司推动的开源机器学习框架

-将数据流图作为基础，图节点代表运算，边代表张量

-应用机器学习方法的一种方式，支撑谷歌人工智能应用

MXNet：基于神经网络的深度学习计算框架

-提供可扩展的神经网络及深度学习计算功能

-可用于自动驾驶、机器翻译、语音识别等众多领域

-Python最重要的深度学习计算框架

9.2 实例15：霍兰德人格分析雷达图

问题分析：

啥是雷达图

霍兰德认为：人格兴趣和职业之间有内在的对应关系

人格分类：研究型、艺术型、社会型、企业型、传统型、现实型

职业：工程师、实验员、艺术家、推销员、记事员、社会工作者

需求：雷达图方式验证霍兰德人格分析

输入：各职业人群结合兴趣的调研数据

输出：雷达图

展示多维数据以及绘制雷达图的能力

目标+沉浸+熟练

-编程的目标感：寻找感兴趣的目标，寻(wa)觅(jue)之

-编程的沉浸感：寻找可实现的方法，思(zuo)考(mo)之

-编程的熟练度：练习、练习、再练习，熟练之

编程不是最主要的，编程的感觉才是最重要的

9.3 从Web解析到网络空间

Python库之网络爬虫

Requests:最友好的网络爬虫库

-提供了简单易用的类HTTP协议网络爬虫功能

-支持连接池、SSL、Cookies、HTTP(S)代理等

-Python最主要的页面级网络爬虫功能库

Scrapy：优秀的网络爬虫框架

-提供了构建网络爬虫系统的框架功能，半成品

-支持批量和定时页面爬取、提供数据处理流程等

-Python最主要且最专业的网络爬虫框架

pyspider:强大的Web页面爬取系统

-提供了完整的网页爬取系统构建功能

-支持数据库后端、消息队列、优先级、分布式架构等

-Python重要的网络爬虫第三方库

Python库之Web信息提取

Beautiful Soup：HTML和XML的解析库

-提供了解析HTML和XML等Web信息的功能

-又名beautifulsoup4或bs4，可以加载多种解析引擎

-常与网络爬虫库搭配使用，如Scrapy、requests等

Re：正则表达式解析和处理功能库

-提供了定义和解析正则表达式的一批通用功能

-可用于各类场景，包括定点的Web信息提取

-Python最主要的标准库，无需安装

Python-Goose：提取文章类型Web页面的功能库

-提供了对Web页面中文章信息/视频等元数据的提取功能

-针对特定类型Web页面，应用覆盖面较广

相对于bs4库，抽象层次更加高，更加方便

Python库之Web网站开发

Django：最流行的Web应用框架

-提供了构建Web系统的基本应用框架

-MTV模式：模型(model)、模式(Template)、视图(Views)

-Python最重要的Web应用框架，略微复杂的应用框架，比较适合专业的网站构建

Pyramid：规模适中的Web应用框架

-提供了简单方便构建Web系统的应用框架

-不大不小，规模适中，适合快速构建并适度扩展类应用

-Python产品级Web应用框架，起步简单可扩展性好

Flask：Web应用开发微框架

-提供了最简单构建Web系统的应用框架

-特点是：简单、规模小、快速

-Django > Pyramid > Flask好

Python库之网络应用开发

WeRoBot：微信公众号开发框架

-提供了解析微信服务器消息及反馈消息的功能

-建立微信机器人的重要手段

aip：百度AI开放平台接口

-提供了访问百度AI服务的Python接口

-语音、人脸、OCR、NLP、知识图谱、图像搜索等领域

-Python百度AI应用的最主要方式

MyQR：二维码生成第三方库

-提供了生成二维码的系列功能

-基本二维码、艺术二维码和动态二维码

9.4 从人机交互到艺术设计

Python库之图形用户界面

PyQT5:QT开放框架的Python接口

-提供了创建QT5程序的Python API接口

-Qt是非常成熟的跨平台桌面应用开发系统，完备GUI

-推荐的Python GUI开发第三方库

wxPython：跨平台GUI开发框架

-提供了专用于Python的跨平台GUI开发框架

-Python最主要的图形用户界面

PyGObject：使用GTK+开发GUI的功能库

-提供了整合GTK+、WebKitGTK+等库的功能

-GTK+：跨平台的一种GUI框架

-实例：Anaconda采用该库构建GUI

Python库之游戏开发

PyGame：简单的游戏开发功能库

-提供了基于SDL的简单游戏开发功能及实现引擎

-理解游戏对外部输入的相应机制及角色构建和交互机制

-Python游戏入门最主要的第三方库

Panda3D：开源、跨平台的3D渲染和游戏开发库

-一个3D游戏引擎，提供Python和C++两种接口，Python接口更加全面也是该库推荐使用的语言

-支持很多先进特性：法线贴图、光泽贴图、卡通渲染等

-由迪士尼和卡内基梅隆大学共同开发

cocos2d：构建2D游戏和图形界面交互应用的框架

-提供了基于OpenGL的游戏开发图形渲染功能

-支持GPU加速，采用树形结构分层管理游戏对象类型

-适用于2D专业级游戏开发

Python库之虚拟现实

VR Zero：在树莓派上开发VR应用的Python库

-提供大量与vr开发相关的功能

-针对树莓派的vr开发库，支持设备小型化，配置简单化

-非常适合初学者实践vr开发及应用

pyovr：Oculus Rift的Python接口

-针对Oculus VR设备的python开发库

-基于成熟的VR设备，提供全套文档，工业级应用设备

-Python+虚拟现实领域探索的一种思路

Vizard：基于Python的通用VR开发引擎

-专业的企业级虚拟现实开发引擎

-提供详细的文档

-支持多种主流的VR硬件设备，具有一定的通用性

Python库之图形艺术

Quads：迭代的艺术

-对图片进行四分迭代，形成像素风

-可以生成动态或者静态图片

-简单易用，具有很高展示度

ascii_art:ASCII艺术库

-将普通图片转为ASCII艺术风格

-输出可以是纯文本或彩色文本

-可采用图片格式输出

turtle库

9.5 实例16：玫瑰花绘制

问题分析：

【学习笔记】PYTHON语言程序设计(北理工 嵩天)

1 Python基本语法元素

1.1 程序设计基本方法

1.2 Python开发环境配置

1.3 实例1：温度转换

1.4 Python程序语法元素分析

2. Python基本图形绘制

2.1 深入理解Python语言

2.2 实例2：Python蟒蛇绘制

2.3 模块1： turtle库的使用

2.4 turtle语法元素分析

3. 基本数据类型

3.1 数字类型及其操作

3.2 实例3：天天向上的力量

3.3 字符串类型及操作

3.4 模块2：time库的使用

3.5 实例4：文本进度条

4.程序的控制结构

4.1 分支结构

4.2 实例5：身体质量指数BMI

4.3 循环结构

4.4 模块3：random库使用

4.4 实例6：圆周率计算

5.函数和代码复用

5.1 函数的定义与使用

5.2 实例7：七段数码管绘制

5.3 代码复用与函数递归

5.4 模块4：Pyinstaller库的使用

5.5 实例8：科赫雪花小包裹

6. 组合数据类型

6.1 集合类型及操作

6.2 序列类型及操作

6.3 实例9：基本统计值计算

6.4 字典类型及操作

6.5 模块5：jieba库的使用

6.6 实例10：文本词频统计

7. 文件和数据格式化

7.1 文件的使用

7.2 实例11：自动轨迹绘制

7.3 一维数据的格式化

7.4 二维数据的格式化和处理

7.5 模块6：wordcloud库的使用

7.6 实例12：政府工作报告词云

8. 程序设计方法学

8.1 实例13：体育竞技分析

8.2 Python程序设计思维

8.3 Python第三方库安装

8.4 模块7：os库的使用

8.5 实例14：第三方库安装脚本

9 Python计算生态概览

9.1 从数据处理到人工智能

9.2 实例15：霍兰德人格分析雷达图

9.3 从Web解析到网络空间

9.4 从人机交互到艺术设计

9.5 实例16：玫瑰花绘制

浏览过的版块

【学习笔记】PYTHON语言程序设计(北理工嵩天)