python爬取拉勾网数据并进行数据可视化
爬取拉勾网关于python职位相关的数据信息,并将爬取的数据已csv各式存入文件,然后对csv文件相关字段的数据进行清洗,并对数据可视化展示,包括柱状图展示、直方图展示、词云展示等并根据可视化的数据做进一步的分析,其余分析和展示读者可自行发挥和扩展包括各种分析和不同的存储方式等。。。。。
一、爬取和分析相关依赖 ...
Appium+python自动化(十四)- 与Capability完美懈垢之解读(超详解)
简介
Capability又叫Appium Desired Capabilities,前边写了那么多实例代码,小伙伴可以发现一些规律,就是有一部分代码总是重复的出现在你的视线中。这部分就是对Capability的配置。那么今天给小伙伴们分享、介绍和讲解一下Capability。让你知道她的来龙去脉,知道为什么代码里那么写。
1、 什么是Capability
在讲 ...
python的常用魔法方法详细总结
构造和初始化
__init__我们很熟悉了,它在对象初始化的时候调用,我们一般将它理解为"构造函数".
实际上, 当我们调用x = SomeClass()的时候调用,__init__并不是第一个执行的, __new__才是。所以准确来说,是__new__和__init__共同构成了"构造函数".
__new__是用来创建类并返回这个类的实例, 而__init__只是将传 ...
Python -- log日志
6.5 logging日志
工作日志分为四个大类:
系统日志:记录服务器的一些重要的信息:监控系统,cpu温度,网卡流量,重要的硬件的一些指标,运维人员经常使用的,运维人员记录操作的一些指令.
网站日志:访问宜昌,卡顿,网站一些板块,受欢迎程度,访问量,点击率等等,蜘蛛爬取次数等.
辅助开发日志:开发人员在开发项目中,利用日志进行排错 ...
python之jupyter安装与使用
Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。
一 安装
Windows:
使用pip进行安装
pip install jupyter
注:Jupyte ...
Python接口自动化测试
1)环境准备:
接口测试的方式有很多,比如可以用工具(jmeter,postman)之类,也可以自己写代码进行接口测试,工具的使用相对来说都比较简单,重点是要搞清楚项目接口的协议是什么,然后有针对性的进行选择,甚至当工具不太适合项目时需要自己进行开发。
在我们项目的初期,我们采用的是jmeter进行接口测试,当时 ...
python读写csv文件
今天闲来无事,写了会CSV,简单总结下csv具体操作
什么是csv
逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)
读csv文件
1、首先导入CSV模板
2、创建一个CSV文件对象
3、打开文件进行读取
# coding:utf- ...
Python安装教程
Python安装
1.浏览器打开网址:www.python.org
2.根据电脑系统选择下载
3.确定电脑系统属性,此处我们以win10的64位操作系统为例
4.安装python 3.6.3
双击下载的安装包 python-3.6.3.exe
注意要勾选:Add Python 3.6 to PATH
点击 Customize installation进入一步(方便我们自定义安装路径)
(下节会为大家介绍环境变量 ...
Python装饰器用法实例总结
一、装饰器是什么
python的装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,装饰器的返回值也是一个函数对象。简单的说装饰器就是一个用来返回函数的函数。
它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝 ...
Python实现简单的梯度下降法
Python 实现简单的梯度下降法
机器学习算法常常可以归结为求解一个最优化问题,而梯度下降法就是求解最优化问题的一个方法。
梯度下降法(gradient descent)或最速下降法(steepest decent),是求解无约束最优化问题的一种最常用的方法。
梯度下降法实现简单,是一种迭代算法,每一步会求解目标函数的梯度向量。
本文分为 ...
01 Python简介
本章节的内容:
1、Python语言
2、Python适合用于做什么
3、程序员如何工作
4、安装Python
----------------------------------------------
1、Python语言
Python是什么?
一种计算机编程语言以及一组配套的软件工具和库;
Python的特点是什么?
1、简单易学
...
python基础
博客目录
python基础部分
基础
计算机硬件
python入门
数据类型及常用方法
垃圾回收机制
用户交互与运算符
流程控制
数据类型内置方法
字符编码
文件处理
函数
函数的基本使用
函数的参数
名称空间与作用域
函数对象与闭包
装饰器
迭代器
生成器
函数递归
面向过程与函数式
常用模块
模块句式
常见内置模块
包
开发软件的目 ...
python接口自动化之mock模块基本使用
mock简介
mock原是python的第三方库
python3以后mock模块已经整合到了unittest测试框架中,不用再单独安装
Mock这个词在英语中有模拟的意思,因此我们可以猜测出这个库的主要功能是模拟一些东西
准确的说,Mock是Python中一个用于支持单元测试的库,它的主要功能是使用mock对象替代掉指定的Python对象,以达到模拟对象的行 ...
Python工程目录组织
Python工程目录组织
from: https://zhuanlan.zhihu.com/p/36221226
Python工程目录组织
关于如何组织一个较好的Python工程目录结构,已经有一些得到了共识的目录结构。在Stackoverflow的这个问题上,能看到大家对Python目录结构的讨论。
这里面说的已经很好了,我也不打算重新造轮子列举各种不同的方式,这里 ...
python多线程并发
单线程执行
python的内置模块提供了两个内置模块:thread和threading,thread是源生模块,threading是扩展模块,在thread的基础上进行了封装及改进。所以只需要使用threading这个模块就能完成并发的测试
实例
创建并启动一个单线程
import threading
def myTestFunc():
print("我是一个函数")
t = threading.Thread ...
Python深浅拷贝
目录一、引言1.1、可变or不可变二、拷贝三、浅拷贝四、深拷贝
Python从入门到放弃完整教程目录:https://www.cnblogs.com/nickchen121/p/10718112.html
一、引言
在python中,对象赋值实际上是对象的引用。当创建一个对象,然后把它赋给另一个变量的时候,python并没有拷贝这个对象,而只是拷贝了这个对象的引用
针对该列表 ...
Python基础小结
目录一、执行Python程序的两种方式1.1 交互式1.2 命令行式二、执行Python程序的两种IDE2.1 Pycharm2.2 Jupyter三、变量3.1 什么是变量?3.2 变量的组成?3.3 变量名的定义规范3.4 定义变量的两种方式3.5 常量四、注释4.1 单行注释4.2 多行注释4.3 引用计数4.4 垃圾回收机制4.5 小整数池五、花式赋值5.1 链式赋值5.2 交叉赋值 ...
(三)OpenCV-Python学习—图像平滑
由于种种原因,图像中难免会存在噪声,需要对其去除。噪声可以理解为灰度值的随机变化,即拍照过程中引入的一些不想要的像素点。噪声可分为椒盐噪声,高斯噪声,加性噪声和乘性噪声等,参见:https://zhuanlan.zhihu.com/p/52889476
噪声主要通过平滑进行抑制和去除,包括基于二维离散卷积的高斯平滑,均值平滑,基 ...
python面向对象之封装
1. 封装(实际封装python中的封装只是一个约定)
第一层面的封装:类就好像一个袋子,这就是一种封装
第一阶段:
# 如果我们要定义学生jack如何定义?
name = 'jack'
age = 17
sex = '男'
这三个变量可以用来形容jack这个人(当然你也可以使用字典,列表去描述).但是我们用三个变量去形容这个人,有什么弊端?
弊端:太零散 ...
Appium+python自动化(七)- 初识琵琶女Appium(千呼万唤始出来,犹抱琵琶半遮面)- 上(超详解)
简介
“千呼万唤始出来,犹抱琵琶半遮面”,经过前边的各项准备工作,终于才把appium这位琵琶女请出来。那么下边就由宏哥给各位看官、小伙伴们和童鞋们来引荐这位美女(帅哥)。这一篇主要是对前边的内容做一个小小的总结,我们不能只顾得埋头拉车,不记得抬头看路可不行哦!
说明:Appium--奴家的大号,提起奴家 ...