python爬虫(学习整理)
一.爬虫原则
爬虫的盗亦有道Robots协议
二.爬虫页面获取基础
Requests库概念
深入requests库params|data|json参数
requests模块请求常用参数的写法整理
requests模块响应体属性和方法重新整理
Python3安装与使用urllib2包之小坑
爬虫防止浏览器防止debug处理
python爬虫执行js代码-execjs
三.爬虫页面解析基础
url编码本质
...
python日记整理
pycharm基本用法+markdown语法+jupyter notebook的基本操作汇总
一.计算机基础
什么是编程,计算机组成
程序语言
二.变量
变量的概念
python的回收机制
三.数据类型基础
数据类型概述
数据类型概述补充
四.格式化输出+基本运算+流程控制
格式化输出+基本运算+流程控制if
流程控制while
五.内置算法+深拷贝+浅拷贝
数字数据 ...
python的魔术方法大全
在Python中,所有以“__”双下划线包起来的方法,都统称为“Magic Method”(魔术方法),例如类的初始化方法 __init__ ,Python中所有的魔术方法均在官方文档中有相应描述,这边给大家把所有的魔术方法汇总了一下,希望对大家的学习有所帮助。
python的魔术方法大全
魔法方法
含义
...
真正搞明白Python中Django和Flask框架的区别
在谈Python中Django框架和Flask框架的区别之前,我们需要先探讨如下几个问题。
一、为什么要使用框架?
为了更好地阐述这个问题,我们把开发一个应用的过程进行类比,往往开发一个应用(web应用、系统应用)跟建造房子的过程一样,需要先打地基,搭好骨架,然后一块砖一块砖叠上去。
而开发一个应用呢?同样也需要 ...
python爬虫(爬取视频)
爬虫爬视频
爬取步骤
第一步:获取视频所在的网页
第二步:F12中找到视频真正所在的链接
第三步:获取链接并转换成二进制
第四部:保存
保存步骤代码
import re
import requests
response = requests.get('https://vd4.bdstatic.com/mda-jcrx64vi5vct2d2u/sc/mda-jcrx64vi5vct2d2u.mp4?auth_key=1557734214-0-0-d6a29a9022 ...
python所有的内置异常类型汇总
内置异常基类
在 Python 中,所有异常必须为一个派生自 BaseException 的类的实例。 通过子类化创建的两个不相关异常类永远是不等效的,既使它们具有相同的名称。
下列异常主要被用作其他异常的基类。
BaseException: 所有异常的基类
Exception(重点掌握)
所有内置的非系统退出类异常都派生自此类。 ...
python单元测试编写
做一个简单的小实例:
目录结构如下:
demo1.py
class MyClass():
def __init__(self,x,y):
self.x = x
self.y = y
def add(self):
return self.x + self.y
def sub(self):
return self.x - self.y
import unittest
from unittset_demo.demo1 import ...
Python机器学习笔记:异常点检测算法——One Class SVM
完整代码及其数据,请移步小编的GitHub
传送门:请点击我
如果点击有误:https://github.com/LeBron-Jian/MachineLearningNote
前言
最近老板有一个需求,做单样本检测,也就是说只有一个类别的数据集与标签,因为在工厂设备中,控制系统的任务是判断是是否有意外情况出现,例如产品质量过低,机器产生奇怪的震 ...
python 常用PEP8规范
一 代码编排
1 缩进。4个空格的缩进(编辑器都可以完成此功能),不使用Tap,更不能混合使用Tap和空格。2 每行最大长度79,换行可以使用反斜杠,最好使用圆括号。换行点要在操作符的后边敲回车。3 类和top-level函数定义之间空两行;类中的方法定义之间空一行;函数内逻辑无关段落之间空一行;其他地方尽量不要再空行。
&nb ...
Python线程池及其原理和使用(超级详细)
系统启动一个新线程的成本是比较高的,因为它涉及与操作系统的交互。在这种情形下,使用线程池可以很好地提升性能,尤其是当程序中需要创建大量生存期很短暂的线程时,更应该考虑使用线程池。线程池在系统启动时即创建大量空闲的线程,程序只要将一个函数提交给线程池,线程池就会启动一个空闲的线程来执行它。当该函数执行 ...
python @classmethod
写在前面
写博客的时候,我发现拖延症很严重,本来昨天要开始写的,结果东看看,西翻翻,啥也没落实下来。时间过去了,口袋里的收获却寥寥无几。讨厌这样的自己。我要戒掉这个不好的毛病。
拖延症的底层原因之一是:不知如何下手
拖延症的底层原因之二是:每天都重复,疲了,累了
这里仅代表我自己
1.. ...
python接口自动化(三十三)-python自动发邮件总结及实例说明番外篇——下(详解)
简介
发邮件前我们需要了解的是邮件是怎么一个形式去发送到对方手上的,通俗点来说就是你写好一封信,然后装进信封,写上地址,贴上邮票,然后就近找个邮局,把信仍进去,其他的就不关心了,只是关心时间,而电子邮件不像日常发送邮件的按天算,时间都是按
秒算的。
电子邮件的发送流程:
1、你使用某款电子邮件软件M ...
python读写、创建文件、文件夹等等
python中对文件、文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块。
得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd()
返回指定目录下的所有文件和目录名s.listdir()
函数用来删除一个文件s.remove()
删除多个目录:os.removedirs(r“c:\python”)
检验给出的路径是否是一个文件:os.pat ...
python接口自动化(三十二)--Python发送邮件(常见四种邮件内容)番外篇——上(详解)
简介
本篇文章与前边没有多大关联,就是对前边有关发邮件的总结和梳理。在写脚本时,放到后台运行,想知道执行情况,会通过邮件、SMS(短信)、飞信、微信等方式通知管理员,用的最多的是邮件。在linux下,Shell脚本发送邮件告警是件很简单的事,有现成的邮
件服务软件或者调用运营商邮箱服务器。
对于Python来说, ...
python数据分析与量化交易
第一章-学习之前的认知
影响股价的因素
1、公司自身因素
2、心理因素
3、行业因素
4、经济因素
5、市场因素
6、政治因素
金融量化投资
量化投资的优势
1、避免主观情绪,人性弱点和认知偏差,选择更加客观
2、能同时包括多角度的观察和多层次的模型
3、及时跟踪市场变化,不断发现新的统计模型,寻找交易机会
4、在决定 ...
[开发技巧]·Python实现信号滤波(基于scipy)
[开发技巧]·Python实现信号滤波(基于scipy)
个人网站--> http://www.yansongsong.cn
GitHub主页--> https://github.com/xiaosongshine
1.背景介绍
在深度学习中,有时会使用Matlab进行滤波处理,再将处理过的数据送入神经网络中。这样是一般的处理方法,但是处理起来却有些繁琐,并且有时 ...
python jieba模块详解
借鉴于 【jieba 模块文档】
用于自己学习和记录!
jieba 模块是一个用于中文分词的模块
此模块支持三种分词模式
精确模式(试图将句子最精确的切开,适合文本分析)
全模式(把句子在所有可以成词的成语都扫描出来,速度非常快,但是不能解决歧义的问题)
搜索引擎模式(在精确模式的基础上,对长词再次切分,提高召回率) ...
python爬取淘宝商品做数据挖掘
项目内容:
本项目选择 淘宝商品类目:零食
数量:一共100页,4400个零食商品
筛选条件:天猫、销量从高到低、价格0元到200元以内
项目目的:
对商品标题进行文本分析以及词云可视化
商品价格分布情况分析
商品的销量分布情况分析
商品价格对销 ...
Python之微信-微信机器人
一 简介
二 登录微信
三 微信好友男女比例
四 微信好友地域分布
五 微信聊天机器人
一 简介
wxpy基于itchat,使用了 Web 微信的通讯协议,,通过大量接口优化提升了模块的易用性,并进行丰富的功能扩展。实现了微信登录、收发消息、搜索好友、数据统计等功能。总而言之,可用来实现各种微信个人号的自动化操作。(http:/ ...
python接口自动化(三十)--html测试报告通过邮件发出去——中(详解)
简介
上一篇,我们虽然已经将生成的最新的测试报告发出去了,但是MIMEText 只能发送正文,无法带附件,因此我还需要继续改造我们的代码,实现可以发送带有附件的邮件。发送带附件的需要导入另外一个模块 MIMEMultipart。还有就是测
试负责人不止一个人,需要将测试报告发给多个人,也就是多个收件人。这篇主要是围绕这 ...