Python 爬虫从入门到进阶之路(一)
通用爬虫和聚焦爬虫
根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.
通用爬虫
通用网络爬虫 是 捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。
通用搜索引擎(Search Engine)工作原理
通用网络爬虫&nb ...
Python切片
一、 Python可切片对象的索引方式
包括:正索引和负索引两部分,如下图所示,以a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]为例:
python索引方式
二、 Python切片操作的一般方式
一个完整的切片表达式包含两个“:”,用于分隔三个参数(start_index、end_index、step),当只有一个“:”时,默认第三个参数step=1。
切片操作 ...
Python中type()详解:动态创建类
众所周知:
type()函数可以查看变量的类型:
先看一个简单的列子来看一下type查看变量类型
class Animal():
pass
a=Animal()
print(type(a))
print(type(Animal))
<class '__main__.Animal'>
<class 'type'>
可以发现我定义的Animal类本身的类型是 type
从 Python ...
【翻译】无需安装Python,就可以在.NET里调用Python库
原文地址:https://henon.wordpress.com/2019/06/05/using-python-libraries-in-net-without-a-python-installation/
pythonnet这个屌爆的项目的出现,使得我们可以用一种新的方式,让C#可以和Python之间进行互操作。但是它的设置和部署可能有点问题,真的是这样吗?
本文我会介绍Python.Included这个项目,它不但 ...
Python 定时任务的实现方式
本文转载自:
https://lz5z.com/Python%E5%AE%9A%E6%97%B6%E4%BB%BB%E5%8A%A1%E7%9A%84%E5%AE%9E%E7%8E%B0%E6%96%B9%E5%BC%8F/
背景
目前所在的项目组需要经常执行一些定时任务,于是选择使用 Python 的定时器。
Python 实现定时任务
循环 sleep
这种方式最简单,在循环里面放入要执行的任务,然后 sleep 一段时间再执行
...
(一)OpenCV-Python学习—基础知识
opencv是一个强大的图像处理和计算机视觉库,实现了很多实用算法,值得学习和深究下。方便大家阅读,整理了下文章链接合集:
(一)OpenCV-Python学习—基础知识
(二)OpenCV-Python学习—对比度增强
(三)OpenCV-Python学习—图像平滑
(四)OpenCV-Python学习—形态学处理
(五)OpenCV-Python学习—边缘检测1
(六)OpenCV-Pyt ...
Appium+python自动化(二)- 环境搭建—下(超详解)
简介
宏哥的人品还算说得过去,虽然很久没有搭建环境了,但是换了新电脑设备,一气呵成,将android的测试开发环境已经搭建准备完毕。上一篇android测试开发环境已经准备好, 那么接下来就是appium的环境安装和搭建了。
嘿嘿!宏哥和小伙伴们开个玩笑,不要觉得自人品不好,就不会成功那都是骗人的。搭建环境和人品 ...
Python 从入门到进阶之路(一)
人生苦短,我用 Python。
Python 无疑是目前最火的语言之一,在这里就不再夸他的 NB 之处了,本着对计算机编程的浓厚兴趣,便开始了对 Python 的自学之路,并记录下此学习记录的心酸历程。
Python2.x 目前还是主流,但历史总是向前看的,所以就装了 Python3.x 的版本,但是版本不重要,重要的是学习里面的精髓,对于我这个 ...
python——pickle模块的详解
pickle模块详解
该pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。 “Pickling”是将Python对象层次结构转换为字节流的过程, “unpickling”是反向操作,从而将字节流(来自二进制文件或类似字节的对象)转换回对象层次结构。pickle模块对于错误或恶意构造的数据是不安全的。
pickle协议和JS ...
Appium+python自动化(一)- 环境搭建—上(超详解)
简介
今天是高考各地由于降水,特别糟糕,各位考生高考加油,全国人民端午节快乐。最近整理了一下自动化的东西,先前整理的python接口自动化已经接近尾声。即将要开启新的征程和篇章(Appium&python)。那么首相的问题就是搭建环境了。好久没搭建环境又踩了不少坑,appium的环境搭建比较繁琐,好多同行估计都在环 ...
vscode python开发插件推荐
vscode作为一款好用的轻量级代码编辑器,不仅支持代码调试,而且还有丰富的插件库,可以说是免费好用,对于初学者来说用来写写python是再合适不过了。下面就推荐几款个人觉得还不错的插件,希望可以帮助大家更好的写代码,先上一张最终效果图。
Python 首先当然要推荐这个必 ...
python:序列化与反序列化(json、pickle、shelve)
本节内容
前言
json模块
pickle模块
shelve模块
总结
一、前言
1. 现实需求
每种编程语言都有各自的数据类型,其中面向对象的编程语言还允许开发者自定义数据类型(如:自定义类),Python也是一样。很多时候我们会有这样的需求:
把内存中的各种数据类型的数据通过网络传送给其它机器或客户端;
把内存中的各种数据类 ...
Python回调函数用法实例
Python回调函数用法实例
作者:no.body链接:https://www.zhihu.com/question/19801131/answer/27459821
什么是回调函数?
我们绕点远路来回答这个问题。
编程分为两类:系统编程(system programming)和应用编程(application programming)。所谓系统编程,简单来说,就是编写库;而应用编程就是利用写好 ...
python中的类与继承
Class
类的定义以及实例的建立
Python中,类通过 class 关键字定义。
例如最简单的一个类定义可以为:
class Person(object):
pass
Python 的编程习惯,类名以大写字母开头,紧接着是(object),表示该类是从哪个类继承下来的。
例如上面的person类,我们可以创建很多实例:
zhang ...
Python中异步协程的使用方法介绍
1. 前言
在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞。比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的。
为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的方法,此种方法对于 IO 密集型任 ...
Python微信操控(itchat)
itchat是一个开源的微信个人号接口,使用python调用微信从未如此简单。
开源地址
https://github.com/littlecodersh/ItChat
文档:
https://itchat.readthedocs.io/zh/latest/
安装:
pip3 install itchat
登入与登出
登入并向文件助手发送一句话,登入时会经过扫码操作,类似于电脑微信登入
1 import itchat
2 #登入并保 ...
python 实现线程之间的通信
前言:因为GIL的限制,python的线程是无法真正意义上并行的。相对于异步编程,其性能可以说不是一个等量级的。为什么我们还要学习多线程编程呢,虽然说异步编程好处多,但编程也较为复杂,逻辑不容易理解,学习成本和维护成本都比较高。毕竟我们大部分人还是适应同步编码的,除非一些需要高性能处理的地方采用异步。
&n ...
Python写的微服务如何融入Spring Cloud体系?
前言
在今天的文章中小码哥将会给大家分享一个目前工作中遇到的一个比较有趣的案例,就是如何将Python写的微服务融入到以Java技术栈为主的Spring Cloud微服务体系中?也许有朋友会有疑问,到底什么样的场景需要用Python写一个微服务,并且还要融入以Java技术栈为主的Spring Cloud微服务体系中呢?
大致情况是 ...
python接口自动化(四十一)- 发xml格式参数的post请求(超详解)
简介
最近在工作中,遇到一种奇葩的接口,它的参数数据是通过xml,进行传递的,不要大惊小怪的,林子大了什么鸟都有,每个人的思路想法不一样,开发的接口也是各式各样的,如果想要统一的话,必须是提前团队已经做好沟通定好规则,这样就像在产品线上生成一
样规格大小一致。就不会出现前边的问题了,如果出现了怎么办 ...
Python内存管理
Date: 2019-05-27
Author: Sun
内存管理机制
python中万物皆对象,python的存储问题是对象的存储问题,并且对于每个对象,python会分配一块内存空间去存储它
Python的内存管理机制:引入计数、垃圾回收、内存池机制
一、变量与对象
1、变量,通过变量指针引用对象
变量指针指向具体对象的内存空间 ...