python爬虫-通过Node.js来执行js - Powered by Discuz! Archiver

耳洞發表於 2021-10-7 02:51:00

python爬虫----通过Node.js来执行js

python脚本中可以通过PyExecJS库来处理js代码（可参考：excejs的使用），但是性能并不高，很难满足高并发的要求
Node.js是一个Javascript运行环境(runtime)。它对Google V8引擎进行了封装，使用事件驱动，非阻塞I/O 模型而得以轻量和高效，能够方便地搭建响应速度快、易于扩展的网络应用，因此我们可以借助Node.js来执行js代码。
<h2>思路：</h2>
<ul>
<li>创建一个js文件，用于存储我们抠出来的js代码，并且通过exports对外暴露属性或方法，或者通过module.exports对外暴露对象（包含多个属性或方法）</li>
<li>创建一个server.js文件，通过require载入上述js文件，然后利用express框架来搭建web应用，通过定义路由来实现各种js逻辑</li>
<li>通过命令：node server.js 来开启web应用，然后在python脚本中通过requests向应用服务器发送get/post请求获取响应数据</li>
</ul>
<h2>我们以百度翻译案例中的js为例，获取sign参数：</h2>
<ul>
<li>
<h3>准备工作</h3>
<ul>
<li>安装Node.js
<ul>
<li>Node.js 安装包及源码下载地址为：https://nodejs.org/en/download/，历史版本下载地址：https://nodejs.org/dist/</li>
<li>安装好以后，在命令行终端输入： node --version，如果能够显示版本号，则说明安装成功</li>
</ul>
</li>
<li>使用淘宝镜像
<div class="cnblogs_code">
<pre>npm install -g cnpm --registry=https://registry.npm.taobao.org</pre>
</div>
国内直接使用 npm 的官方镜像是非常慢，推荐使用淘宝 NPM 镜像，使用淘宝定制的 cnpm 命令行工具代替默认的 npm
</li>
<li>安装Express框架，并将其保存到依赖列表
<div class="cnblogs_code">
<pre>cnpm install express --save</pre>
</div>
以上命令会将 Express 框架安装在当前目录的 node_modules 目录中，如果没有该目录则自动创建， node_modules 目录下会自动创建 express 目录
</li>
<li>安装body-parser模块
<div class="cnblogs_code">
<pre>cnpm install body-parser --save</pre>
</div>
该模块用于处理 JSON, Raw, Text 和 URL 编码的数据
</li>
</ul>
</li>
<li>
<h3>编写baiduTranslate.js文件</h3>
<div class="cnblogs_code">
<pre>function n(r, o) {
 for (var t = 0; t < o.length - 2; t += 3) {
 var a = o.charAt(t + 2);
 a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
 a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
 r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
 }
 return r
}

function getSign(r) {
var i = '320305.131321201';
var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
if (null === o) {
 var t = r.length;
 t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
} else {
 for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
 "" !== e && f.push.apply(f, a(e.split(""))),
 C !== h - 1 && f.push(o);
 var g = f.length;
 g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
}
var u = void 0
 , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
u = null !== i ? i : (i = window || "") || "";
for (var d = u.split("."), m = Number(d) || 0, s = Number(d) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
 var A = r.charCodeAt(v);
 128 > A ? S = A : (2048 > A ? S = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
 S = A >> 18 | 240,
 S = A >> 12 & 63 | 128) : S = A >> 12 | 224,
 S = A >> 6 & 63 | 128),
 S = 63 & A | 128)
}
for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
 p += S,
 p = n(p, F);
return p = n(p, D),
 p ^= s,
0 > p && (p = (2147483647 & p) + 2147483648),
 p %= 1e6,
p.toString() + "." + (p ^ m)
}

//可以采用以下3种方式对外暴露getSign方法

//方式1：使用exports对外暴露getSign方法
exports.getSign = getSign

//方式2：使用module.exports对外暴露对象，该对象具有getSign方法
// module.exports = {
// getSign:getSign
// }

//方式3：是方式2的简写方式，对于方法名和函数名相同的都可以采用简写方式，多个方法间用逗号','隔开
// module.exports = {
// getSign
// }</pre>
</div>
该js文件中是抠出来的js代码，并且向外暴露getSign方法
</li>
<li>
<h3>server.js</h3>
<div class="cnblogs_code">
<pre>//引入依赖包

var express = require('express');
var bodyParser = require('body-parser');

//引入自定义模块
var baiduTranslate = require('./baiduTranslate');

//创建应用实例
var app = express();

//将表单数据或者json数据转换成对象，以下只有一个会执行
app.use(bodyParser.urlencoded({extended:true}));
app.use(bodyParser.json());

//创建路由
//POST请求
app.post('/get_sign',function (req,res) {
//获取请求体中传递的参数
let result = req.body;
let content = result.content
//调用baiduTranslate模块中的getSign方法，并传入参数
result = baiduTranslate.getSign(content)
res.send(result.toString());
});

//创建路由
//GET请求
app.get('/get_sign',function (req,res) {
//获取查询字符串参数
let result = req.query;
let content = result.content;
//调用baiduTranslate模块中的getSign方法，并传入参数
result = baiduTranslate.getSign(content)
res.send(result.toString());
})

//启动服务
var server = app.listen(8888,function () {
var host = server.address().address
var port = server.address().port
console.log("开启服务，访问地址为 http://%s:%s", host, port)
})</pre>
</div>
以后编写server.js代码，可以直接参照上述模板，只需要修改引入的（自定义模块名）以及（路由函数中的逻辑）即可
</li>
<li>
<h3>python脚本test.py</h3>
<div class="cnblogs_code">
<pre>#coding:utf-8

import requests

url = 'http://localhost:8888/get_sign'
content = input('请输入需要翻译的内容:')

sign1 = requests.post(url=url,data = {'content':content}).text
print('通过post请求获取sign参数:{}'.format(sign1))
sign2 = requests.get(url=url,params={'content':content}).text
print('通过get请求获取sign参数:{}'.format(sign2))</pre>
</div>
</li>
<li>
<h3>在server.js文件所在目录下，通过cmd命令行启动服务</h3>
<div class="cnblogs_code">
<pre>node server.js</pre>
</div>
</li>
<li>
<h3>运行python脚本后结果展示：</h3>
<div class="cnblogs_code">
<pre>请输入需要翻译的内容:hello
通过post请求获取sign参数:54706.276099
通过get请求获取sign参数:54706.276099</pre>
</div>
 
</li>
</ul> 
来源：https://www.cnblogs.com/eliwang/p/15374855.html

頁: [1]

琼殿技术论坛's Archiver

python爬虫----通过Node.js来执行js