你没有看错，爬网页数据，C# 也可以像 Jquery 那样

遇见快捷酒店 發表於 2020-9-22 09:46:00

你没有看错，爬网页数据，C# 也可以像 Jquery 那样

<h2 id="一背景">一：背景</h2>
<h3 id="1-讲故事">1. 讲故事</h3>
<p>前段时间搞了一个地方性民生资讯号，资讯嘛，都是我抄你的，你抄官媒的，小市民都喜欢奇闻异事，所以就存在一个需求，如何去定向抓取奇闻异事的地方号上的新闻，其实做起来很简单，用逻辑回归即可，这篇主要讨论如何去抓取，在 C# 中大家都知道抓取通用的库是 HtmlAgilityPack，但是这个库主流的做法是采用 xpath 提取网页内容，这就让我很不爽了，毕竟不熟悉莫名的抵抗哈，像我这个年纪的码农，被 Jquery 教育了至少 5-6 年，所以必须用类Jquery 的方式，在 python 中有 pyquery 做这件事情，那在 C# 中有没有类似的方式呢？嘿嘿，万能的 github 上还真有。。。就是本篇介绍的 CSQuery。</p>
<h3 id="二csquery">二：CSQuery</h3>
<h3 id="1-安装">1. 安装</h3>
<p>github的地址： https://github.com/zone117x/CsQuery 然后在vs中 nuget 一下即可：</p>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094557451-88030716.png"></p>
<h3 id="2-举几个例子">2. 举几个例子</h3>
<p>一切都准备就绪了，那怎么用呢？不着急，我以博客园举两个例子。</p>
<h4 id="1-将首页中的-友情连接-提取到">1) 将首页中的友情连接提取到</h4>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094557763-1857124938.png"></p>
<p>如上图，要想获取这里的 <code>友情链接</code>几个大字，直接用 text() 肯定是不行的，默认情况它会将所有的子节点的文本也会抓到，如下图：</p>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094558147-1722398651.png"></p>
<p>那怎么处理呢？可以用 jquery 提供的 contents 方法，然后在获取的所有子节点中判断是否有文本节点，最后获取文本节点的内容即可，如下代码：</p>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094558436-1611334765.png"></p>
<p>用js是搞定了，那用 CSQuery 代码怎么搞定呢？模仿呗，如下代码：</p>
<pre><code class="language-C#">
   static void Main(string[] args)
   {
         var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

         var content = jquery["#friend_link"].Contents().Filter((dom) =>
         {
            return dom.NodeType == NodeType.TEXT_NODE;
         }).Text();

         Console.WriteLine(content);
   }

</code></pre>
<p><img src="https://huangxincheng.oss-cn-hangzhou.aliyuncs.com/img/20200922104259.png"></p>
<p>我不知道用 xpath 提取这样的内容麻不麻烦，不过用 jquery 方式不简单，但轻车熟路。</p>
<h4 id="2-如何将-html-中的某些元素标颜色">2) 如何将 html 中的某些元素标颜色</h4>
<p>有时候为了业务需要将某些 html 标签改一下颜色，比如说将首页的 tabmenu 中 <code>博问</code> 和 <code>专区</code> 改成红色，如下图：</p>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094558651-1523440273.png"></p>
<p>那用 CSQuery 怎么处理呢？如果玩过 jquery，一般来说步骤如下：</p>
<ul>
<li>
<p>使用 each 遍历每一个子 li 标签</p>
</li>
<li>
<p>使用 CSS 方法给 li 中 a 标签赋样式</p>
</li>
<li>
<p>使用 Render 渲染生成一个新的的html</p>
</li>
</ul>
<p>有了步骤，C#代码如下：</p>
<pre><code class="language-C#">
   static void Main(string[] args)
   {
         Config.HtmlEncoder = HtmlEncoders.None;

         var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

         var html = jquery["#nav_left li"].Each(dom =>
            {
               var self = jquery;

               var text = self.Text();

               if (text == "博问" || text == "专区")
               {
                  self.Find("a").CssSet(new { color = "red" });
               }
            }).Render();
   }

</code></pre>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094558867-519006359.png"></p>
<h4 id="3-其他的操作方法">3) 其他的操作方法</h4>
<p>除了上面两个操作方法外，你还可以使用 after，before，replaceAll,IS 等等一百来个实用的方法，这篇肯定也无法一一介绍了，大家有兴趣可以下载下来看一看，捣鼓捣鼓。</p>
<h3 id="三其他用途">三：其他用途</h3>
<p>除了抓取html中的元素，我觉得这玩意还可以用在发送邮件时操控邮件模板，毕竟在很久以前大家都是用jquery来绘制 html，所以用 CSQuery 也是可以的，相对使用 xslt 有利有弊吧，接下来做一个例子：</p>
<h3 id="1-生成一个html模板">1. 生成一个html模板</h3>
<pre><code class="language-html">
<!DOCTYPE html>

<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta charset="utf-8" />
<title></title>
</head>
<body>
<ul id="main"></ul>
</body>
</html>

</code></pre>
<h3 id="2-使用-csquery-给-ul-追加-li">2. 使用 CSQuery 给 ul 追加 li</h3>
<p>可以用 Append 将内容追加到 <code><ul></code> 节点内。</p>
<pre><code class="language-C#">
class Program
{
   static void Main(string[] args)
   {
         Config.HtmlEncoder = HtmlEncoders.None;

         var strlist = new string { "1", "2" };

         var path = Environment.CurrentDirectory + "\\2.html";
         var jquery = CQ.CreateFromFile(path);

         foreach (var str in strlist)
         {
            jquery.Find("#main").Append($"<li>{str}</li>");
         }

         var html = jquery.Render();
   }
}

</code></pre>
<p><img src="https://img2020.cnblogs.com/other/214741/202009/214741-20200922094559035-43962692.png"></p>
<h3 id="3-部分渲染-renderselection">3. 部分渲染 RenderSelection</h3>
<p>Render方法是将整个Dom渲染成html，但有时候你只需要得到你修改的那部分内容，而不是整个html，这就涉及到了部分渲染，可以用 <code>RenderSelection</code> 方法即可，代码如下：</p>
<pre><code class="language-C#">
   static void Main(string[] args)
   {
         Config.HtmlEncoder = HtmlEncoders.None;

         var strlist = new string { "1", "2" };

         var path = Environment.CurrentDirectory + "\\2.html";
         var jquery = CQ.CreateFromFile(path);

         var current = jquery.Find("#main");

         foreach (var str in strlist)
         {
            current.Append($"<li>{str}</li>");
         }

         var html = current.RenderSelection();

         Console.WriteLine(html);
   }

------------- output ----------------

<ul id="main"><li>1</li><li>2</li></ul>

</code></pre>
<h2 id="四总结">四：总结</h2>
<p>Jquery 这种操作模式对我个人来说还是比较舒服的，毕竟熟！不过在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 选择器，非常强大，可 jquery 不光在选择器的灵活上，还在于对节点的灵活操作上，总的来说不是特别富交互的情况下可以怀旧一把。</p>
<p><strong>更多高质量干货：参见我的 GitHub: dotnetfly</strong></p>
<img src="https://img2020.cnblogs.com/blog/214741/202005/214741-20200522143723695-575216767.png"><br><br>
来源：https://www.cnblogs.com/huangxincheng/p/13710314.html

頁: [1]

琼殿技术论坛's Archiver

你没有看错，爬网页数据，C# 也可以像 Jquery 那样