学会XPath抓取网页数据

一、前言

XPath（XML Path Language）是一种用于在 XML 文档中定位和选择节点的语言。XPath的选择功能非常强大，可以通过简单的路径选择语法，选取文档中的任意节点或节点集。学会XPath，可以轻松抓取网页数据，提高数据获取效率。

二、XPath基础语法

节点（Nodes）： XML 文档的基本构建块，可以是元素、属性、文本等。
路径表达式：用于定位 XML 文档中的节点。路径表达式由一系列步骤组成，每个步骤用斜杠 / 分隔。

XPath的节点是指在XML或HTML文档中被选择的元素或属性。XPath中有7种类型的节点，包括元素节点、属性节点、文本节点、命名空间节点、处理指令节点、注释节点以及文档节点（或称为根节点）。

元素节点：表示XML或HTML文档中的元素。例如，在HTML文档中，、
、
等都是元素节点。在XPath中，可以使用元素名称来选择元素节点，例如：//div表示选择所有的
元素。
属性节点：表示XML或HTML文档中元素的属性。例如，在HTML文档中，元素的class、id、src等属性都是属性节点。在XPath中，可以使用@符号来选择属性节点，例如：//img/@src表示选择所有元素的src属性。
文本节点：表示XML或HTML文档中的文本内容。例如，在HTML文档中，
标签中的文本内容就是文本节点。在XPath中，可以使用text()函数来选择文本节点，例如：//p/text()表示选择所有
元素中的文本内容。
命名空间节点：表示XML文档中的命名空间。命名空间是一种避免元素命名冲突的方法。在XPath中，可以使用namespace轴来选择命名空间节点，例如：//namespace::*表示选择所有的命名空间节点。
处理指令节点：表示XML文档中的处理指令。处理指令是一种用来给处理器传递指令的机制。在XPath中，可以使用processing-instruction()函数来选择处理指令节点，例如：//processing-instruction('xml-stylesheet')表示选择所有的xml-stylesheet处理指令节点。
注释节点：表示XML或HTML文档中的注释。注释是一种用来添加说明和备注的机制。在XPath中，可以使用comment()函数来选择注释节点，例如：//comment()表示选择所有的注释节点。
文档节点：表示整个XML或HTML文档。文档节点也被称为根节点。在XPath中，可以使用/符号来选择文档节点，例如：/表示选择整个文档节点。
本文使用XML示例如下

<bookstore>
    <book category='fiction'>
        <title>活着</title>
        <author>余华</author>
        <press>作家出版社</press>
        <date>2012-8-1</date>
        <page>191</page>
        <price>20.00</price>
        <staple>平装</staple>
        <series>余华作品（2012版）</series>
        <isbn>9787506365437</isbn>
    </book>
    <book category='non-fiction'>
        <title>撒哈拉的故事</title>
        <author>三毛</author>
        <press>哈尔滨出版社</press>
        <date>2003-8</date>
        <page>217</page>
        <price>15.80</price>
        <staple>平装</staple>
        <series>三毛全集（华文天下2003版）</series>
        <isbn>9787806398791</isbn>
    </book>
    <book category='non-fiction'>
        <title>明朝那些事儿（1-9）</title>
        <author>当年明月</author>
        <press>中国海关出版社</press>
        <date>2009-4</date>
        <page>2682</page>
        <price>358.20</price>
        <staple>精装16开</staple>
        <series>明朝那些事儿（典藏本）</series>
        <isbn>9787801656087</isbn>
    </book>
</bookstore>

除了这些基本节点类型之外，XPath还支持使用通配符：

x43o41

以及使用谓词来进一步筛选选择的节点集。谓词是一种用来对节点进行过滤和排序的机制，可以包含比较运算符、逻辑运算符和函数等，部分示例如下：

x4m5x6

XPath使用路径表达式来选取XML或HTML文档中的节点或节点集。下面是一些常用的路径表达式：

x4uql5

三、XPath使用示例

选择所有名称为title的节点：//title
选择所有名称为title，同时属性lang的值为eng的节点：//title[@lang='eng']
选择id为bookstore的节点的所有子节点：/bookstore/*
选择id为bookstore的节点的所有子孙节点：/bookstore//*
选择id为bookstore的节点的直接子节点中的第一个节点：/bookstore/*[1]
选择id为bookstore的节点的属性为category的值：/bookstore/@category

四、XPath的高级用法

XPath语言提供了一些高级的功能，包括：

轴（Axes）：XPath提供了几种轴，用于在文档中导航。包括child（子元素）、ancestor（祖先元素）、descendant（后代元素）和following-sibling（后续同级元素）等。

函数：XPath提供了一些内置的函数，如count(),concat(),string(),local-name(),contains(),not(),string-length()等，可以用于处理和操作节点和属性3。

条件语句：XPath提供了条件语句（如if-else语句），使得我们可以根据某些条件来选择性地提取元素或属性3。

五、.NET中使用

// XML 文档内容
string xmlContent = @"
            <bookstore>
                <book category='fiction'>
                    <title>活着</title>
                    <author>余华</author>
                    <press>作家出版社</press>
                    <date>2012-8-1</date>
                    <page>191</page>
                    <price>20.00</price>
                    <staple>平装</staple>
                    <series>余华作品（2012版）</series>
                    <isbn>9787506365437</isbn>
                </book>
                <book category='non-fiction'>
                    <title>撒哈拉的故事</title>
                    <author>三毛</author>
                    <press>哈尔滨出版社</press>
                    <date>2003-8</date>
                    <page>217</page>
                    <price>15.80</price>
                    <staple>平装</staple>
                    <series>三毛全集（华文天下2003版）</series>
                    <isbn>9787806398791</isbn>
                </book>
                <book category='non-fiction'>
                    <title>明朝那些事儿（1-9）</title>
                    <author>当年明月</author>
                    <press>中国海关出版社</press>
                    <date>2009-4</date>
                    <page>2682</page>
                    <price>358.20</price>
                    <staple>精装16开</staple>
                    <series>明朝那些事儿（典藏本）</series>
                    <isbn>9787801656087</isbn>
                </book>
            </bookstore>";

// 创建 XPath 文档
using (XmlReader reader = XmlReader.Create(new StringReader(xmlContent)))
{
    XPathDocument xpathDoc = new XPathDocument(reader);

    // 创建 XPath 导航器
    XPathNavigator navigator = xpathDoc.CreateNavigator();

    // 使用 XPath 查询（选择所有位于bookstore下、其category属性值为'fiction'的book元素中的title元素）
    string xpathExpression = "//bookstore/book[@category='fiction']/title";
    XPathNodeIterator nodes = navigator.Select(xpathExpression);

    // 检查是否有匹配的节点
    if (nodes != null)
    {
        // 遍历结果
        while (nodes.MoveNext())
        {
            // 检查当前节点是否为空
            if (nodes.Current != null)
            {
                Console.WriteLine(nodes.Current.Value);
            }
        }
    }
}

运行结果

x5srpp