本文档详细介绍了如何使用PHP的DOMXPath解析HTML文档，并将特定的无序列表（<ul>）结构转换为多维数组。我们将通过示例代码，逐步讲解如何使用XPath查询和提取数据，并最终生成所需的JSON格式输出。该方法适用于从HTML中提取结构化数据，并进行进一步处理的场景。
解析HTML并使用XPath提取数据
首先，我们需要加载HTML字符串并创建一个DOMXPath对象。为了更有效地处理HTML，特别是包含大量空白的HTML，我们可以自定义一个函数 loadHTML_noemptywhitespace()，该函数会移除HTML中的多余空白节点，从而简化后续的XPath查询。
function loadHTML_noemptywhitespace(string $html, int $extra_flags = 0, int $exclude_flags = 0): \DOMDocument
{
$flags = LIBXML_HTML_NODEFDTD | LIBXML_NOBLANKS | LIBXML_NONET;
$flags = ($flags & ~ $exclude_flags) | $extra_flags;
$domd = new \DOMDocument();
$domd->preserveWhiteSpace = false;
@$domd->loadHTML('<?xml encoding="UTF-8">' . $html, $flags);
$removeAnnoyingWhitespaceTextNodes = function (\DOMNode $node) use (&$removeAnnoyingWhitespaceTextNodes): void {
if ($node->hasChildNodes()) {
for ($i = $node->childNodes->length - 1; $i >= 0; --$i) {
$removeAnnoyingWhitespaceTextNodes($node->childNodes->item($i));
}
}
if ($node->nodeType === XML_TEXT_NODE && !$node->hasChildNodes() && !$node->hasAttributes() && ! strlen(trim($node->textContent))) {
$node->parentNode->removeChild($node);
}
};
$removeAnnoyingWhitespaceTextNodes($domd);
return $domd;
}
$html = <<<HTML
<div class="singlepost">
<ul class="linha_status" >
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data : 24/10/2021 | Hora: 12:04</li>
<li>Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE</li>
<li>Destino: Agência dos Correios - Cuitegi / PB</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data : 19/10/2021 | Hora: 00:03</li>
<li>Origem: Unidade de Logística Integrada - Curitiba / PR</li>
<li>Destino: Unidade de Tratamento - Recife / PE</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Fiscalização aduaneira finalizada</b></li>
<li>Data : 18/10/2021 | Hora: 23:35</li>
<li>Local: Unidade Operacional - Curitiba / PR</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Objeto recebido pelos Correios do Brasil</b></li>
<li>Data : 16/10/2021 | Hora: 11:45</li>
<li>Local: Unidade de Logística Integrada - Curitiba / PR</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Objeto postado</b></li>
<li>Data : 14/10/2021 | Hora: 20:30</li>
<li>Local: País - / </li>
</ul>
</div>
HTML;
$domd = loadHTML_noemptywhitespace($html);
$xp = new DOMXPath($domd);使用XPath查询并提取数据
接下来，我们使用XPath查询选择所有具有linha_status类的<ul>元素，并遍历每个<ul>元素中的<li>元素。对于每个<li>元素，我们使用explode()函数将其文本内容按冒号分隔，并将结果存储到一个关联数组中。
$extracted = [];
foreach($xp->query("//div[contains(@class,'singlepost')]/ul") as $ul){
$ulData = [];
foreach($xp->query("./li", $ul) as $li){
$data = explode(":",$li->nodeValue, 2);
$ulData[trim($data[0])] = trim($data[1]);
}
$extracted[] = $ulData;
}生成JSON格式输出
最后，我们使用json_encode()函数将提取的数据转换为JSON格式。为了生成更易读的JSON，我们可以自定义一个 json_encode_pretty() 函数，该函数使用 JSON_PRETTY_PRINT 选项来格式化JSON输出。
立即学习“前端免费学习笔记（深入）”；
function json_encode_pretty($data, int $extra_flags = 0, int $exclude_flags = 0): string
{
$flags = JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_PRESERVE_ZERO_FRACTION | (defined("JSON_THROW_ON_ERROR") ? JSON_THROW_ON_ERROR : 0);
$flags = ($flags | $extra_flags) & ~ $exclude_flags;
return (json_encode($data, $flags));
}
echo json_encode_pretty($extracted);完整代码示例
<?php
function json_encode_pretty($data, int $extra_flags = 0, int $exclude_flags = 0): string
{
$flags = JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_PRESERVE_ZERO_FRACTION | (defined("JSON_THROW_ON_ERROR") ? JSON_THROW_ON_ERROR : 0);
$flags = ($flags | $extra_flags) & ~ $exclude_flags;
return (json_encode($data, $flags));
}
function loadHTML_noemptywhitespace(string $html, int $extra_flags = 0, int $exclude_flags = 0): \DOMDocument
{
$flags = LIBXML_HTML_NODEFDTD | LIBXML_NOBLANKS | LIBXML_NONET;
$flags = ($flags & ~ $exclude_flags) | $extra_flags;
$domd = new \DOMDocument();
$domd->preserveWhiteSpace = false;
@$domd->loadHTML('<?xml encoding="UTF-8">' . $html, $flags);
$removeAnnoyingWhitespaceTextNodes = function (\DOMNode $node) use (&$removeAnnoyingWhitespaceTextNodes): void {
if ($node->hasChildNodes()) {
for ($i = $node->childNodes->length - 1; $i >= 0; --$i) {
$removeAnnoyingWhitespaceTextNodes($node->childNodes->item($i));
}
}
if ($node->nodeType === XML_TEXT_NODE && !$node->hasChildNodes() && !$node->hasAttributes() && ! strlen(trim($node->textContent))) {
$node->parentNode->removeChild($node);
}
};
$removeAnnoyingWhitespaceTextNodes($domd);
return $domd;
}
$html = <<<HTML
<div class="singlepost">
<ul class="linha_status" >
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data : 24/10/2021 | Hora: 12:04</li>
<li>Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE</li>
<li>Destino: Agência dos Correios - Cuitegi / PB</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data : 19/10/2021 | Hora: 00:03</li>
<li>Origem: Unidade de Logística Integrada - Curitiba / PR</li>
<li>Destino: Unidade de Tratamento - Recife / PE</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Fiscalização aduaneira finalizada</b></li>
<li>Data : 18/10/2021 | Hora: 23:35</li>
<li>Local: Unidade Operacional - Curitiba / PR</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Objeto recebido pelos Correios do Brasil</b></li>
<li>Data : 16/10/2021 | Hora: 11:45</li>
<li>Local: Unidade de Logística Integrada - Curitiba / PR</li>
</ul>
<ul class="linha_status" >
<li>Status: <b>Objeto postado</b></li>
<li>Data : 14/10/2021 | Hora: 20:30</li>
<li>Local: País - / </li>
</ul>
</div>
HTML;
$domd = loadHTML_noemptywhitespace($html);
$xp = new DOMXPath($domd);
$extracted = [];
foreach($xp->query("//div[contains(@class,'singlepost')]/ul") as $ul){
$ulData = [];
foreach($xp->query("./li", $ul) as $li){
$data = explode(":",$li->nodeValue, 2);
$ulData[trim($data[0])] = trim($data[1]);
}
$extracted[] = $ulData;
}
echo json_encode_pretty($extracted);
?>注意事项
- HTML结构稳定性： 此方法依赖于HTML结构的稳定性。如果HTML结构发生变化，XPath查询可能需要进行相应的调整。
- 错误处理： 在实际应用中，应添加适当的错误处理机制，例如检查explode()函数的结果，以确保数据的完整性和准确性。
- 性能优化： 对于大型HTML文档，XPath查询可能会影响性能。可以考虑使用更高效的HTML解析器或优化XPath查询以提高性能。
总结
本文档提供了一种使用PHP的DOMXPath解析HTML并将无序列表转换为多维数组的方法。通过自定义函数和XPath查询，我们可以有效地提取HTML中的结构化数据，并将其转换为所需的JSON格式。在实际应用中，应根据具体的HTML结构和需求进行适当的调整和优化。
