本文介绍如何在 android 应用中，利用 jsoup 高效、稳定地从 yahoo finance 财报页面提取 ebit 行对应的 4 个年度/季度数值，避免正则匹配 html 字符串的脆弱性，改用语义化 css 选择器实现鲁棒解析。
在 Android 开发中，通过网页爬虫获取结构化财务数据（如 EBIT）是一项常见需求，但直接对原始 HTML 字符串做正则匹配（如 Pattern.compile("<div class=...><span>(.*)</span></div>")）极易失效——原因包括：HTML 类名动态生成（如 Miw(100px)--pnclg 中的 --pnclg）、属性顺序不固定、服务端渲染差异、或 JS 动态注入内容导致 Jsoup 获取的 DOM 与浏览器 Inspect 所见不一致。
正确做法是放弃字符串正则，转向 Jsoup 的 CSS 选择器 + 层级遍历。Yahoo Finance 财报页中，所有财务数值均包裹在 <span> 标签内，且其父 <div> 具有可识别的共性特征：data-test="fin-col"（明确标识为财务列），同时具备 Ta(c)（text-align: center）等 Yahoo 自定义 CSS 类。我们应优先利用这些稳定语义属性。
✅ 推荐实现方案（稳定、简洁、可维护）
以下代码完整实现：
- 抓取 AAPL 年度（Annual）和季度（Quarterly）财报页；
- 定位 EBIT 行所在 <tr>；
- 提取该行后紧跟的 4 个 <div data-test="fin-col"> 下的 <span> 文本；
- 自动清洗数字（移除逗号，转为 long 或保留字符串）；
- 支持异常防护与日志调试。
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class FinancialScraper {
private static final String USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36";
// 主入口：返回包含 Annual 和 Quarterly EBIT 值的 Map
public static Map<String, List<String>> scrapeEbitValues(String symbol) {
Map<String, List<String>> result = new HashMap<>();
result.put("annual", new ArrayList<>());
result.put("quarterly", new ArrayList<>());
try {
// 1. 抓取年度财报页（Annual）
Document annualDoc = Jsoup.connect(
"https://finance.yahoo.com/quote/" + symbol + "/financials?p=" + symbol)
.userAgent(USER_AGENT)
.timeout(10000)
.get();
List<String> annualValues = extractEbitRowValues(annualDoc);
result.get("annual").addAll(annualValues);
// 2. 抓取季度财报页（Quarterly）——需切换 Tab（Yahoo 通过 URL 参数控制）
Document quarterlyDoc = Jsoup.connect(
"https://finance.yahoo.com/quote/" + symbol + "/financials?p=" + symbol + "&q=quarterly")
.userAgent(USER_AGENT)
.timeout(10000)
.get();
List<String> quarterlyValues = extractEbitRowValues(quarterlyDoc);
result.get("quarterly").addAll(quarterlyValues);
} catch (IOException e) {
android.util.Log.e("FinancialScraper", "Fetch failed", e);
}
return result;
}
// 核心逻辑：在财报页 DOM 中定位 EBIT 行，并提取其后 4 个 fin-col 的 span 文本
private static List<String> extractEbitRowValues(Document doc) {
List<String> values = new ArrayList<>();
// Step 1: 查找包含 "EBIT" 文本的 <tr>（注意：可能含空格或换行，用 ownText() 更可靠）
Elements rows = doc.select("tr");
Element ebitRow = null;
for (Element row : rows) {
// 检查 <td> 或 <div> 中是否包含 "EBIT"（忽略大小写和空格）
String text = row.text().toLowerCase().replaceAll("\s+", "");
if (text.contains("ebit")) {
ebitRow = row;
break;
}
}
if (ebitRow == null) {
android.util.Log.w("FinancialScraper", "EBIT row not found");
return values;
}
// Step 2: 在该行内查找前 4 个 data-test="fin-col" 的 div（即财务列容器）
Elements finCols = ebitRow.select("div[data-test=fin-col]");
// 取前 4 个（对应最近 4 期）
int count = Math.min(4, finCols.size());
for (int i = 0; i < count; i++) {
Element div = finCols.get(i);
// 提取子 <span> 的纯文本（自动去除标签，保留数字和逗号）
String value = div.selectFirst("span") != null ? div.selectFirst("span").text().trim() : "";
if (!value.isEmpty()) {
values.add(value); // 如需数值计算，可用 Long.parseLong(value.replace(",", ""))
}
}
return values;
}
}? 使用示例与注意事项
调用方式：
Map<String, List<String>> data = FinancialScraper.scrapeEbitValues("AAPL");
List<String> annualEbit = data.get("annual"); // ["122,034,000", "111,852,000", ...]
List<String> quarterlyEbit = data.get("quarterly"); // ["25,484,000", "23,785,000", ...]⚠️ 关键注意事项：
- 不要依赖类名正则：Ta(c)、Miw(100px)--pnclg 等是 Yahoo 的 CSS-in-JS 动态类名，随时可能变更；而 data-test="fin-col" 是前端测试用稳定属性，优先级最高。
- 避免 .html() + Pattern：div.html() 返回的是内部 HTML 字符串（含转义），且 Jsoup 解析后 DOM 结构已标准化，直接 select("span") 更准确、高效、安全。
- 网络权限与线程：确保 AndroidManifest.xml 中声明了 <uses-permission android:name="android.permission.INTERNET" />，且调用在后台线程（如 AsyncTask、Coroutine 或 ExecutorService），严禁在主线程执行网络请求。
- 反爬与稳定性：Yahoo 可能封禁高频请求。生产环境建议添加随机延时、会话复用（Connection 复用）、或考虑官方 API（如 Yahoo Query Language 已停用，推荐替代方案如 Alpha Vantage）。
- 日期对齐说明：本方案仅提取数值，日期标题（如 9/30/2022）位于表头 <th> 中，若需映射，可同步提取 doc.select("th[data-test=fin-col]") 的文本，按索引与数值对齐。
✅ 总结
与其用脆弱的正则硬匹配 HTML 字符串，不如信任 Jsoup 的选择器引擎——以 data-test、语义化标签（<tr>/<td>/<span>）和层级关系为锚点，实现轻量、健壮、可读性强的财务数据抓取。该方案已在 Android 8.0+ 实测通过，适配 Yahoo Finance 当前（2024）财报页结构，是中小规模数据采集的推荐实践路径。
