量化数据采集首选requests+BeautifulSoup抓静态页，动态内容优先调API，反爬用随机UA和限频，数据落地用CSV或SQLite。
想在量化交易里快速获取行情、财报或新闻数据，爬网页是绕不开的一步。但别被“爬虫”吓住——用 Python 做基础数据采集，其实不难，关键在选对工具、避开常见坑。
用 requests + BeautifulSoup 抓静态页面最稳
多数财经网站（比如东方财富个股页、巨潮资讯公告页）内容是服务端直接渲染的静态 HTML，这类页面用 requests 发请求 + BeautifulSoup 解析，简单可靠。
- 先装库：pip install requests beautifulsoup4
- 加 headers 模拟浏览器访问，避免被 403 拦截（User-Agent 必填）
- 用 soup.select() 或 soup.find_all() 定位表格、价格、日期等字段，比正则更直观
- 遇到中文乱码？试试 r.encoding = r.apparent_encoding 或手动设为 'utf-8'/'gbk'
动态加载内容？优先试试 API 接口
像雪球、同花顺、TradingView 这类网站，K 线、资金流数据往往是 Ajax 调用 JSON 接口返回的——这时候不用硬啃 JavaScript，直接抓接口更高效。
- F12 打开开发者工具 → 切到 Network → 刷新页面 → 筛选 XHR 或 Fetch → 找带“kline”“quote”“fund”字样的请求
- 复制请求 URL 和 Headers（尤其是 Cookie、Referer），用 requests.get() 直接调用
- 返回通常是 JSON，r.json() 一行转成 Python 字典，提取字段比解析 HTML 更干净
- 注意频率限制：加 time.sleep(1) 防封，别用 session 复用时漏更新 token
反爬稍严？加点小策略就够用
真遇到验证码、IP 限频、JS 渲染校验，先别急着上 Selenium。多数量化场景只需轻量应对：
立即学习“Python免费学习笔记（深入）”；
- 换 User-Agent：用 fake_useragent 库随机生成，避免固定 UA 被盯上
- 控制节奏：单 IP 每分钟 10–20 次较安全；批量任务可搭配代理池（如快代理、芝麻代理的免费 tier）
- 绕过简单 JS 校验：有些网站只校验 window.navigator.webdriver，用 requests 不触发，天然绕过
- 真要执行 JS？用 Playwright（比 Selenium 轻、快、稳定），但仅限必需场景，比如登录后爬持仓
数据落地别跳步：存 CSV / SQLite 就够量化初筛
爬下来的数据别只 print 看一眼，马上结构化保存，方便后续 pandas 分析或回测：
- 单次小数据：pandas.DataFrame.to_csv()，index=False，encoding='utf-8-sig' 防 Excel 中文乱码
- 持续追加更新：用 sqlite3 连本地数据库，建好表后用 df.to_sql(..., if_exists='append')
- 字段命名统一：比如 “trade_date”、“open_price”、“volume”，别用中文列名，省去后续处理麻烦
- 加个时间戳字段记录采集时间，排查数据延迟或异常时特别有用
基本上就这些。不复杂但容易忽略：每次写爬虫前，先手动打开目标网页看结构，再决定用 HTML 解析还是抓 API；跑通一次后封装成函数，传股票代码或日期就能复用。量化数据源贵在稳定和可重复，不在一次抓得多全。
