本文介绍如何通过逆向分析 coincodex 的前端 api，稳定、高效地批量获取加密货币市场总值等交互式图表数据，并转换为可用于机器学习建模的结构化 dataframe。
CoinCodex 网站（如 https://www.php.cn/link/f5fee8f7da74f4887f5bcae2bafb6dd6）展示的交互式图表虽未开放完整公开 API，但其前端实际通过内部 REST 接口动态加载数据。该接口无需认证密钥，仅需构造正确的请求参数即可获取高质量历史时间序列——这正是自动化数据采集的理想入口。
✅ 正确的 API 调用方式
核心端点为：
https://coincodex.com/api/v1/assets/get_charts
关键参数说明：
- charts=ALL：返回全量时间粒度（含日线、周线等聚合数据）
- samples=md：指定中等采样密度（sm/md/lg），平衡数据量与精度
- assets=SUM_ALL_COINS：目标资产标识（支持 BTC、ETH、SUM_ALL_COINS 等）
- include=market_cap：指定返回字段（可选 price, volume, market_cap）
- t=...：时间戳（单位秒），用于缓存绕过；实测该参数非必需，可省略或设为当前时间戳
以下为可直接运行的健壮示例代码：
import pandas as pd
import requests
from datetime import datetime
def fetch_chart_data(asset: str = "SUM_ALL_COINS",
include: str = "market_cap",
samples: str = "md") -> pd.DataFrame:
url = "https://coincodex.com/api/v1/assets/get_charts"
params = {
"charts": "ALL",
"samples": samples,
"assets": asset,
"include": include,
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
try:
response = requests.get(url, params=params, headers=headers, timeout=15)
response.raise_for_status()
data = response.json()
# 解析响应：data[asset]["ALL"] 是主时间序列数组
if asset not in data:
raise KeyError(f"Asset '{asset}' not found in API response")
raw_series = data[asset]["ALL"]
df = pd.DataFrame(raw_series, columns=["Timestamp", "Value", "Cap"])
df["Timestamp"] = pd.to_datetime(df["Timestamp"], unit="s", utc=True)
df = df.sort_values("Timestamp").reset_index(drop=True)
return df
except requests.exceptions.RequestException as e:
print(f"网络请求失败: {e}")
return pd.DataFrame()
except (KeyError, ValueError) as e:
print(f"数据解析异常: {e}")
return pd.DataFrame()
# 示例：获取全币种市场总值（近 300+ 条历史记录）
df = fetch_chart_data("SUM_ALL_COINS", "market_cap")
print("✅ 成功获取数据，共", len(df), "条记录")
print(df.tail(5))⚠️ 注意事项与最佳实践
- 资产标识需准确匹配：SUM_ALL_COINS 表示全市场总值；单个币种使用 BTC、ETH 等大写符号（非 bitcoin）。可通过浏览器 Network 面板观察真实请求确认。
- 时间戳 t 参数非必需：早期示例中手动传入 t=5693725 实为调试残留；生产环境建议完全移除该参数，避免因过期时间戳导致空响应。
- 反爬友好处理：添加合理 User-Agent 和超时设置；若高频调用，建议加入 time.sleep(1) 防止触发限流。
- 错误防御性编程：API 响应结构可能随前端迭代微调，务必检查 data[asset] 和 ["ALL"] 键是否存在，并捕获 json.JSONDecodeError 和 KeyError。
- 扩展多资产批量采集：只需遍历 ["BTC", "ETH", "SOL", "SUM_ALL_COINS"] 等列表，对每个调用 fetch_chart_data() 并合并为宽表（以 Timestamp 为索引），即可构建多维特征矩阵。
✅ 总结
该方法绕过了渲染层（如 Selenium），直击数据源头，兼具高效率、低开销、易维护三大优势。配合 pandas 时间序列处理能力，可无缝接入特征工程 pipeline——无论是训练价格预测模型，还是构建宏观市场情绪指标，都能提供稳定可靠的数据底座。
