1. 概述
本文将探讨如何使用ernie-4.5-0.3b-paddle模型从原始文本构建知识图谱。通过结合大语言模型(llm)和检索增强生成(rag)技术实现文本生成，帮助我们从非结构化数据中高效提取实体和关系信息。
2. 什么是知识图谱？
2.1 基本概念
知识图谱是一种语义网络，它表示和连接现实世界中的实体，如人物、组织、物体、事件和概念。知识图谱的核心构成单元是三元组（Triple）：
<头实体（Head Entity）> - <关系（Relation）> - <尾实体（Tail Entity）>
举例说明：
- 苹果公司> - -
- - - -
2.2 知识图谱的价值
- 结构化表示：将非结构化文本转换为机器可理解的结构化数据
- 关系挖掘：发现实体间的隐式关系和潜在模式
- 语义理解：为搜索引擎和AI系统提供语义层面的理解能力
- 知识推理：基于已知关系推断新的知识和关系
2.3 应用场景
- 智能问答：基于知识图谱回答复杂问题
- 推荐系统：利用实体关系进行精准推荐
- 信息检索：语义化搜索和知识发现
- 决策支持：为业务决策提供知识支撑
3. 环境准备
3.1 依赖安装
首先安装必要的Python库：
fastdeploy的安装参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/get_started/installation/nvidia_gpu.md
!python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/ !python -m pip install --upgrade fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple !pip install pandas !pip install numpy !pip install networkx !pip install matplotlib
3.2 导入必要的库
import paddleimport pandas as pdimport numpy as npimport jsonimport loggingimport networkx as nximport matplotlib.pyplot as pltimport difflibimport refrom collections import Counterimport math
4.1 为什么选择ERNIE-4.5-0.3B-Paddle？
ERNIE-4.5-0.3B-Paddle 是一个文本密集的后训练模型。以下是模型配置详细信息：
| Key | Value |
|---|---|
| Modality | Text |
| Training Stage | Posttraining |
| Params | 0.36B |
| Layers | 18 |
| Heads(Q/KV) | 16 / 2 |
| Context Length | 131072 |
4.2 模型初始化
使用以下命令中的 FastDeploy 可以快速完成服务部署。更详细的使用说明请参考FastDeploy 仓库 。
# 1: 安装依赖!pip install --upgrade aistudio-sdk# 2: 设置环境变量和下载!aistudio download --model PaddlePaddle/ERNIE-4.5-0.3B-Paddle --local_dir baidu/ERNIE-4.5-0.3B-Paddle
# 3: FastDeploy完整启动代码import subprocessimport timeimport requestsimport threadingdef start_fastdeploy(): cmd = [ "python", "-m", "fastdeploy.entrypoints.openai.api_server", "--model", "baidu/ERNIE-4.5-0.3B-Paddle", "--port", "8180", "--metrics-port", "8181", "--engine-worker-queue-port", "8182", "--max-model-len", "32768", "--max-num-seqs", "32" ] print("
