0

0

如何使用Python构建深度推荐系统_协同过滤算法解析【指导】

舞姬之光

舞姬之光

发布时间:2025-12-22 23:54:09

|

594人浏览过

|

来源于php中文网

原创

深度推荐系统核心是融合协同过滤思想与神经网络优势,如用embedding替代隐向量、mlp建模高阶交互;neumf通过gmf(内积)与mlp(非线性)双分支联合预测偏好得分。

如何使用python构建深度推荐系统_协同过滤算法解析【指导】

用Python构建基于协同过滤的深度推荐系统,核心不是堆砌深度模型,而是把协同过滤的思想和神经网络的优势结合起来——比如用Embedding层替代传统矩阵分解中的用户/物品隐向量,再用多层感知机(MLP)建模高阶交互。下面从原理到代码,分步讲清楚关键点。

协同过滤的本质:用户-物品交互建模

协同过滤不依赖物品内容或用户画像,只看历史行为(如评分、点击、购买)。它分为两类:

  • 基于用户的CF:找相似用户,推荐他们喜欢但你没接触过的物品;
  • 基于物品的CF:找相似物品,把你互动过的物品的“邻居”推荐给你。

实际工程中,基于物品的CF更稳定、可离线预计算、适合冷启动缓解;而深度方法(如NeuMF、LightGCN)通常聚焦在预测用户对物品的偏好得分,本质仍是用户-物品二元关系建模。

用PyTorch实现带Embedding的协同过滤(NeuMF简化版)

NeuMF(Neural Matrix Factorization)是经典起点:它把传统MF的内积 + MLP的非线性拟合融合起来。以下是最简可用结构:

立即学习Python免费学习笔记(深入)”;

九歌
九歌

九歌--人工智能诗歌写作系统

下载
<font size="2">import torch
import torch.nn as nn
<p>class NeuMF(nn.Module):
def <strong>init</strong>(self, num_users, num_items, embed_dim=64):
super().<strong>init</strong>()</p><h1>GMF分支:普通MF,用内积建模线性交互</h1><pre class='brush:python;toolbar:false;'>    self.user_gmf = nn.Embedding(num_users, embed_dim)
    self.item_gmf = nn.Embedding(num_items, embed_dim)

    # MLP分支:用全连接学习高阶特征交互
    self.user_mlp = nn.Embedding(num_users, embed_dim)
    self.item_mlp = nn.Embedding(num_items, embed_dim)
    self.mlp_layers = nn.Sequential(
        nn.Linear(embed_dim * 2, 128),
        nn.ReLU(),
        nn.Linear(128, 64),
        nn.ReLU(),
        nn.Linear(64, 32)
    )

    # 合并输出
    self.output_layer = nn.Linear(32 + embed_dim, 1)  # GMF(64) + MLP(32)

def forward(self, user_idx, item_idx):
    # GMF部分
    gmf_user = self.user_gmf(user_idx)
    gmf_item = self.item_gmf(item_idx)
    gmf_out = gmf_user * gmf_item  # 元素级相乘

    # MLP部分
    mlp_user = self.user_mlp(user_idx)
    mlp_item = self.item_mlp(item_idx)
    mlp_in = torch.cat([mlp_user, mlp_item], dim=1)
    mlp_out = self.mlp_layers(mlp_in)

    # 拼接并输出预测得分
    concat = torch.cat([gmf_out, mlp_out], dim=1)
    return torch.sigmoid(self.output_layer(concat)).squeeze()</font>

注意:输入user_idx/item_idx必须是整数索引(0~N-1),不是原始ID,需提前做LabelEncoder或map转换;训练时用BCELoss(隐式反馈)或MSELoss(显式评分)。

数据准备与训练要点

真实场景中,90%的问题出在数据处理上。关键操作包括:

  • 负采样必须做:隐式反馈(如点击)只有正样本,需按比例(如1:4)为每个正样本配负样本(随机选未交互物品);
  • 用户/物品ID重编号:丢弃出现频次过低的用户或物品(如只评1次分的用户),避免稀疏嵌入;
  • 划分要按用户时间或随机但保证用户不泄露:验证集/测试集每个用户至少有1个正样本,且不能包含训练中见过的(user, item)对;
  • 评估用Hit@K或NDCG@K,而不是准确率——推荐是排序任务,不是分类任务。

进阶方向:轻量但有效的小改进

不一定要上图神经网络,几个低成本优化就能明显提效果:

  • 加入偏置项:给用户、物品、全局加可学习bias,缓解数据偏差(如热门物品天然得分高);
  • 用Layer Normalization替代BatchNorm:推荐场景batch size波动大,LayerNorm更稳;
  • 早停+学习率预热:Embedding训练容易震荡,前10个epoch用小学习率(1e-4)暖启;
  • 导出Embedding用于召回:训练完可抽取出user_emb/item_emb,用Faiss快速做近邻检索,作为双塔召回的第一阶段。

基本上就这些。协同过滤不是过时技术,而是推荐系统的地基;深度模型不是替代它,而是让这个地基更鲁棒、更可扩展。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

434

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

600

2023.08.10

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

77

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

39

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

67

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

47

2025.11.27

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

487

2023.08.14

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

487

2023.08.14

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

19

2026.03.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号