0

0

拼写的后传播 - 如karpathy所解释

碧海醫心

碧海醫心

发布时间:2025-02-16 08:29:46

|

748人浏览过

|

来源于dev.to

转载

嗨!我是hexmos的创始人shrijith venkatrama。目前,我正在构建liveapi,该工具使您的代码中生成api文档非常容易。 添加标签以提高图形可读性

将标签参数添加到值类:

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label

  def __repr__(self):
    return f"value(data={self.data})"

  def __add__(self, other):
    return value(self.data + other.data, (self, other), '+')

  def __mul__(self, other):
    return value(self.data * other.data, (self, other), '-')

a = value(2.0, label='a')
b = value(-3.0, label='b')
c = value(10, label='c')
e = a * b; e.label = 'e'
d = e + c; d.label = 'd'
print(d._prev)
print(d._op)
print("---")
print(e._prev)
print(e._op)

更新draw_dot将标签包括在图中

最初,我们的节点表达式为:

dot.node(name=uid, label="{ data %.4f }" % (n.data,), shape='record')

>替换为:

dot.node(name=uid, label="{ %s | data %.4f }" % (n.label, n.data), shape='record')

现在draw_dot(d)返回:

带有标签的重新渲染图

graph with labels 让我们在表达式中添加一些节点-f和l

44543468844

生成图:

draw_dot(l)

more complex expression我们上面构建的此图是布置节点的 forward-pass

我们要计算的 >我们想知道输入(权重-a,b,c,d,e,f)如何影响输出(损耗函数l)。因此 - 我们想找到:dl/dl,dl/df,dl/de,dl/dd,dl/dc,dl/db,dl/da。

添加毕业参数以适应反射

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label
    self.grad = 0.0 # 0 means no impact on output to start with

更新节点图形信息

dot.node(name=uid, label="{ %s | data %.4f | grad %.4f }" % (n.label, n.data, n.grad), shape='record')

手动执行给定图的后传播

节点l graph with grad property

什么是dl/dl - 也就是说,如果我们少量更改l,它将如何影响输出l?答案显然是-1。

是,

l.grad = 1

表达

44543468844

节点d

l = d * f

by known rules:

dl/dd = f

by derivation:

dl/dd = 

(f(x+h) - f(x))/h = 

(d*f + h*f - d*f)/h = 

h*f/h =

f

that is, dl/dd = f = -2.0

>所以,我们做

d.grad = -2.0

节点f

通过对称,我们得到dl/df = d = 4.0
是,

f.grad = 4.0

新的更新图是这样的:

>


如何对衍生物进行数值验证

def verify_dl_by_df():
  h = 0.001

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0, label='f')
  l = d * f; l.label = 'l'
  l1 = l.data

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0 + h, label='f') # bumb f a little bit
  l = d * f; l.label = 'l'
  l2 = l.data

  print((l2 - l1)/h)

verify_dl_by_df() # prints out 3.9999 ~ 4

挑战 - 我们如何计算dl/dc?

updated graph我们知道dl/dd = -2.0-所以我们知道l如何受d。>>的影响

的问题是,c将如何影响l。

首先,我们可以计算“局部衍生物”,或者弄清楚c首先影响d。

是,

> dd/dc =?

我们知道:

d = c e

因此,一旦我们通过c进行区分,我们就会得到:dd/dc = 1

同样,dd/de = 1。

现在的问题是,如何将dd/dc和dl/dd组合在一起?

我们需要一些称为链条规则的东西:

因此,应用链条规则,我们得到:

米粿AI
米粿AI

AI辅助动漫创作工具,专为专业漫画师和动画制作团队设计

下载

dl/dc = dl/dd * dd/dc
dl/dc = -2.0 * 1.0 = -2.0

同样,dl/de = -2.0

>

>让我们在python中设置值,然后重新绘制图表

>

18574658665

chain rule

找出dl/da和dl/db

我们知道:

dl/de = -2.0


我们想知道:

dl/da = dl/de * de/dagraph with grads for c & e

we know that:

e = a * b
de/da = b
de/da = b = -3.0

we can also find:

e = a * b
de/db = a
de/db = a = 2.0

>所以,现在要获得我们需要的东西:

dl/da = dl/de * de/da = -2.0 * -3.0 = 6.0
dl/db = dl/de * de/db = -2.0 * 2.0 = -4.0

我们在python中设置了值,然后redraw以获取完整图:>

a.grad = 6.0
b.grad = -4.0


参考

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建
Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建

本指南详解Nginx在Windows、macOS及Linux系统的安装全流程。涵盖官方包解压、Homebrew一键部署、APT/YUM源配置及Docker容器化方案。无论新手或开发者,均可快速搭建运行环境,掌握跨平台核心指令,为后续配置与调优奠定坚实基础。

9

2026.03.16

chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

22

2026.03.16

chatgpt官网入口地址合集
chatgpt官网入口地址合集

本专题整合了chatgpt官网入口地址、使用教程等内容,阅读专题下面的文章了解更多详细内容。

52

2026.03.16

minimax入口地址汇总
minimax入口地址汇总

本专题整合了minimax相关入口合集,阅读专题下面的文章了解更多详细地址。

21

2026.03.16

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

10

2026.03.16

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

116

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

142

2026.03.12

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

412

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

65

2026.03.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 5.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号