0

0

拼写的后传播 - 如karpathy所解释

碧海醫心

碧海醫心

发布时间:2025-02-16 08:29:46

|

748人浏览过

|

来源于dev.to

转载

嗨!我是hexmos的创始人shrijith venkatrama。目前,我正在构建liveapi,该工具使您的代码中生成api文档非常容易。 添加标签以提高图形可读性

将标签参数添加到值类:

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label

  def __repr__(self):
    return f"value(data={self.data})"

  def __add__(self, other):
    return value(self.data + other.data, (self, other), '+')

  def __mul__(self, other):
    return value(self.data * other.data, (self, other), '-')

a = value(2.0, label='a')
b = value(-3.0, label='b')
c = value(10, label='c')
e = a * b; e.label = 'e'
d = e + c; d.label = 'd'
print(d._prev)
print(d._op)
print("---")
print(e._prev)
print(e._op)

更新draw_dot将标签包括在图中

最初,我们的节点表达式为:

dot.node(name=uid, label="{ data %.4f }" % (n.data,), shape='record')

>替换为:

dot.node(name=uid, label="{ %s | data %.4f }" % (n.label, n.data), shape='record')

现在draw_dot(d)返回:

带有标签的重新渲染图

graph with labels 让我们在表达式中添加一些节点-f和l

44543468844

生成图:

draw_dot(l)

more complex expression我们上面构建的此图是布置节点的 forward-pass

我们要计算的 >我们想知道输入(权重-a,b,c,d,e,f)如何影响输出(损耗函数l)。因此 - 我们想找到:dl/dl,dl/df,dl/de,dl/dd,dl/dc,dl/db,dl/da。

添加毕业参数以适应反射

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label
    self.grad = 0.0 # 0 means no impact on output to start with

更新节点图形信息

dot.node(name=uid, label="{ %s | data %.4f | grad %.4f }" % (n.label, n.data, n.grad), shape='record')

手动执行给定图的后传播

节点l graph with grad property

什么是dl/dl - 也就是说,如果我们少量更改l,它将如何影响输出l?答案显然是-1。

是,

l.grad = 1

表达

44543468844

节点d

l = d * f

by known rules:

dl/dd = f

by derivation:

dl/dd = 

(f(x+h) - f(x))/h = 

(d*f + h*f - d*f)/h = 

h*f/h =

f

that is, dl/dd = f = -2.0

>所以,我们做

d.grad = -2.0

节点f

通过对称,我们得到dl/df = d = 4.0
是,

f.grad = 4.0

新的更新图是这样的:

>


如何对衍生物进行数值验证

def verify_dl_by_df():
  h = 0.001

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0, label='f')
  l = d * f; l.label = 'l'
  l1 = l.data

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0 + h, label='f') # bumb f a little bit
  l = d * f; l.label = 'l'
  l2 = l.data

  print((l2 - l1)/h)

verify_dl_by_df() # prints out 3.9999 ~ 4

挑战 - 我们如何计算dl/dc?

updated graph我们知道dl/dd = -2.0-所以我们知道l如何受d。>>的影响

的问题是,c将如何影响l。

首先,我们可以计算“局部衍生物”,或者弄清楚c首先影响d。

是,

> dd/dc =?

我们知道:

d = c e

因此,一旦我们通过c进行区分,我们就会得到:dd/dc = 1

同样,dd/de = 1。

现在的问题是,如何将dd/dc和dl/dd组合在一起?

我们需要一些称为链条规则的东西:

因此,应用链条规则,我们得到:

PNG Maker
PNG Maker

利用 PNG Maker AI 将文本转换为 PNG 图像。

下载

dl/dc = dl/dd * dd/dc
dl/dc = -2.0 * 1.0 = -2.0

同样,dl/de = -2.0

>

>让我们在python中设置值,然后重新绘制图表

>

18574658665

chain rule

找出dl/da和dl/db

我们知道:

dl/de = -2.0


我们想知道:

dl/da = dl/de * de/dagraph with grads for c & e

we know that:

e = a * b
de/da = b
de/da = b = -3.0

we can also find:

e = a * b
de/db = a
de/db = a = 2.0

>所以,现在要获得我们需要的东西:

dl/da = dl/de * de/da = -2.0 * -3.0 = 6.0
dl/db = dl/de * de/db = -2.0 * 2.0 = -4.0

我们在python中设置了值,然后redraw以获取完整图:>

a.grad = 6.0
b.grad = -4.0


参考

相关文章

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
俄罗斯Yandex引擎入口
俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总,涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

75

2026.01.28

包子漫画在线官方入口大全
包子漫画在线官方入口大全

本合集汇总了包子漫画2026最新官方在线观看入口,涵盖备用域名、正版无广告链接及多端适配地址,助你畅享12700+高清漫画资源。阅读专题下面的文章了解更多详细内容。

17

2026.01.28

ao3中文版官网地址大全
ao3中文版官网地址大全

AO3最新中文版官网入口合集,汇总2026年主站及国内优化镜像链接,支持简体中文界面、无广告阅读与多设备同步。阅读专题下面的文章了解更多详细内容。

38

2026.01.28

php怎么写接口教程
php怎么写接口教程

本合集涵盖PHP接口开发基础、RESTful API设计、数据交互与安全处理等实用教程,助你快速掌握PHP接口编写技巧。阅读专题下面的文章了解更多详细内容。

1

2026.01.28

php中文乱码如何解决
php中文乱码如何解决

本文整理了php中文乱码如何解决及解决方法,阅读节专题下面的文章了解更多详细内容。

3

2026.01.28

Java 消息队列与异步架构实战
Java 消息队列与异步架构实战

本专题系统讲解 Java 在消息队列与异步系统架构中的核心应用,涵盖消息队列基本原理、Kafka 与 RabbitMQ 的使用场景对比、生产者与消费者模型、消息可靠性与顺序性保障、重复消费与幂等处理,以及在高并发系统中的异步解耦设计。通过实战案例,帮助学习者掌握 使用 Java 构建高吞吐、高可靠异步消息系统的完整思路。

8

2026.01.28

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

23

2026.01.27

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

122

2026.01.26

edge浏览器怎样设置主页 edge浏览器自定义设置教程
edge浏览器怎样设置主页 edge浏览器自定义设置教程

在Edge浏览器中设置主页,请依次点击右上角“...”图标 > 设置 > 开始、主页和新建标签页。在“Microsoft Edge 启动时”选择“打开以下页面”,点击“添加新页面”并输入网址。若要使用主页按钮,需在“外观”设置中开启“显示主页按钮”并设定网址。

52

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.3万人学习

Django 教程
Django 教程

共28课时 | 3.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号