0

0

将 JSON 数据转储到 Django 模型:使用 Django 设置和命令

王林

王林

发布时间:2024-08-16 08:00:05

|

674人浏览过

|

来源于dev.to

转载

将 json 数据转储到 django 模型:使用 django 设置和命令

当您使用 django 或使用 django rest framework (drf) 的 rest api 完成网站的第一个版本时,数据需求变得最重要。对于类似的问题,我写了上一篇文章,其中讨论了通过直接插入 sqlite 数据库和表将 json 数据转储到 django 模型的直接方法。然而,我也提到 django 有 loaddata、dumpdata 和用于类似问题的固定装置,但需要对框架有更多的了解。

今天,我将回顾一下学习曲线,并讨论如何将普通 json 数据转换为固定装置,然后使用 loaddata 将 json 数据转储到特定模型中。同样,如果您有一些模型数据(可以通过管理页面等添加),那么如何将其转储为固定装置以与其他模型一起使用或在其他项目中使用。

上一篇文章分为两部分:第一部分是数据转储所需的正常设置,第二部分是关于将 json 数据转储到模型中的 python 脚本。因此,请保持文章简短,在本文中,我将从第二部分开始,您可以按照上一篇文章的第一部分来阅读本文。因此,假设您有一个图书应用程序,并且其中 models.py 中有 book 模型,类似地,api 端点已准备就绪,例如(上一篇文章的 github 存储库):
http://127.0.0.1:8000/api/books/1

或者您只是想将数据加载到基于 django 的网站的 book 模型。您可以关注以下 git 存储库中的代码。
json 数据转储到模型

给定两个存储库,您可以使用任何人来关注这里的文章,您只需要以下内容:

  1. 一个正在运行的 django 项目,具有带有或不带有 api 功能的 book 模型
  2. 根据 book 模型包含书籍信息的 json 文件。

示例 1:book/models.py 中的书籍模型

from django.db import models

class book(models.model):
    title = models.charfield(max_length=200)
    author = models.charfield(max_length=100)    
    isbn = models.charfield(max_length=13, unique=true)
    pages = models.positiveintegerfield()   
    language = models.charfield(max_length=30)

    def __str__(self):
        return self.title

books.json

[
  {
    "title": "example book 1",
    "author": "john doe",
    "isbn": "1234567890123",
    "pages": 350,
    "language": "english"
  },
  {
    "title": "example book 2",
    "author": "kumar ajit",
    "isbn": "9876543210987",
    "pages": 280,
    "language": "hindi"
  }
]

示例 2:上一篇文章中的 book 模型

from django.db import models

class book(models.model):
    title = models.charfield(max_length=200)
    author = models.charfield(max_length=100)
    price = models.decimalfield(max_digits=6, decimal_places=2)

    def __str__(self):
        return self.title

您可以在这里找到 data.json 文件。

数据转储到模型

我们有一个正在运行的 django 项目,其中包含一个模型book 和一个包含书籍信息的额外 json 文件。那么,现在的问题是什么?
我们希望将 json 数据转储到模型中,以便可以与 django 网站一起使用(例如将数据传递到模板以显示给用户)或通过 api 向前端提供数据。

django 有 loaddata、fixtures 和 dumpdata,以及管理页面(您可以注册模型和插入数据)和 shell(使用 sql 或 orm 直接操作数据库)。然而,如果想要合并大数据或想要多次执行(通常是开发和测试期间的用例),通过固定装置加载数据似乎更好。

让我们首先解释这些工具,然后深入研究 python 脚本来实现数据转储任务。

加载数据

$django-admin loaddata 

赛程

fixture 是包含数据库序列化内容的文件集合。每个固定装置都有一个唯一的名称,并且组成固定装置的文件可以分布在多个应用程序中的多个目录中。 [来源]

让我们跳到文章的后续部分,看看书籍装置。

[
  {
    "model": "book.book",
    "pk": 40,
    "fields": {
      "title": "example book 1",
      "author": "john doe",
      "isbn": "123456734890123",
      "pages": 350,
      "language": "english"
    }
  },
  {
    "model": "book.book",
    "pk": 41,
    "fields": {
      "title": "example book 2",
      "author": "kumar ajit",
      "isbn": "9876543455210987",
      "pages": 280,
      "language": "hindi"
    }
  }
]

如果你看​​过fixture文件,你一定会发现它只是另一个带有更多键值对的json文件,而这些是django模型/表的元数据。所以,是的,你是对的,我们的目标是将 books.json 格式转换为固定格式,以便 django 管理工具能够识别它并将数据转储到合适的表中。

现在,要创建夹具,您可以有两种情况:1)模型中有数据,并且您想要创建夹具以供将来使用或测试等。
2) 你的模型/表中没有数据,但你有外部源中的数据,如 json、csv 或任何其他格式,并且你想通过前面讨论的命令 loaddata 在 django 中加载该数据。(这篇文章是关于这个的但最后,我们将使用 dumpdata 来比较手动和 dumpdata 输出。)

在使用python脚本将普通json文件转换为fixture格式之前,让我们先了解一下django如何查找fixture文件以及如何使用它。

共有三个兴趣点和顺序【来源】:

万兴喵影
万兴喵影

国产剪辑神器

下载
  1. 在每个已安装应用程序的固定目录中:这类似于 django 项目内组织的其他目录(例如模板或媒体或静态文件夹)的建议。但是,您也可以提供如下所述的直接路径。

  2. fixture_dirs 设置中列出的任何目录

  3. 在由固定装置命名的文字路径中:适用于较小的项目或应用程序,但最好为固定装置有一个合适的推荐位置,这样可以轻松地用于测试或调试等。

注意:使用夹具的一个主要好处是在夹具上应用和使用压缩。

转储数据

这是 django-admin 命令,用于将表的所有数据输出到标准输出。

注 1:将数据库中与指定应用程序关联的所有数据输出到标准输出。
注2:dumpdata的输出可以用作loaddata的输入。(作为fixture)

django-admin dumpdata [app_label[.modelname] 

您可以从此链接阅读更多内容。

从简单的 json 到 django fixtures 的 python 脚本。

from django.apps import apps
import django
import os
import json


# set the django settings module
os.environ.setdefault('django_settings_module', 'dataloading.settings')
django.setup()

# get all models
models = apps.get_models()

# get the model names
for model in models:
    print(model)
    print(model.__name__)

# choose model to create fixtures
from book.models import book 

# get all field names
field_names = [field.name for field in book._meta.get_fields()]
fixture_name = "books.json"

#read the data file json, csv etc.

with open('data.json','r') as fp:
    books= json.load(fp)


books_fixture =[]
# get the pk value from model , if there is data
pk=1 
# iterate all the books in json file
for book in books:
    book_fixture={}
    # add model name (most important for fixture)
    book_fixture['model']= 'book.book'
    pk+=1
    book_fixture['pk']=pk
    # assuming the data has same fields name as model else mapping is required
    book_fixture['fields']=book
    books_fixture.append(book_fixture)
# writing converted json as file for fixture

with open(fixture_name,'w') as fp:
    json.dump(books_fixture,fp)

# print(field_names)
# if __name__ =='__main__' :
    #create_book()  

一旦你的装置被创建为 books.json。是时候将其移动/复制到合适的位置(book/fixtures/book/),以便 django 管理器可以轻松找到它,然后运行 ​​loaddata 命令将所有数据转储到 book 模型。

$mv books.json book/fixtures/book/
$python manage.py loaddata book/fixtures/book/books.json

你也可以使用类似的脚本直接向模型的 sing.save() 方法写入数据。下面是 create_book() 方法,可用于将一个或多个(循环)数据记录插入 book 模型。

# def create_book():
#     book = Book(
#         title="This is from script",
#         author ="ajit",
#         isbn = "2024-0809",
#         pages=300,
#         language ='English'
#     )
#     book.save()
#     print(f'Book {book.title} by {book.author} created.')

您还可以查看 django 扩展中的 dumpscript 来完成类似的任务。

希望对您有帮助。

注意:由于时间限制,文章没有正确校对和格式。因此,请谨慎使用,如有任何错误、疑问或疑问,请在下面留下评论。我会加班回复和编辑文章

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

771

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

328

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

350

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1324

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

361

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

881

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

581

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

425

2024.04.29

2026赚钱平台入口大全
2026赚钱平台入口大全

2026年最新赚钱平台入口汇总,涵盖任务众包、内容创作、电商运营、技能变现等多类正规渠道,助你轻松开启副业增收之路。阅读专题下面的文章了解更多详细内容。

54

2026.01.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 3.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号