php小编柚子今天为大家介绍一个重要的技巧——如何减少执行大事务时的内存消耗。在处理大量数据或执行复杂操作时，内存消耗可能成为一个严重的问题。为了解决这个问题，我们需要采取一些优化措施，以提高代码的效率和性能。本文将为您详细介绍一些减少内存消耗的方法和技巧，帮助您在处理大事务时更加高效地利用内存资源。
问题内容
我按照 internet 上的示例，使用以下 sqlite 参数提高了 insert 查询的速度：
pragma journal_mode = off; pragma synchronous = 0; pragma cache_size = 1000000; pragma locking_mode = exclusive; pragma temp_store = memory;
这是我的代码：
tx, err := db.begin()
if err != nil {
log.fatal(err)
}
pr, err := tx.prepare("insert into table (p1, p2, p3, p4, p5) values (?, ?, ?, ?, ?)")
if err != nil {
log.fatal(err)
}
defer pr.close()
for i := 0; i < maxi; i++ {
for j := 0; j < maxj; j++ {
...
_, err = pr.exec(param1, param2, param3, param4, param5)
if err != nil {
log.fatal(err)
}
}
}
err = tx.commit()
if err != nil {
log.fatal(err)
}
现在查询运行速度很快，但消耗了太多 ram。因为数据存储在ram中，只有在执行的最后才保存到数据库文件中。
我认为可以定期将数据保存到数据库文件中，这样会稍微增加执行时间，但会减少内存消耗。随着“i”的每次变化，交易开始，当所有“j”完成时，交易结束：
for i := 0; i < maxI; i++ {
tx, err := db.Begin()
if err != nil {
log.Fatal(err)
}
pr, err := tx.Prepare("INSERT INTO Table (p1, p2, p3, p4, p5) VALUES (?, ?, ?, ?, ?)")
if err != nil {
log.Fatal(err)
}
defer pr.Close()
for j := 0; j < maxJ; j++ {
...
_, err = pr.Exec(param1, param2, param3, param4, param5)
if err != nil {
log.Fatal(err)
}
}
err = tx.Commit()
if err != nil {
log.Fatal(err)
}
}
我认为现在数据应该以块的形式写入文件，并且 ram 中应该只有一个数据块。
但在执行过程中，数据并没有保存到文件中，ram持续被填满。也就是说，第一个和第二个代码选项的执行没有区别。
我认为当调用事务的“commit”时，数据应该保存到文件中，并且应该清除ram。请告诉我我做错了什么。
解决方法
PRAGMAcache_size的参数是页数（一般为每页4k字节）。
PRAGMA cache_size = 1000000;将分配最大4GB的RAM给页面缓存。
页面缓存在需要时分配，最多可达最大值，但在连接关闭之前不会释放。
由于您要插入大量行，它们最终会出现在不同的页面上，因此您最终将在缓存中保留已写入磁盘的所有页面，直到填满缓存为止。
如果您想减少内存消耗，只需将该值减少到 1000 之类的值（相当于 4 MB），或者干脆将其删除。默认缓存为 2 MB，如果您只是插入行就足够了。
另请注意，当您调用 COMMIT 时（或者如果没有足够的缓存，甚至在提交之前），数据确实会写入磁盘。但是 Sqlite 会在缓存中保留一个副本，以备以后需要时使用，以避免从磁盘重新读取它。
