Go 1.16后io/ioutil被弃用,推荐使用io和os包替代。其ReadFile和WriteFile虽便捷,但一次性加载文件到内存,不适合大文件处理。读取目录可用ioutil.ReadDir获取文件列表,结合filepath.Join安全拼接路径,并过滤子目录。对于大文件,应采用os.Open和bufio.NewReader/Writer实现分块读写,避免内存溢出,提升效率。示例展示了小文件读写、目录遍历及大文件流式处理,强调错误处理与资源释放。尽管ioutil仍可用,但现代Go开发应优先使用标准库新接口。

Golang的
io/ioutil库提供了非常便捷的文件读写功能,但随着Go 1.16的发布,它的大部分功能已经被标记为deprecated。这意味着什么?简单来说,虽然还能用,但官方推荐使用更现代的
io和
os包来替代。但这并不妨碍我们理解并掌握
io/ioutil,毕竟很多老代码还在用,而且它确实简洁易用。
快速读写文件,核心在于理解
ReadFile和
WriteFile这两个函数。它们能够以最少的代码完成文件的读取和写入。但是,便捷性往往伴随着一定的局限性,比如对大文件的处理就显得力不从心。
ReadFile直接读取整个文件到内存,WriteFile则一次性将内存中的数据写入文件。
package main
import (
"fmt"
"io/ioutil"
"log"
)
func main() {
// 读取文件
content, err := ioutil.ReadFile("example.txt")
if err != nil {
log.Fatal(err)
}
fmt.Printf("File content: %s\n", content)
// 写入文件
data := []byte("Hello, ioutil!")
err = ioutil.WriteFile("output.txt", data, 0644) // 0644是文件权限
if err != nil {
log.Fatal(err)
}
fmt.Println("File written successfully.")
}使用
io/ioutil读取目录下的所有文件?
立即学习“go语言免费学习笔记(深入)”;
ioutil.ReadDir可以满足这个需求。它会返回指定目录下的所有文件和子目录的
FileInfo切片。有了这些信息,就可以进一步读取每个文件的内容。
package main
import (
"fmt"
"io/ioutil"
"log"
"os"
"path/filepath"
)
func main() {
dirPath := "./mydir" // 替换为你的目录路径
// 创建测试目录和文件
os.MkdirAll(dirPath, 0755)
ioutil.WriteFile(filepath.Join(dirPath, "file1.txt"), []byte("Content of file1"), 0644)
ioutil.WriteFile(filepath.Join(dirPath, "file2.txt"), []byte("Content of file2"), 0644)
files, err := ioutil.ReadDir(dirPath)
if err != nil {
log.Fatal(err)
}
for _, file := range files {
if !file.IsDir() { // 忽略子目录
filePath := filepath.Join(dirPath, file.Name())
content, err := ioutil.ReadFile(filePath)
if err != nil {
log.Printf("Error reading file %s: %v\n", file.Name(), err)
continue
}
fmt.Printf("File: %s, Content: %s\n", file.Name(), content)
}
}
// 清理测试目录和文件 (可选)
os.RemoveAll(dirPath)
}注意,这个例子里加入了错误处理,并且使用了
filepath.Join来安全地拼接文件路径。另外,还过滤了子目录,只处理文件。
如何更高效地处理大文件,避免内存溢出?
对于大文件,
io/ioutil的
ReadFile和
WriteFile就显得力不从心了。更好的选择是使用
io和
os包,采用流式处理的方式,分块读取和写入。这样可以显著降低内存占用。
package main
import (
"bufio"
"fmt"
"io"
"log"
"os"
)
func main() {
// 大文件读取示例
readFile("large_file.txt")
// 大文件写入示例
writeFile("large_output.txt", "This is a large file content. ")
}
func readFile(filePath string) {
file, err := os.Open(filePath)
if err != nil {
log.Fatal(err)
}
defer file.Close()
reader := bufio.NewReader(file)
buffer := make([]byte, 4096) // 4KB buffer
for {
n, err := reader.Read(buffer)
if err != nil {
if err != io.EOF {
log.Printf("Error reading file: %v\n", err)
}
break
}
fmt.Printf("Read %d bytes: %s", n, buffer[:n]) // 处理读取到的数据
}
}
func writeFile(filePath, content string) {
file, err := os.Create(filePath)
if err != nil {
log.Fatal(err)
}
defer file.Close()
writer := bufio.NewWriter(file)
for i := 0; i < 100000; i++ { // 模拟写入大量数据
_, err := writer.WriteString(content)
if err != nil {
log.Fatal(err)
}
}
err = writer.Flush() // 确保所有数据都写入磁盘
if err != nil {
log.Fatal(err)
}
fmt.Println("Large file written successfully.")
}
这个例子使用了
bufio包,它提供了带缓冲的读取和写入功能,进一步提升了效率。
ReadFile函数分块读取文件,
WriteFile函数分块写入文件。注意,
WriteFile函数最后需要调用
writer.Flush(),确保所有数据都写入磁盘。










