在go语言中使用bufio.Scanner读取大文件导致令牌过长错误解决方式

Go  /  管理员 发布于 1年前   522

在go语言中使用bufio.Scanner读取大文件导致令牌过长错误解决方式。

使用 Go有几种读取文件的方法，其中一种常用的方法是使用 bufio.NewScanner() 函数读取文件。

示例代码 ：

 package main
 
 import (
     "bufio"
     "fmt"
     "os"
 )
 
 func main() {
     file, err := os.Open("somefile.dat")
     
     if err != nil {
         panic(err.Error())
     }
     
     defer file.Close()
     reader := bufio.NewReader(file)
     scanner := bufio.NewScanner(reader)
     scanner.Split(bufio.ScanBytes)
     
     for scanner.Scan() {
         fmt.Println(scanner.Bytes())
     }
     
     if err := scanner.Err(); err != nil {
         fmt.Println("error while reading :", err)
     }
 }

大多数情况下，一切都会很顺利。

不过，在某些情况下，当程序试图读入一个非常大的文件时，就会抛出这样的错误信息：

"bufio.Scanner: token too long"：
"bufio.Scanner: token too long（bufio.Scanner：令牌太长）"。

该错误信息的起因是输入令牌的大小超过了 bufio.MaxScanTokenSize 缓冲区的大小。

分配的大小是 

MaxScanTokenSize = 64 * 1024

要读取大文件，建议使用 bufio.Reader.ReadLine 代替。

引用 ：

https://golang.org/pkg/bufio/#pkg-constants