视频流媒体平台采用Go语言编程ioutil.ReadAll的用法注意点

由于Go语言非常易学,且代码精简,我们很多同事在研发视频平台的时候,都喜欢拿Go语言来做编程,我们这个问题就是在使用Go语言做编程的时候出现的,下面就跟大家详细讲一下。

在Go语言编程中,向目标机器发送http请求,获取内容时,经常会使用以下代码进行获取请求后的数据。

body, err := ioutil.ReadAll(resp.Body)

这个代码对于请求的数据大小不大的情况可以正常使用。但是如果后台数据的大小很大,则会导致内存溢出程序崩溃。

原因分析

Go 语言中 ReadAll() 是一次读取所有数据,比如一个文件大小为100M,也会将此文件一次性加载到内存中。如果请求过多,很快就会导致内存不够使用,程序崩溃。

解决办法

采用 Copy() 或者直接使用 Read() 方法替换掉 ReadAll()。本文中采用 Read() 的方式。

func getTs(req *http.Request) error {
   client := http.Client{
      Transport: &http.Transport{
         ResponseHeaderTimeout: time.Second * 10,
      },
      //Timeout: time.Second * 10,
   }
   resp, err := client.Do(req)
   // resp, err := http.Get(u)

   if err != nil {
      return err
   }

   defer resp.Body.Close()
   buffer := make([]byte, 8192)
   //result := bytes.NewBuffer(nil)
   for {
      time.Sleep(200)
      _, err := resp.Body.Read(buffer)

      if err != nil && err == io.EOF {
         break
      } else if err != nil {
         return err
      }
   }

   return nil
}

如果采用Read()方法,需要注意一下上文中的 err == io.EOF,此段代表文件已经读取完毕。