go 协程抓取网站图片

package main

import (
        "fmt"
        "io/ioutil"
        "net/http"
        "os"
        "regexp"
        "strconv"
        "strings"
        "sync"
        "time"
)

//并发抓思路
//1.初始化数据管道
//2.爬虫写出:26个协程向管道中添加图片连接
//3.任务统计协程：检查26个任务是否都完成，完成则关闭数据管道
//4.下载协程:从管道中读取链接，并下载
var (
        //正则匹配
        reImages=`https?://[^"]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`
        //存放图片连接的数据管道
        chanImageUrls chan string
    //等待组
        waitGroup sync.WaitGroup
        //任务统计协程 用于监控协程的
        chanTask chan string
        )
func main(){
    //1.初始化管道
        chanImageUrls= make(chan string,1000000)
    chanTask =make(chan string,26)//协程数 26个
    //2.爬虫协程
    for i:=1;i<26;i++{
        waitGroup.Add(1)
        go getImgUrls("https://www.bizhizu.cn/shouji/tag-%E5%8F%AF%E7%88%B1/" + strconv.Itoa(i) + ".html")
        }
        //3.任务统计协程，统计26任务是否完成
        waitGroup.Add(1)
    go TaskOk()
    //4.下载协程；从管道中读取连接并下载
    for i:=0;i<5;i++{
        //每开一个协程都需要添加一个协程 waitGroup
        waitGroup.Add(1)
        //下载图片的协程
        go DownLoadImg()
        }
        waitGroup.Wait() //所有的协程都需要开一个等待协程
}
func DownLoadImg(){
  for url := range chanImageUrls{
       filename :=GetFilenameFromUrl(url)
       DownloadFile(url,filename)
  }
}
// 下载图片，传入的是图片叫什么
func DownloadFile(url string, filename string) (ok bool) {
        resp, err := http.Get(url)
        HandleErrors(err, "http.get.url")
        defer resp.Body.Close()
        bytes, err := ioutil.ReadAll(resp.Body)
        HandleErrors(err, "resp.body")
        runtimeDir := fmt.Sprintf("%s/imgs", "D:/go/test/pa")
        if !FileExist(runtimeDir) {
                err := os.Mkdir(runtimeDir, os.ModePerm)
                if err != nil {
                        panic(err)
                }
        }
        filename = "D:/go/test/pa/imgs/" + filename
        // 写出数据
        err = ioutil.WriteFile(filename, bytes, 0777)
        if err != nil {
                return false
        } else {
                return true
        }
}
//判断文件是否存在
func FileExist(path string) (exist bool) {
        _, err := os.Stat(path)
        if err == nil {
                exist = true
        } else if os.IsNotExist(err) {
                exist = false
        }
        return
}
//截取url 名字
func GetFilenameFromUrl(url string)(filename string){
        //返回最后一个/位置
        lastIndex :=strings.LastIndex(url,"/")
        //切出来
        filename =url[lastIndex+1:]
        //时间戳 解决重名
        timePrefix :=strconv.Itoa(int(time.Now().UnixNano()))
        filename =timePrefix+"_"+filename
        return
}
//任务统计协程
func TaskOk(){
        var count int
        for {
                url:=<-chanTask
                fmt.Printf("%s 完成了爬虫任务\n",url)
                count++
                if count==26{
                        //关闭图片数据管道
                        close(chanImageUrls)
                        break
                }
        }
        waitGroup.Done() //关闭主协程
}
//爬图片连接到管道
//url是传的整页连接
func getImgUrls(url string){
        urls :=getImgs(url)
        //遍历切片里所有链接，存入数据管道
        for _,url:=range urls{
                chanImageUrls<-url
        }
        //监控协程，标识当前协程完成 监控爬虫的26个进程
        //每完成一个任务，写一条数据
        //用于监控协程，知道已经完成了几个任务
        chanTask<-url
        //所有内容加入管道之后需要done 关闭管道
        waitGroup.Done() //控制主协程是否结束
}

//获取当前页的图片链接
func getImgs(url string)(urls []string){
        pageStr:=GetPageStrs(url)
        re:=regexp.MustCompile(reImages)
        results:=re.FindAllStringSubmatch(pageStr,-1)
        fmt.Printf("共找到%d条结果\n",len(results))
        for _,result :=range results{
                url:=result[0]
                urls =append(urls,url)
        }
        return
}
//错误处理
func HandleErrors(err error,message string){
        if err !=nil{
                fmt.Println(message,err)
        }
}

//抽取根据url获取内容
func GetPageStrs(url string)(pageStr string){
        resp,err:=http.Get(url)
        HandleErrors(err,"http err")
        defer resp.Body.Close()
        //读取页面内容
        respByte,err :=ioutil.ReadAll(resp.Body)
        HandleErrors(err,"ioutil err")
        pageStr =string(respByte)
        return pageStr
}