Golang采集网页元素 go-rod (浏览器自动化工具)配合goquery使用
go-rod 优势在网页元素加载完毕后才开始采集
// 引入 “github.com/go-rod/rod”
// 引入 “github.com/PuerkitoBio/goquery”
// 使用 go-rod (浏览器自动化工具) // 引入 "github.com/go-rod/rod" // 引入 "github.com/PuerkitoBio/goquery" page := rod.New().MustConnect().MustPage("https://www.xxx.xx").MustWaitLoad() html, err := page.HTML() if err != nil { fmt.Println("加载网页:", err) } doc, err := goquery.NewDocumentFromReader(strings.NewReader(html)) if err != nil { log.Println("爬取网页数据 异常:", err) } // 在这里进行 goquery 解析 doc.Find("body").Each(func(i int, s *goquery.Selection) { band := s.Find(".clsseName") date := band.Find(".clsseDate").Text() //采集日期 number := band.Find(".divNumber").Text() //采集号码 }
648 Views