Golang爬虫采集网页元素 go-rod (浏览器自动化工具)配合goquery使用

Golang采集网页元素 go-rod (浏览器自动化工具)配合goquery使用

go-rod 优势在网页元素加载完毕后才开始采集

// 引入 “github.com/go-rod/rod”
// 引入 “github.com/PuerkitoBio/goquery”

// 使用 go-rod (浏览器自动化工具)  
// 引入 "github.com/go-rod/rod"
// 引入 "github.com/PuerkitoBio/goquery"

page := rod.New().MustConnect().MustPage("https://www.xxx.xx").MustWaitLoad()
    html, err := page.HTML()
    if err != nil {
        fmt.Println("加载网页:", err)
    }

    doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
    if err != nil {
        log.Println("爬取网页数据 异常:", err)
    }

    // 在这里进行 goquery 解析
    doc.Find("body").Each(func(i int, s *goquery.Selection) {
        band := s.Find(".clsseName")
        date := band.Find(".clsseDate").Text()  //采集日期
        number := band.Find(".divNumber").Text()   //采集号码
    }

601 Views
分享你的喜爱
linwute
linwute

我要像梦一样自由,像大地一样宽容;
在艰辛放逐的路上,点亮生命的光芒;
我要像梦一样自由,像天空一样坚强;
在曲折蜿蜒的路上,体验生命的意义;

留下评论

您的邮箱地址不会被公开。 必填项已用 * 标注