前段时间弄爬虫的时候,在爬iteye的时候碰到过一个场景,Spider跑几次或者抓取的时间间隔小一点之后就会出现401错误16-08-1615:05:49,687INFOus.codecraft.webmagic.Spider(Spider.java:307)##Spider843977358.iteye.comstarted!16-08-1615:05:49,696INFOus.codecraft.webmagic.downloader.HttpClientDownloader...
查看全文