HttpWebRequest采集_Tag标签_程序员俱乐部

现在采集程序最最常用到的就是火车头了，只要你会编写采集规则就能将网站上的数据抓下来居为已有。不过做为一个开发者，这样做起来也也感觉不爽。不能一次性解决需求。现在写一个简单的采集程序。由于WEB的开发语言很多，不同的语言做出的网站在采集规则的写法上也有不同。比如一般的分页就不会存在大的问题，多数还是以GET为主，如果碰到用.net开发的网站，在分页时会发现分页的连接上为javascript:__doPostBack('','');这种方式的，这个是以POST方式来实现分页的... 查看全文