背景
站在用户的角度思考问题，与客户深入沟通，找到寿阳网站设计与寿阳网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：
网站建设、成都网站建设、企业官网、英文网站、手机端网站、网站推广、
主机域名、
网站空间、企业邮箱。业务覆盖寿阳地区。
要做IP地址归属地查询，量比较大，所以想先从网上找到大部分的分配数据，写个蜘蛛程序来抓取入库，以后在程序的运行中不断进行维护、更新、完善。
一些关键点
- goroutine的使用，让程序并行运行。
- 正则表达式分组信息提取的使用，正确的提取我们关注的信息。
- 数据库批量插入操作。
- 数据库批量更新操作。
代码解析
按功能模块对核心代码进行说明
ip.go
主进程，实现goroutine的调用。
func main() {
//利用go基本库封装的网页抓取函数，后面有说明
ctx := common.HttpGet("http://ips.chacuo.net/")
//正则表达式，有两个分组（两组小括号），分别取城市信息与url，具体分析代码后面有说明
reg := regexp.MustCompile(`([^<]+?)`)
//取得页面上所有的城市及相应url
ips := reg.FindAllStringSubmatch(string(ctx), -1)
ch := make(chan string) //建立无缓冲字符串通道
for _, el := range ips { //一个协程处理一个具体页面
go ipSpider.SpiderOnPage(el[1], el[2], ch)
}
for range ips { //阻塞等待所有抓取工作全部完成
fmt.Println(<-ch)
}
}
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
文章名称：golang如何实现抓取IP地址的蜘蛛程序详解-创新互联
URL标题：
http://bzwzjz.com/article/dphoec.html
