请教分布式爬虫的思路

2020-04-15 23:21发布

分布式爬虫是要共享一个 URL 池的么?

多台服务器的话,可以分布在全世界么?比如各地都买 vps

目前一般用什么语言写分布式爬虫? PHP 能行么(一直都用 php 爬的,但都是小爬虫)?谢谢

有没有一个综合性的思路,谢谢


登录 后发表评论
1条评论
筱砡
1楼 · 2020-04-15 23:59

[db:评论]