FeiFree!

关注互联网、体验互联网,记录成长历程

Tag

spider

Nginx 屏蔽搜索引擎蜘蛛

放入server段内则全站生效,放在location则只有对应的段生效对其他独立… Continue Reading →

通过 Nginx 将爬虫和正常用户访问分开到不同的后端运行

做网站的,对爬虫又爱又恨。有些爬虫爬得非常凶,甚至影响正常用户访问。 为此可以通… Continue Reading →

© 2018 FeiFree! — Powered by WordPress

Theme by Anders NorenUp ↑