# Screaming Frog
Screaming Frog 是SEO界非常有名的爬虫模拟工具,你可以利用Screaming Frog来当作模拟的爬虫,试爬网站上的资料,看能否都被健康的爬取,同时,Screaming Frog 还会在爬完网站资料后,会告诉你网站上有哪些问题需要被修正、哪边有404页面、甚至也会帮你侦测 Title、Description的问题。
# Search Console【检索统计资料】报表
Search Console的【检索统计资料】报表裡面会显示Google来你的网站的抓取状况,如果你发现 Google抓取的档案突然变少,或是抓取的时间突然变长,那你就要非常小心了。
如果你发现Google对你网站抓取的档案变少了,有可能是 Google认为你的网站太少更新、或是不重要,所以爬虫来造访网站的时间就降低了,也有可能是你的网站通行性有问题,导致Google进不来你的网站。
Google花多少时间下载你的网页也是非常重要的,当Google抓取的时间突然变长,代表你的网站速度或通行性出现问题,所以 Google需要更长的时间来抓取你的资料,这时候你应该要彻底检查,是否是网站的某些设定导致网站速度变慢,或是搜寻引擎没办法健康的抓取资料,我会建议你定期的观察搜寻引擎来你的网站抓资料的状况是否健康。
# Google 模拟器
Search Console的【Google模拟器】可以帮助你模拟 Google的爬虫,并爬取自己网站上的资料,你可以透过这个官方提供的模拟器,来检查 Google是否能呈现出你的完整网页,基本上若模拟器的爬虫都能够爬取网站上的资料,那你的网站就不会有太大的问题。
# 关闭 Javascript/CSS
如果你不是技术人员,真的不太知道该怎麽看网站是否有用 Javascript产生内容而导致搜寻引擎无法爬取,你可以使用 Web Developer这样的插件,把Javascript都关闭,重新浏览网页的内容看是否内容有不同,如果你关闭了 Javascript后网页的内容就不见了,或是文字就少很多了,这代表你的网页有用很多的 Javascript来产生,请尽可能避免用 Javascript来产生内容或链接,Google对Javascript的理解是有限的。(下图为关闭 CSS以及Javscript 的差别示意图,但实际上你只要检查 Javascript即可,Google目前可以很健康的解读 CSS档案)