2025年SEO必备工具尖叫青蛙的详细介绍及使用教程
眼中脚下路,心中怀宏图。大家好,我是跨境领域的探索者Tim。本文内容丰富,阅读时间预计与听一首歌的时间相当!图片来源:Tim在2025年的SEO日常工作中,为了提高工作效率,今天我要给各位独立站卖家及站长朋友们,分享一款极为强大且实用的SEO工具——尖叫青蛙(Screaming Frog SEO Spider)。它的强大与实用之处,且听我慢慢道来。Screaming Frog是一款强大的SEO工具...
眼中脚下路,心中怀宏图。大家好,我是跨境领域的探索者Tim。
本文内容丰富,阅读时间预计与听一首歌的时间相当!
图片来源:Tim
在2025年的SEO日常工作中,为了提高工作效率,今天我要给各位独立站卖家及站长朋友们,分享一款极为强大且实用的SEO工具——尖叫青蛙(Screaming Frog SEO Spider)。它的强大与实用之处,且听我慢慢道来。
Screaming Frog是一款强大的SEO工具,对于任何电子商务或博客站点来说,都是不可或缺的。在日常的SEO工作中,它不仅能够显著提升工作效率,还能让我们清晰地了解网站的结构及页面架构等。倘若使用得当,它几乎能够立刻为SEO排名带来显著的提升。
图片来源:Tim
一、尖叫青蛙简介
图片来源:Screaming Frog
尖叫青蛙是一款网站爬虫工具,它会依据您提供的网站主域对网站进行爬取,并获取网站内的所有网页以及关键元素,同时实时提供分析结果。
二、尖叫青蛙亮点功能
2.1 获取网站内所有的链接及导出链接
网站内的所有链接,包括html、css、JavaScript、图片等都能被获取,而导出链接功能则可以让您获取网站内容中所有导出的链接,方便您清理不想导出的链接。
2.2 列出所有链接的信息
尖叫青蛙的强大之处在于,它不仅能获取网站内的所有链接,通过这些链接,我们还能获取到该链接的所有信息,大致包括该链接包含的链接数、状态码、是否被robots屏蔽、该网页标题、标题长度、描述、关键词、发布时间等等,其分析的信息详细程度超乎想象。
2.3 快速找出网站中的死链(404链接)
前面提到可以查看每个链接的状态码,通过状态码,我们能够快速找到网站中存在的死链。相信很多朋友都曾为蜘蛛每天抓取死链却找不到死链位置而烦恼,而这款工具不仅能找出网页中所有的死链,更为厉害的是,您可以点击一个死链,在inlink标签里就能显示在哪些页面含有这个死链,实在是方便至极。
2.4 生成xml地图
这款工具可以迅速创建XML站点地图和图像XML站点地图,通过URL进行高级配置,包括上次修改时间、优先级和更改频率。
2.5 有助审查robots和其他指令
通过尖叫青蛙工具里的indexability栏,您可以清晰地看到每一个链接是否被robots屏蔽、是否被nofollow。
2.6 分析站点架构
通过使用交互式爬网和目录强制导向图以及树形图,能够帮助您对可视化的内部链接和URL结构进行评估。
图片来源:Screaming Frog
2.7 其他一些功能
除了以上功能外,尖叫青蛙还有其他一些实用功能,比如查看链接是否被重定向、网页大小、链接细节信息、搜索结果展示页效果图、列举网页内的h标签、rel =“next”和rel =“prev”(文章页上下篇链接)、检查重复的URL等等。
三、产品用户界面
使用此工具的第一步是明晰所有内容的模块区分,主要包括:菜单栏、抓取区域、标签栏、主窗口、详细窗口、侧边栏
图片来源:Screaming Frog
3.1 菜单栏
图片来源:Screaming Frog
菜单栏是Screaming Frog的一些全局配置功能,主要涵盖:文件(如快速访问近期抓取的网站等)、模式(蜘蛛、列表、SERP、比较)、配置(蜘蛛、Robots.txt、爬网速度、用户代理、排除等)、选择导出等
3.2 抓取区域
图片来源:Screaming Frog
当处于Spider蜘蛛模式下时,仅需输入主域名或URL,然后点击「Start」按钮即可;
您可以选择Pause暂停或Clear清空按钮,或者查看进度条,等待全站抓取完成。
3.3 标签栏
图片来源:Screaming Frog
图片来源:Screaming Frog
您可以选择将常用的标签菜单配置为可见状态,也可以拖拽进行标签菜单的排序。为了简洁起见,我不会涵盖菜单中的每个选项卡,但我会介绍在软件中最常使用的选项卡,了解这些内容以及如何使用它们将有助于您进行SEO分析。
内部链接(Internal):筛选显示该网站内为主域名下path 的URL,不含External出站链接(别的自定义域名的网站)
状态代码(Response Codes):这些是您的网站在请求页面时返回的代码。这将只包含可以通过内部链接找到的页面。如果您拥有大量用户配置文件或用户生成的内容,这会使网站的爬网速度变得更快,您可以排除网站的各个部分以加快抓取速度。通常,服务器将返回20X,30X,40X或50X状态 - 分别表示正常、重定向、客户端错误和服务器错误。
页面标题(Page Title):您可以在此快速访问您网站上的网页标题。如果您有超过1页的标题,它会有所显示。此选项卡还具有用于查找重复、短、长和缺失标记的过滤器选项,以及用于检查标题是否与H1标记匹配的选项。
元描述(Meta Description):您可以在此处找到元描述,并按重复、短、长和缺失描述进行过滤。
H1标签(Headling 1):在这里您可以找到所有H1标签,它包括重复、多个和缺少h1标签的过滤器。这对于分析整个站点的h1标签非常有用。
H2标签(Headling 2):这部分与上述类似,但仅适用于H2标签。需要注意的是,虽然可以有多个h2标签,但这已不再是一个重要因素。
图像(Images):您可以在此处找到爬网期间在网站上使用的所有图像的列表。它将包括其URL路径、图像的使用次数,并可按大小和alt属性进行过滤。此部分较为基础,反映了抓取工具读取图像的难度。
3.4 主窗口
图片来源:Screaming Frog
根据上方3.3选择的标签菜单,此处主窗口区域会显示其下面的URL和相关字段(联动展示);也支持对表单字段进行拓展排序
图片来源:Screaming Frog
支持筛选URL的格式(HTML、JacaScript、Images、PDF等);支持对URL进行扁平化或树状结构展示;支持导出
3.5 详细窗口
图片来源:Screaming Frog
在3.4的主窗口中,点击某一个URL后,可以在下方查看该URL的详细信息(比如TDKU、H1、H2、Indexable、页面字符数、响应时间等);
支持查看「Inlinks」,即查询哪些页面跳转至该URL、及对应的Anchor Text锚文本;
支持查看「Outlinks」,即该URL内跳转至别的页面的链接及Anchor Text锚文本等;
支持查看SERP Snippets、Strcutured Data Detailes等
3.6 侧边栏
支持查看该网站的统计数据、SEO问题分类统计等,如下图我切换至显示该网站内的3xx重定向的URL数据;
图片来源:Screaming Frog
由于篇幅限制,这里就不详细展开介绍了,欢迎文末扫码加微信交流独立站Google SEO~
四、安装版本
4.1 如何安装尖叫青蛙?
下载地址:https://www.screamingfrog.co.uk/seo-spider/
4.2 版本套餐
图片来源:Screaming Frog
目前尖叫青蛙有免费版和收费版两种:
免费版:免费版的功能与付费版较为相似,但免费版最多只能抓取500个链接,当链接抓取数量超过500时就会自动停止。
付费版:无链接抓取数量限制,付费版价格:£149.00 Per Year(149英镑/每年)
如果您想使用付费版,建议在淘宝上购买共享版本,性价比相对较高。
五、功能操作说明
5.1 如何使用尖叫青蛙?
使用Screaming Frog有多种不同的方法,但主要目标是抓取并修复您的网站。首先,您需要在线下载并安装该软件。
完成安装后,您就可以开始抓取您的网站了。对于中型网站,这通常需要几分钟的时间。大型网站的抓取可能需要更长时间,并且您可能会遇到内存不足的问题。
完成抓取后,您可以轻松查看整个网站的错误。只需浏览菜单和选项卡,即可使用各种可用工具。
5.2 尖叫的青蛙如何抓取网站?
图片来源:Screaming Frog
使用Screaming Frog抓取网站非常简单。首先,您只需在蜘蛛功能中输入起始URL即可。此选项位于屏幕顶部。
从这里开始,网站将自动逐个URL进行抓取。但需要注意的是,Screaming Frog是基于内部链接进行抓取的。因此,任何缺少链接的页面都不会出现在抓取结果中。
如果您在抓取网站上的任何网址时遇到问题,可能是该网址被机器人屏蔽了。这通常可以在您的robots.txt设置中进行检查。
5.3 尖叫的青蛙如何抓取网址列表?
在某些情况下,您需要抓取网址列表。比如您正在清理索引,希望检查这些链接是否存在404链接,此时就可以使用Scraper工具。
当您创建列表后,将其复制到剪贴板。从Screaming Frog菜单中选择“Mode”,您可以将模式更改为列表模式而不是蜘蛛模式。这样,您就可以将这些URL直接粘贴到Screaming Frog中。您还可以从文件、站点地图或手动添加列表中抓取列表:
图片来源:Screaming Frog
5.4 如何更改尖叫的青蛙抓取设置?
如果您在抓取网站时遇到问题,更改抓取设置可能会有所帮助。以下是一些更改抓取设置的方法:
5.4.1 让尖叫青蛙爬得更快:
如果您想让Screaming Frog爬得更快,可以在Configuration> Speed中进行设置。只需增加最大线程数,并删除任何URL限制。
但是,如果您抓取网站的速度过快,可能会被阻止。您可以通过将IP地址列入白名单来更改服务器设置中的此设置。
图片来源:Screaming Frog
5.4.2 让尖叫的青蛙爬行更慢:
如果您的网站托管在Shopify或SHOPLINE上,或者您无法将您的IP地址列入白名单,那么您可能需要慢慢抓取网站。您可以在Configuration> Speed中更改此设置。您可以为每秒的URI请求数添加限制。
您还可以通过减少线程数来降低爬网速度。默认情况下,线程数为5。您可以将其减少到1或2,这将显著降低您抓取的速度。
图片来源:Screaming Frog
5.4.3 忽略Robots.txt:
互联网上有些网站会阻止所有机器人,这通常是robots.txt设置错误导致的。如果遇到这种情况,您需要尽快修复。
但是,如果这是一个开发网站,并且您不希望它被编入索引,您可以选择忽略robots.txt。
为此,您可以在Configurations> Robots.txt> Settings中进行更改。您可以选择忽略robots.txt,即使robots.txt禁止您这样做,您也可以抓取网站。
图片来源:Screaming Frog
5.4.4 更改用户代理:
我很少需要更改我的用户代理来进行爬网。默认情况下是Screaming Frog,但您可能希望以与Googlebot相同的方式查看网站。因此,更改用户代理有时会有所帮助。
要更改此设置,您需要在Configuration> User-agent中打开设置。在这里,您可以找到一个下拉菜单,以选择不同的预设。
但是,在使用用户代理时应该小心。如果您经常进行服务器日志分析,那么数据可能会受到影响。
图片来源:Screaming Frog
5.5 如何保存已爬取数据?
点击左上角文件「Save as」按钮,将数据保存至本地;下次可以直接将seospider文件拖拽至尖叫青蛙内,即可快速访问。
图片来源:Screaming Frog
图片来源:Screaming Frog
5.6 如何创建站点地图?
据最新消息,Google强烈建议网站使用XML Sitemap网站地图。它可以帮助Google抓取您的网站并查找所有新内容。
创建站点地图的第一步是抓取您的网站。然后,您需要生成一个新文件。为此,请从菜单中选择“创建XML站点地图”。
图片来源:Screaming Frog
这将创建一个要求配置的弹出窗口。默认情况下,这一设置通常效果良好,但您可能希望根据需要进行更改。
例如,您可能希望更改更新的频率:
图片来源:Screaming Frog
或者,您可能希望包含规范化的URL:
如果您为网站的每个页面添加了规范,这将非常有用。否则,您可能会收到站点地图为空的通知。
5.7 如何找到死链接?
要查找损坏的死链接,首先需要选择“响应代码”标签。然后选择显示客户端错误(4XX)的过滤器,并选择“internal”选项卡,主窗口区域显示的链接就是站内404破损链接。
图片来源:Screaming Frog
5.8 如何检查重定向?
使用与上述相同的方法,选择显示重定向(3XX)的过滤器。这将为您提供所有内部重定向。
虽然重定向本身并无害处,但您应该尽量在内部减少这些重定向。这是因为重定向需要服务器处理请求,这会增加页面加载时间。由于您可以控制内部链接,因此应该尽量替换它。
图片来源:Screaming Frog
5.9 检查内部链接
使用Screaming Frog检查内部链接是一种快速简便的方法。因为它通过内部链接抓取整个网站,所以收集了大量有关网站导航、锚文本和alt属性的数据。
要检查指向页面的内部链接,只需搜索您要查看的URL地址即可。这可以在主窗口的右侧找到。
找到URL后,选择屏幕底部的“链接”选项卡。然后,这将使用数据填充详细窗口,您就可以开始浏览链接了。
有6个主要字段:Type、From、To、Anchor Text(锚文本)、Alt Text、Follow。其中,最重要的列将是From、To和Anchor Text。
图片来源:Screaming Frog
5.10 标题和元标记
标题和元标记是揭示网页与Google相关性的重要信号。因此,您需要使用Screaming Frog快速分析您的内容。
要开始使用,只需选择页面标题选项卡即可。然后,这将向您显示所有HTML页面和相应的标题。您可以过滤此数据以显示具有缺失、重复、短、长和多个标题的页面。这将帮助您快速找到并解决问题。
5.10.1 页面标题优化: