Screaming Frog SEO Spider for Mac是一款专门用于抓取网址停止阐发的收集爬虫开发东西，你能够通过那款软件来快速抓取网站中可能呈现的损坏链接和办事器错误，或是识别网站中临时、永久重定向的链接循坏，同时还能查抄出网址、网页题目、申明以及内容等信息中心可能呈现的反复问题。喜好那款软件吗？
软件介绍Screaming Frog SEO Spider for Mac是一个网站爬虫，允许你抓取网站的网址，并获取关键要素，阐发和审计手艺和现场搜刮引擎优化。
功用特色1、找到断开的链接
立即抓取网站并找到损坏的链接（404s）和办事器错误。批量导出错误和源URL以停止修复，或发送给开发人员。
2、审核重定向
查找临时和永久重定向，识别重定向链和轮回，或上传URL列表以在站点迁徙中停止审核。
3、阐发页面题目和元数据
在抓取过程平分析页面题目和元描述，并识别网站中过长，欠缺，缺失或反复的内容。
4、发现反复内容
利用md5算法查抄发现完全反复的URL，部门反复的元素（如页面题目，描述或题目）以及查找低内容页面。
5、利用XPath提取数据
利用CSS Path，XPath或regex从网页的HTML中搜集任何数据。那可能包罗社交元标识表记标帜，其他题目，价格，SKU或更多！
6、审查机器人和指令
查看被robots.txt，元机器人或X-Robots-Tag指令阻遏的网址，例如noindex或nofollow，以及标准和rel =next和rel =prev。
7、生成XML站点地图
快速创建XML站点地图和图像XML站点地图，通过URL停止高级设置装备摆设，包罗前次修改，优先级和更改频次。
8、与Google Analytics集成
毗连到Google AnalyticsAPI并针对抓取功用获取用户数据，例如会话或跳出率和转化次数，目的，交易和针对目的网页的收入。
9、抓取JavaScript网站
利用集成的Chromium WRS衬着网页，以抓取动态的，富含JavaScript的网站和框架，例如Angular，React和Vue.js.
10、可视化站点架构
利用交互式爬网和目次强迫导向图和树形图站点可视化评估内部链接和URL构造。
快速摘要
错误 - 客户端错误，例如链接断开和办事器错误（无响应，4XX，5XX）。
重定向 - 永久，临时重定向（3XX响应）和JS重定向。
阻遏的网址 - robots.txt协议不允许查看和审核网址。
阻遏的资本 - 在呈现形式下查看和审核被阻遏的资本。
外部链接 - 所有外部链接及其形态代码。
协议 - URL是平安的（HTTPS）仍是不平安的（HTTP）。
URI问题 - 非ASCII字符，下划线，大写字符，参数或长URL。
反复页面 - 哈希值/ MD5checksums算法查抄完全反复的页面。
页面题目 - 缺失，反复，超越65个字符，短，像素宽度截断，与h1不异或多个。
元描述 - 缺失，反复，超越156个字符，短，像素宽度截断或多个。
元关键字 - 次要供参考，因为它们不被谷歌，必应或雅虎利用。
文件大小 - 网址和图片的大小。
响应时间。
最初修改的题目。
页面（抓取）深度。
字数。
H1 - 缺失，反复，超越70个字符，多个。
H2 - 缺失，反复，超越70个字符，多个。
元机器人 - 索引，无索引，跟从，nofollow，noarchive，nosnippet，noodp，noydir等。
元刷新 - 包罗目的页面和时间延迟。
标准链接元素和标准HTTP标头。
X-Robots-Tag中。
分页 - rel =next和rel =prev。
存眷＆Nofollow - 在页面和链接级别（实/假）。
重定向链 - 发现重定向链和轮回。
hreflang属性 - 审核贫乏确实认链接，纷歧致和不准确的语言代码，非标准的hreflang等。
AJAX - 选择遵守Google现已弃用的AJAX抓取计划。
衬着 - 通过在JavaScript施行后抓取衬着的HTML来抓取像AngularJS和React如许的JavaScript框架。
Inlinks - 链接到URI的所有页面。
Outlinks - URI链接到的所有页面。
锚文本 - 所有链接文本。从带有链接的图像中替代文本。
图像 - 具有图像链接的所有URI和来自给定页面的所有图像。图像超越100kb，贫乏替代文字，替代文字超越100个字符。
用户代办署理切换器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，挪动用户代办署理或您本身的自定义UA。
自定义HTTP标头 - 在恳求中供给任何标头值，从Accept-Language到cookie。
自定义源代码搜刮 - 在网站的源代码中找到您想要的任何内容！无论是谷歌阐发代码，特定文本仍是代码等。
自定义提取 - 利用XPath，CSS途径选择器或正则表达式从URL的HTML中删除任何数据。
Google Analytics集成 - 毗连到Google AnalyticsAPI并在抓取过程中间接提取用户和转化数据。
Google Search Console集成 - 毗连到Google Search Analytics API并针对网址搜集展现次数，点击次数和均匀排名数据。
外部链接度量尺度 - 将Majestic，Ahrefs和Moz API中的外部链接目标拖入爬行以施行内容审核或设置装备摆设文件链接。
XML站点地图生成 - 利用SEO蜘蛛创建XML站点地图和图像站点地图。
自定义robots.txt - 利用新的自定义robots.txt下载，编纂和测试网站的robots.txt。
衬着的屏幕截图 - 获取，查看和阐发已爬网的衬着页面。
存储和查看HTML和呈现的HTML - 阐发DOM的需要前提。
AMP抓取和验证 - 利用官方集成的AMP Validator抓取AMP网址并对其停止验证。
XML站点地图阐发 - 零丁爬网XML站点地图或爬行的一部门，以查找丧失的，不成索引的和孤立的页面。
可视化 - 利用爬网和目次树强迫导向图和树图阐发网站的内部链接和URL构造。
构造化数据和验证 - 按照Schema.org标准和Google搜刮功用提取和验证构造化数据。
保举理由Screaming Frog SEO Spider for Mac能够帮忙您从差别的网页上选择需要抓取的内容，软件具有网页蜘蛛功用，您能够让蜘蛛在网页上不竭的搜刮需要的资本，能够设置搜刮的一个次要网页地址，并设置自定义阐发扩展页面的功用。
评论列表