WordPress自动采集插件:WP-CTspider(长腿蜘蛛)

作者 : 去看你博客 本文共2023个字,预计阅读时间需要6分钟 发布时间: 2019-08-19 共6.83K人阅读

去看你博客今天给大家推荐一款免费的WordPress自动采集插件:WP-CTspider,这款插件全自动采集几乎可采集任何网站,设置轻而易举,只需要设置定向采集网址,通过CSS选择器精准识别采集区域,包括(内容,摘要,TAG,缩略图,自定义字段等…)然后自动检测抓取网页内容,文章去重,更新发布,这个过程全自动完成,无需人工干预。WordPress自动采集插件:WP-CTspider(长腿蜘蛛)

WP-CTspider支持WordPress全功能,完美支持WordPress各种功能、标签,摘要,特色图片,自定义栏目等。定时自动采集,只需要设置好每个任务,要多久执行一次任务,便可以定时执行采集任务。支持各种语言伪原创,支持百度翻译引擎(完全免费),共支持29种语言相互翻译,轻松获取原创文章,SEO,支持SEO全功能优化,支持内容过滤,甚至可以在文章任意位置添加上自定义内容,也可以自定义文章样式。附件下载,支持多种格式附件下载,包括自定义采集缩略图,并且可以选择图片添加水印。

下面介绍一下WP-CTspider超详细使用教程!

使用教程

新建项目 / 基本配置

接下来我们详细说下如何采集一个项目

我们使用新浪科技为示例:

首先基本配置:

  1. 任务名称:新浪科技(PS:自定义即可)
  2. 更新时间:默认60分钟(PS:当前任务60分钟自动执行一次)
  3. 字符集:默认选项就可以(PS:如果出现乱码情况,请针对当前web网页字符集选择即可)
  4. 随机IP:开启(PS:开启随机IP会在每次采集的时候自动更换IP,减少服务器IP被封的几率)
  5. 多线程采集:开启 (PS:开启后可提高采集速度)
  6. 多线程数量:默认10(PS:根据自己服务器配置酌情使用)

WP-CTspider(长腿蜘蛛)基本设置

列表设置

  • 列表URL: http://roll.tech.sina.com.cn/internet_all/index.shtml (PS:如需多个,可换行添加)
  • 列表区域选择器:.contList>ul>li (PS:【完全和CSS选择器用法一样】【可填,可不填】如果采集当前页面有多个相同列表DOM节点就要填写,确保采集精准度)用谷歌浏览器右键审查元素,可以看出当前列表数据都在.contList>ul>li下面

WP-CTspider(长腿蜘蛛)示例

  • 列表缩略图:如果有图可以直接填写当前缩略图CSS选择器
  • 文章网址匹配:a (PS:由于上面区域选择器已经定位,我们可以直接填入a标签即可,如果区域选择器没有定位则设置:.contList li a 或者.contList a 具体根据你采集页面dom结构自己分析)
  • 添加来源网址到自定义字段:source_url(PS:【自定义】可开启或不开启,设置后会在每天文章添加一个自定义字段source_url并且会把当前采集到网址链接赋值给该字段用于前台调用显示)如: get_post_meta('source_url') 可调用该字段的值。

点击列表测试可以查看当前项目列表配置情况

WP-CTspider(长腿蜘蛛)列表测试

文章设置

标题匹配规则:h1

文章内容设置:#article_content

WP-CTspider(长腿蜘蛛)文章

可以看到标题在h1标签下,也可使用.main-title来获取标题

正文内容看上去有好多 class和id 如果有id属性尽量采用id,毕竟id是唯一性,定位精准。

我们还可以增加规则来采集TAG标签

长腿蜘蛛-CTspider 提供了6总规则添加采集,并且可以自定义字段规则(PS:自定义字段规则可以添加多个)

WP-CTspider(长腿蜘蛛)文章规则

点击采集测试

采集结果完美呈现(原文:标题:TAG)正确显示

但是我们发现结果中出现了a链接和一些多于的css属性id属性还有span标签

WP-CTspider(长腿蜘蛛)采集测试

我们可以利用长腿蜘蛛-CTspider强大的内容过滤模块进行数据清洗工作

内容过滤

  1. 首先删除数据中所有a链接但不删除a标签内容
  2. 删除数据中span标签并且也不删除内容
  3. 删除数据中无用的class属性和id属性

具体设置如下图:

WP-CTspider(长腿蜘蛛)采集测试

最后在进行采集测试(得到纯净的数据)

WP-CTspider(长腿蜘蛛)采集测试2

点击采集后显示没有任何数据只有两种可能

  1. 采集规则没有设置好。
  2. 如果确定采集规则没问题,请查看当前采集的网址是否是Ajax动态渲染加载(PS:目前长腿蜘蛛-CTspider 不支持动态渲染加载采集

如何授权

WP-CTspider(长腿蜘蛛)授权

登录长腿蜘蛛-CTspider官网注册账号(PS:注册账号需要邮箱验证激活码,请认真填写邮箱账号)。

  1. 点击用户中心->添加授权域名(PS:目前每位用户可以授权3个域名)。
  2. 得到授权码后,点击CTspider插件->系统配置->授权码配置->填入授权码->保存配置->验证授权

下载信息

[btn type=”info” url=”https://www.ctspider.com/?action=ctdownload&id=9″][/btn]

[btn type=”success” url=”https://www.ctspider.com”][/btn]

总结

这款WP-CTspider自动采集插件使用教程还是非常详细的,可以说是傻瓜式教学,并且最重要的是它使用起来完全是免费的,有需要的不妨试试,但是现在搜索引擎对采集站打击力度也很大,做网站最好要有自己的原创内容。

1. 本站付费资源来源于网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
去看你博客 » WordPress自动采集插件:WP-CTspider(长腿蜘蛛)

常见问题FAQ

免费下载或者VIP会员专享资源能否直接商用?
本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
评论后隐藏内容依旧不可见怎么办?
首次在本站评论需要经过审核通过后才可显示,为了您的评论能尽快通过审核请勿恶意评论,评论通过后会在第一时间通过邮件的方式发送到您在本站的注册邮箱内!
下载后无法正常运行如何提供售后支持?
每一个程序都经过严格的测试后发布上线,99%的问题都是安装方法错误或环境缺少扩展导致。普通用户不提供技术售后(可进行留言,我们收到之后尽可能去解答,但不保证马上解决),会员用户可随时随地享受优质的售后技术支持与问题解答。更多说明请参考 VIP介绍。

11 评论

  1. 这个能不能采集图片到本地?

    1. 需要自己转换到本地。

      1. 好的,谢谢。能问下你的评论自动邮件回复是插件吗?

        1. 对的,WP Mail SMTP。

        2. 站内搜索邮件提醒,里面有插件和教程!

    1. 附件应该就是一个超链接地址,应该要自己转换为自己的网址。

  2. 我前几天还在找这种插件,我现在用的是火车头V9

    1. 火车头V9是软件吧,这款是插件可以直接在wordpress站点上运行的。

      1. 是的,之前没找到合适的插件就用软件

        1. 我感觉这款插件功能还是比较强大的,采集只需要设置好标签,伪原创功能也有,最重要的还是免费 😛

发表评论