乐于分享
好东西不私藏

巨好用的ai爬虫!帮助你完成导师任务

本文最后更新于2025-07-28,某些文章具有时效性,若有错误或已失效,请在下方留言或联系老夜

巨好用的ai爬虫!帮助你完成导师任务

巨好用的ai爬虫!帮助你完成导师任务

巨好用的ai爬虫!帮助你完成导师任务

最近在刷各种软件时经常碰到一些大学生研究生,在执行导师布置的任务时,会有在某网站搜集数据的情况。所以说以这个点子开发了此软件
软件使用也很简单,我简单介绍下。首先在从上自下开始填写
1.填写目标网站也就是你想爬取的网页。
2.填写你的抓取要求,使用自然语言就可以,可以指定你想提取的数据。
3.大部分朋友可能有疑问的是Xpath这个地方,主要用在自动翻页,由于每个网站的页面格式不同需要获取下翻页按钮的位置。大部分可以直接使用F12,选中翻页按钮的元素->右键复制Xpath
4.填写Cookie,这个是可选项,在一些需要登录才能看到信息的网站中,使用F12查找到你的Cookie填写进去,就可以用你的账号来登录并且获取信息。
5.Api密钥,目前只支持Deepseek官方api的api密钥,填写即可
6.最大页数就是你想爬取多少页数据,可以随便填数字,没有数据可供爬取会自动停止。输出文件和数据键名都可以默认
显示浏览器选项可以使程序显示浏览器供你查看网页的状态
HTML清理则会清理多余的js和css等数据减少Token使用量
多线程用于提高数据爬取速度

获取Xpath还有一个方法就是浏览器的拓展
谷歌应用商店搜索:Xpath测试区、XpathHelper
#ai #爬虫 #python #python爬虫 #ai爬虫

本站文章均为手工撰写未经允许谢绝转载:夜雨聆风 » 巨好用的ai爬虫!帮助你完成导师任务
×
订阅图标按钮