全球主机交流论坛

标题: （已解决）50元能否求到一个爬虫小程序？ [打印本页]

作者: liumer 时间: 2021-4-7 15:06
标题: （已解决）50元能否求到一个爬虫小程序？
本帖最后由 liumer 于 2021-4-7 16:18 编辑

目标：爬取淘宝试用报告的网址，淘宝试用的网址是：https://try.taobao.com，我想要获取的网址如下格式：
https://try.taobao.com/report/view.htm?&itemId=33658159&reportId=58922205
其中33658159是试用商品ID，58922205是报告的ID

由于试用网只能显示前500页，没办法直接用采集器采集到所有的报告（其实前期我已自己用采集器采集了可以采集的报告，大约14W，主要还是嫌不够，想请高手是否能从爬虫的思路爬取到所有报告链接）

由于数据庞大，我把要求强调一下：
1、尽量能获取所有报告链接（数量可能相当庞大，有可能上百万上千万数据），所以要考虑存贮链接的文件格式及分多个文件存贮的需要，另外要考虑程序中途意外退出后能再次从退出处开始爬的情况。

2、由于我对爬虫不懂，要求程序编绎成exe可运行格式。

3、由于我不知道编写此程序工作量大小，如果价格相差较多，可以跟贴说明。

我的联系方式：qq602894675

________________________________________________________________________________________________

看到下面兄弟们的回复，看来我想简单了，应该是求不到了。
我的思路想得比较简单，就是按试用商品地址：https://try.taobao.com/item.htm?id=30240157#tab-report
上面地址的商品ID从1开始往上循环，遇到有报告的情况就纪录下报告地址，没有报告就继续循环。
我想虽然数据量大，但逻辑好像并不复杂
可能是我想简单了。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------

已搞定，大家的回复吓死我了。
一位哥们给我写了个火车头采集规则，完美解决。

作者: h20 时间: 2021-4-7 15:07
提示: 作者被禁止或删除内容自动屏蔽

作者: OXO 时间: 2021-4-7 15:08
提示: 作者被禁止或删除内容自动屏蔽

作者: sdqu 时间: 2021-4-7 15:08
你知道一个程序员的工资是多少么？
你知道这个要几天时间么？
50。。笑死我了，你找人搬砖都不够。

作者: mlc 时间: 2021-4-7 15:10
找学生给你开发都不够

作者: aipage 时间: 2021-4-7 15:20
50块，这程序猿，有点廉价。

作者: 道高人间一尺 时间: 2021-4-7 15:26
50块淘宝买爬虫教程视频，自己学完做一个现实点

作者: linap 时间: 2021-4-7 15:32
加两个零也是不提供源码的

作者: sdqu 时间: 2021-4-7 15:33
自己做吧
有兴趣50块帮你做的，都是非专业人士，只是想练下手。
专业人士，50块连电脑都不想开。

作者: 大姨舅 时间: 2021-4-7 15:34
爬虫写的好牢饭吃的早

作者: .host. 时间: 2021-4-7 15:37

要求程序编绎成exe可运行格式

相当于让人搞一定制软件，包括一定时间内的运行维护、技术辅导等等
费用：50RMB

RMB这么值钱了！

作者: xiaohu 时间: 2021-4-7 15:41
侮辱性极强。

作者: xhuan 时间: 2021-4-7 15:43
(⸝⸝•‧̫•⸝⸝)大佬带薪拉个屎就50了应该不差这点

作者: aaalzk 时间: 2021-4-7 15:51
淘宝的早就不能用简单的爬虫了

作者: 三季稻 时间: 2021-4-7 15:54

sdqu 发表于 2021-4-7 15:33
自己做吧
有兴趣50块帮你做的，都是非专业人士，只是想练下手。
专业人士，50块连电脑都不想开。

我字都不想看

作者: ficefox 时间: 2021-4-7 16:01
提示: 作者被禁止或删除内容自动屏蔽

作者: cherbim 时间: 2021-4-7 16:03
提示: 作者被禁止或删除内容自动屏蔽

作者: sdqu 时间: 2021-4-7 16:08

三季稻发表于 2021-4-7 15:54
我字都不想看

看字还是可以的，只要不动手码代码。
其实在这聊天打屁的时间，真要写，可能都写好了。但是，没兴趣写，我读书几十年写代码几十年，不想自降身价。就象割条盲肠，去除人力，手术成本真不超过50块，你给医生50块试试，不马上叫保安才怪。

作者: bannelu 时间: 2021-4-7 16:10
服气了，我去拉个屎

作者: sdqu 时间: 2021-4-7 16:10

cherbim 发表于 2021-4-7 16:03
按你的需要你再加俩0都有点虚
PS：程序员带薪拉个屎都50

算了下，我带薪拉屎还正是50块。哈哈。

作者: 干货 时间: 2021-4-7 16:12
哈，老兄，你在这里是求不到的，我帮你写个火车头采集规则即可。一包烟钱，30、50随便吧。

作者: FDD 时间: 2021-4-7 16:28
拿这么多数据做什么用啊

欢迎光临全球主机交流论坛 (https://loc.isir333.eu.org/)