你爬取过多大的数据？10万，100万或是更多？那么爬完又如何分析数据呢？分析完的数据又如何处理呢？

[彩虹] 如果以上问题你都有明确清晰的答案，那么恭喜你，不需要看这篇文章了

而对此抱有疑惑的读者，相信这篇文章对你会有收获

【目录】
✨前言与基础使用
#【原创】爬虫的“正确”使用方式#
✨持久化入门
#【原创】【爬虫系列】持久化（MongoDB先导入门）#
✨大数据爬取
本文
✨数据分析
待续...

本文简单爬取某某同城的随机分类的1万数据，仅做学习交流使用

[灯泡] 代码爬取的数据理论上是无上限的，只不过教程不需要太多数据，1万条妥妥够用了，更多的数据只是时间问题，对于一个教程来说是不必要的

在实战爬取时，要考虑诸多内容：

请求头，数据是否动态渲染，爬取选择器是否干净，页面结构是否经常变化等

首先不管什么爬虫，基本都要有这几步：

✨装配url
✨发送请求
✨获取数据
✨分析数据
✨持久化数据

不过出于程序稳定性考虑，部分项目会把收集数据和分析数据作为两个独立进程

[灯泡] 本文默认读者已有基础mongodb的知识，如果完全没概念可以参考：
#【原创】【爬虫系列】持久化（MongoDB先导入门）#

那么让我们来分析下爬取链接的代码
详见【图一】【图二】【图三】

我们把每个商品分页的路径保存到数据库然后读取到channel_list中，然后读取出来，通过map遍历访问，再将获取的数据保存到数据库【图五】，最终效果如【图四】

[彩虹] 下一章我们将对爬取的数据进行分析（前文也说过，为了程序稳定性，我们把分析和收集分离）

那么本文就到此结束啦 [玫瑰]

pluie
2023-02-23