前面的一至八篇我们一直在研究如何从网站上快速、方便的获取数据，并将获取到的数据存储在数据库中。但是将数据存储在数据中并不是我们的目的，获取和存储数据的目的是为了更好的利用这些数据，利用这些数据的前提首先需要从数据库按一定的格式来读取数据，这一篇主要介绍如何实现通过 RESTful API 来获取数据库中的数据。
在前一篇中讲了如何开启多线程来加快爬虫的爬取速度，本节主要对爬虫爬取内容机型优化，将生产商信息单独独立出来作为一张数据库表，不再仅仅是存储一个生产商的名称，同时保存了生产商的网址和介绍。
经过上一篇文章外行学 Python 爬虫 第六篇 动态翻页我们实现了网页的动态的分页，此时我们可以爬取立创商城所有的原件信息了，经过几十个小时的不懈努力，一共获取了 16万+ 条数据，但是软件的效率实在是有点低了，看了下获取 10 万条数据的时间超过了 56 个小时，平均每分钟才获取 30 条数据。
前面几篇文章，初步完成了从网络请求、数据解析、数据存储的整个过程，完成了一个爬虫所需的全部功能。但是通过对数据库中数据的分析会发现数据库中的元件数量比网站上的元件数量少了很多。前面的实现过程通过解析网页中的连接来获取元件详细信息页面，解析出相关的数据。在实际页面中发现有很多的分页现象，通过前面的方式仅能获取第一页的内容，无法获取第二页的内容，这就造成无法爬取所有的页面，最终是获取到的数据比网站上的实际数据小的多。
前面一至四篇我们学习了如何使用 python 来获取网页并将网页中的有效数据解析出来，当获取到有效数据以后，不可能将数据放在内存中，一旦系统出现问题辛辛苦苦获取的数据都付诸东流了，此时需要考虑数据持久化的事情，数据持久化我们有两种选择一是将数据保存在文件中「比如 txt 文件或 execl 文件」，另一种是将数据保存在数据库中。
当你可以从网站上获取网页，也可以将网页中有效的信息提取出来以后，接下来你会做什么？我想它一定是一个肯定的答案『获取整个网站的内容』，毕竟只获取网站上一个网页的内容听起来和看起来都不是那么的高大上，只有将整个网站的内容提取出来它才能称得上爬虫这个有科技感和高大上的名字。
