目前，无论是工作调研还是单纯的学习，在网上寻找自己想要的信息是最常见的行为之一。同时也是有效提取你要找的信息不可或缺的环节。

除了一般的复制粘贴，还有更多的手段去了解和掌握。

 
 从网络上免费提取数据是可能的，但是会有一些缺陷。比如网络不够稳定，ip容易被屏蔽。事实上，数据收集中的很大一笔开支是使用代理服务器，

代理服务器用于web爬行工具，以防止网站检测到web爬行机器人，因为大多数网站不允许自动执行这些操作，所以您需要采取措施来克服这些规则。
以下是两种不同的网页抓取方式:

 
 
 第一，如果网站存储了他们所有关于HTML前端的信息，你可以直接下载HTML内容并附带代码，提取有用的信息。步骤如下:
 1.检查HTML您要爬网的网站的；
 2.用代码访问网站的URL，下载页面上所有的HTML内容；
 3.将下载的内容格式化成可读格式；
 4.提取有用的信息，以结构化的格式保存；
 5.对于网站多个页面上显示的信息，您可能需要重复步骤2-4以获得完整的信息。
 
 这种方法简单直接。但是，如果网站的前端结构发生变化，就需要相应地调整代码。
 
 第二，如果网站将数据存储在API中，网站会在用户每次访问网站时查询API，可以模拟请求，直接从API中查询数据。步骤如下:
 1.检查要爬网的URL的XHR网络部分；
 2.找出为您提供所需数据的请求-响应；
 3.在您的代码中模拟请求，并根据请求的类型(发布或获取)、请求头和有效负载从API中检索数据。通常情况下，从API获取的数据格式非常简洁；
 4.提取你需要的有用信息；
 5.对于查询大小有限的API，您将需要使用“for循环”来重复检索所有数据。
 
 如果能找到API请求，这绝对是首选。你收到的数据会更加结构化，更加稳定。这是因为与前端网站相比，公司不太可能更改后端API。

但是，它比第一种方法稍微复杂一些，尤其是在需要认证的时候。