用户在使用懒人采集器执行网页采集任务的时候，常常会遇到重复采集字段内容的情况，有大量重复数据被添加到本地采集库中，为后续的信息处理带来麻烦。那么应该如何避免重复采集数据呢？

懒人采集器采集数据重复怎么办？

首先我们要分析采集数据出现重复的原因：一是在重复对相同网页进行字段采集之前没有清空之前的数据；二是网页本身存在重复数据，然后介绍解决方法。

1、进入编辑任务采集配置界面，如果想避免某个字段重复采集，那么点击该字段表头右侧倒三角图标。

2、然后会弹出字段采集设置界面，勾选【过滤重复】，然后点击【确定】即可。

3、如果想避免多个字段重复采集，点击逐个字段表头倒三角图标逐一设置即可，操作方法一样。

以上就是今天说说使用懒人采集器如何避免重复采集的介绍，想要了解更多相关内容，大家可以登陆官网查看详细教程。

前面我们使用懒人采集器学习的教程主要是针对单级网页进行采集，而实际网络中大多数网页是多级网页（比如包含内容页），而采集多级网页时，使用懒人采集器的操作会有所不同，下面我们来具体介绍懒人采集器如何采集多级网页。

懒人采集器如何采集多级网页？

1、多级网页采集步骤和单级网页类似：【新建任务】—输入网址—采集配置。

2、如何判断该网页是否为多级网页？在多级网页自动生成的字段中必然包含一个或多个提取链接的字段（即提取属性为Href的字段）。

3、点击该链接字段表头，选中该列后在中间菜单栏右侧会出现【深入链接页采集】选项。

4、点击【深入链接页采集】，系统自动创建一个新的配置选项卡，并自动打开选中字段的网址。

5、这时采集模式也会默认【单条模式】，如果不是，就点击调整。

注意：

1）列表模式用于提取某个网页列表中的数据，预览中可看到多条数据

2）单条模式适用于采集内容详情页里的各项信息，如文章标题、时间、正文等。

6、点击【增加字段】，首先手动提取网页中信息发布时间，由于标题在之前列表采集里已经提取过了，这里无需重复。

7、再次点击【增加字段】，手动提取网页中信息正文。

8、这里要注意字段的取值属性调整为InnerHtml，这样才能保持原文格式。

今天说说懒人采集器如何采集多级网页的操作就介绍到这里，感兴趣的小伙伴可以按照以上教程多操作几次，相信能够很快掌握！

用户在使用懒人采集器对网页进行信息采集时，常常需要添加手动字段，那么该如何做呢？下面我们就来简单演示，请看文章说明。

懒人采集器如何手动生成字段？

1、打开懒人采集器，点击右上角【新建任务】。

2、弹出新建任务窗口，在【输入网址】右侧空白处粘贴要采集的网页网址。

3、然后点击左侧【采集配置】，系统会自动生成字段列表。

4、点击界面中间菜单栏中的【增加字段】。

5、接着点击【查找列表】，在其下拉菜单中选择【手动选择列表】。

6、然后选择要提取的字段内容，这里选取的字段内容一般是标题，点击列表中任意一行标题即可。当然也可以选择其他元素充当提取字段，操作一样。

7、如果用户点击的是网页链接，系统会弹出“提示”窗口，询问是否抓取该链接地址。点击【是】，就会同时提取链接标题和链接地址并在下方分别生成两个字段，点击【否】就会只提取标题文本形成一个字段，这里我们点击【是】。

8、之后系统会在界面下方字段列表中对应标题和链接分别生成两个字段，当用户选择这两个字段标题时，上方网页列表中会以黄色底纹高亮显示对应匹配的内容。用户可以添加多个字段，操作类似。

以上就是今天说说使用懒人采集器如何手动生成字段的方法介绍，你学会了吗？