你当前的位置:首页   >   ip代理小知识   >   网络爬虫

网络爬虫

来源: 泥马IP  作者: 邵帅东  2019年9月9日 09:48

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 抓取目标分类: 抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。 现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。 基于目标网页特征 基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为: (1) 预先给定的初始抓取种子样本; (2) 预先给定的网页分类目录和与分类目录对应的种子样本,如Yahoo!分类结构等; (3) 通过用户行为确定的抓取目标样例,分为: (a) 用户浏览过程中显示标注的抓取样本; (b) 通过用户日志挖掘得到访问模式及相关样本。 其中,网页特征可以是网页的内容特征,也可以是网页的链接结构特征,等等。 基于目标数据模式 基于目标数据模式的爬虫针对的是网页上的数据,所抓取的数据一般要符合一定的模式,或者可以转化或映射为目标数据模式。 基于领域概念 另一种描述方式是建立目标领域的本体或词典,用于从语义角度分析不同特征在某一主题中的重要程度。

阅读 305   

相关推荐

高匿IP

匿名代理。使用此种代理时,虽然被访问的网站不能知道你的IP地址,但仍然可以知道你在使用代理,有些侦测ip的网页也仍然可以查到你的ip。 高度匿名代理:使用此种代理时,被访问的网站不知道你的 . . .

2019年9月9日
静态IP地址

静态IP地址(又称固定IP地址)是长期分配给一台计算机或网络设备使用的 IP 地址。一般来说,一般是特殊的服务器或者采用专线上网的计算机才拥有固定的 IP 置协议 静态IP是可以直接上网的 . . .

2019年9月9日
静态IP

静态IP地址(又称固定IP地址)是长期分配给一台计算机或网络设备使用的 IP 地址。一般来说,一般是特殊的服务器或者采用专线上网的计算机才拥有固定的 IP 置协议 静态IP是可以直接上网的 . . .

2019年9月9日
通信服务器

通信服务器(CommunicationServer),是一个专用系统,为网络上需要通过远程通信链路传送文件或访问远地系统或网络上信息的用户提供通信服务。通信服务器根据软件和硬件能力为一个或同时为多个用 . . .

2019年9月9日
虚拟IP

虚拟IP地址(VIP)是一个不与特定计算机或一个计算机中的网络接口卡(NIC)相连的IP地址。数据包被发送到这个VIP地址,但是所有的数据还是经过真实的网络接口。VIPs大部分用于连接冗余;一个VIP . . .

2019年9月9日
网关代理

网关代理(GatewayProxy)是代理服务器的一种,他只针对网关提供代理服务,它是对URL从一个万维网浏览器例如Mosaic到一个外部服务器和返回结果传递一个请求的系统。 这提供被因 . . .

2019年9月9日
真实IP

IP,全称互联网协议地址,是指IP地址,意思是分配给用户上网使用的网际协议(英语:InternetProtocol,IP)的设备的数字标签。常见的IP地址分为IPv4与IPv6两大类,但是也有其他不常 . . .

2019年9月9日
独享IP

独立的IP就是您的虚拟主机自己有一个单独的IP地址,这样,您的用户除了记住您的域名外,在浏览器的地址栏敲入您的IP地址也能访问到您的网站。如果没有独立IP的话,别人要访问您的网站只能敲入域名才行。除此 . . .

2019年9月9日
宽带接入服务器

宽带接入服务器(Broadband Remote Access Server,简称BRAS)是面向宽带网络应用的新型接入网关,它位于骨干网的边缘层,可以完成用户带宽的IP/ATM网的数据接入(目前接入 . . .

2019年9月9日
在线代理ip

在线代理英文全称是(Web ProxyServer),又称在线代理。代理服务器其功能就是代理网络用户去取得网络信息。形象的说:它是网络信息的中转站。在一般情况下,我们使用网络浏览器直接去连接其他Int . . .

2019年9月9日

友情链接

联系我们  新闻中心 每日代理ip分享

泥马IP代理 - http代理服务器免费代理IP地址大量供应

© 2016 - 2020. 泥马代理IP, All rights reserved.

在线客服