P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。现在公开一个DHT网络爬虫网络爬虫供大家一起交流
P2P按其拓扑关系大致可以分为两类四种形式：
1.非结构化拓扑。包括中心化拓扑、分布式拓扑、半分布式拓扑，其分别对应着Napster、BitTorrent、Kazaa这三种知名的应用。
2.结构化拓扑。主要形式为分布式结构化拓扑，也就是所谓的DHT网络。
DHT——Distributed Hash Table 分布式哈希表：
1.哈希表被分割成不连续的块，每个节点被分配给一个属于自己的哈希块，并成为这个哈希块的管理者。
2.通过加密哈希函数，一个对象的名字或关键词被映射为128位或160位的散列值。
DHT网络的基本思想如下：
1.每一份资源都由一组关键字进行标识。
2.系统对其中的每一个关键字进行Hash，根据Hash的结果决定此关键字对应的那条信息（即资源索引中的一项）由哪个用户负责储存。
3.用户搜索的时候，用同样的算法计算每个关键字的Hash，从而获得该关键字对应的信息存储位置，并迅速定位资源。
DHT关键字定位：
1.DHT通过分布式散列函数，将输入的关键字唯一映射到某个节点上，然后通过某些路由算法同该节点建立连接。
2.每个节点并不需要保存整个系统的节点视图信息，只在节点中存储其邻近的几个后继节点信息，当一个节点收到一个查询操作时，如果它发现所查询的标识不在自己关联的区间内，那么该节点将会把该查询发送给其存储节点信息表中它认为最靠近目标的邻居。
3.每次转发都能更进一步地接近数据源。因此较少的路由信息就可以有效地实现到达目标节点。
DHT的具体算法实现过程：
（1）对每个节点的一定特征（如IP地址）进行Hash，使得到的每个节点的节点值唯一。将节点按照节点值的从小到大构成一个环（Chord环）。（此处节点值可以看作是新环中的IP地址）
（2）通过节点值，获取每个节点与下一个临近节点之间的距离，从而获得每个节点所需负责的值区间。（此过程类似于建立路由表）
（3）对每个节点上的资源提取关键字，并对关键字进行Hash，得到的Hash值按照（2）中的每个节点负责的区间进行分配，从而使每一项资源的存储信息都被存储在一个节点上。（此步骤获得了资源的索引列表）
（4）当搜索一项资源时，对其关键字进行Hash，得到的值与当前节点的值区间表相比较，从而获得资源的索引信息最有可能存在的节点。查询该节点，获取资源的索引，根据索引，即可找到资源所在的节点，并建立通信。
0
0
现在公开一个DHT网络爬虫网络爬虫供大家一起交流_MySQL
php中文网
发布时间：2016-06-01 13:07:22
|1262人浏览过
|来源于php中文网
原创
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
本专题汇总了抖音网页版的入口链接、官方登录页面以及视频观看入口，帮助用户快速访问抖音网页版，提供免登录访问方式和直接进入视频播放页面的方法，确保顺利浏览和观看抖音视频。
91
2026.02.04
本专题详细汇总了学习通网页版入口与登录方法，提供学习通官方网页端入口、学生登录平台、网页版使用指南等内容，帮助用户快速稳定地登录学习通官网，顺利进入学习平台，提升学习效率和体验。
16
2026.02.04
本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧，包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例，帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。
13
2026.02.04
本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用，系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控，结合实际业务场景，帮助开发者构建 高吞吐量、低延迟的实时数据流管道，实现高效的数据流转与处理。
6
2026.02.04
本专题深入讲解 Golang 应用的容器化与 Docker 部署，涵盖 Docker 基础概念、容器构建与镜像管理、Go 应用的 Dockerfile 编写、跨平台容器部署与优化、Docker Compose 和 Kubernetes 部署工具。通过实际案例，帮助学习者掌握 如何将 Golang 应用容器化并实现高效部署与管理，提升系统的可扩展性与运维效率。
7
2026.02.04
热门下载
相关下载
精品课程
