Go语言爬虫框架Colly的Queue线程数与请求延迟
在使用Go语言的爬虫框架Colly时，高效的并发请求处理至关重要。本文将深入探讨Colly中queue的线程数设置和请求延迟如何影响并发处理，并解答一个常见问题。
问题：线程数与请求延迟的交互
假设我们设置了queue的线程数为2：
q, _ := queue.New(2, storage)
并添加了3个请求。同时，使用colly.Limit()设置了每个请求的延迟为5秒。预期是两个请求几乎同时发出，并在5秒后响应，第三个请求再延迟5秒执行。然而，实际结果是：
- 两个请求被创建。
- 5秒后，第一个请求响应，并创建第三个请求。
- 5秒后，第二个请求响应。
- 5秒后，第三个请求响应。
这并非并行处理。为什么queue的线程数似乎失效了？colly.Limit()是否影响了queue的并发性？onrequest回调函数仅仅是创建请求，而非实际发出请求吗？
立即学习“go语言免费学习笔记（深入）”；
分析：线程数与请求延迟的独立性
Colly的queue管理请求的并发数量，而colly.Limit()设置的是每个请求的延迟。两者是独立的机制。
queue的线程数限制了同时处理的请求数量。colly.Limit()则在每个请求发出 之前 施加延迟。
在上述案例中：
-
queue创建了两个请求，但colly.Limit()使它们都等待5秒。 - 第一个请求延迟结束后发出，响应后，
queue释放一个线程，创建第三个请求。 - 第二个请求也等待5秒后发出并响应。
- 第三个请求同样等待5秒后发出并响应。
因此，请求延迟掩盖了queue的并发性。
onrequest回调与请求发出时间
onrequest回调函数在请求加入queue时触发，而非请求实际发出时。它用于在请求发出前进行一些预处理操作。
结论：协调线程数和请求延迟
colly.Limit()的延迟会影响queue线程数的并发效果。要实现真正的并发，需要仔细协调线程数和请求延迟设置。如果需要高并发，应尽量减少或去除colly.Limit()设置的延迟，或者考虑使用更精细的并发控制机制。 如果需要控制爬取速度，建议使用更细粒度的控制方法，而不是依赖colly.Limit()。
