scrapy是一个基于python的爬虫框架，可以快速而方便地获取互联网上的相关信息。在本篇文章中，我们将通过一个scrapy案例来详细解析如何抓取linkedin上的公司信息。
- 确定目标URL
首先，我们需要明确我们的目标是LinkedIn上的公司信息。因此，我们需要找到LinkedIn公司信息页面的URL。打开LinkedIn网站，在搜索框中输入公司名称，在下拉框中选择“公司”选项，即可进入到公司介绍页面。在此页面上，我们可以看到该公司的基本信息、员工人数、关联公司等信息。此时，我们需要从浏览器的开发者工具中获取该页面的URL，以便后续使用。这个URL的结构为：
https://www.linkedin.com/search/results/companies/?keywords=xxx
其中，keywords=xxx代表我们搜索的关键字，xxx可以替换成任何公司名称。
- 创建Scrapy项目
接下来，我们需要创建一个Scrapy项目。在命令行输入以下命令：
scrapy startproject linkedin
该命令将会在当前目录下创建一个名为linkedin的Scrapy项目。
- 创建爬虫
创建项目后，在项目根目录下输入以下命令来创建一个新的爬虫：
scrapy genspider company_spider www.linkedin.com
这将会创建一个名为company_spider的爬虫，并将其定位到Linkedin公司页面上。
- 配置Scrapy
在Spider中，我们需要配置一些基本信息，比如要抓取的URL，以及如何解析页面中的数据等。在刚才创建的company_spider.py文件中添加以下代码：
import scrapy
class CompanySpider(scrapy.Spider):
name = "company"
allowed_domains = ["linkedin.com"]
start_urls = [
"https://www.linkedin.com/search/results/companies/?keywords=apple"
]
def parse(self, response):
pass在上述代码中，我们定义了要抓取的站点URL和解析函数。在上述代码中，我们只定义了要抓取的站点URL和解析函数，还没有添加爬虫的具体实现。现在我们需要编写parse函数来实现LinkedIn公司信息的抓取和处理。
- 编写解析函数
在parse函数中，我们需要编写抓取和处理LinkedIn公司信息的代码。我们可以使用XPath或CSS选择器来解析HTML代码。LinkedIn公司信息页面中的基本信息可以使用以下XPath来提取：
//*[@class="org-top-card-module__name ember-view"]/text()
该XPath将选中class为“org-top-card-module__name ember-view”的元素，并返回它的文本值。
下面是完整的company_spider.py文件：
import scrapy
class CompanySpider(scrapy.Spider):
name = "company"
allowed_domains = ["linkedin.com"]
start_urls = [
"https://www.linkedin.com/search/results/companies/?keywords=apple"
]
def parse(self, response):
# 获取公司名称
company_name = response.xpath('//*[@class="org-top-card-module__name ember-view"]/text()')
# 获取公司简介
company_summary = response.css('.org-top-card-summary__description::text').extract_first().strip()
# 获取公司分类标签
company_tags = response.css('.org-top-card-category-list__top-card-category::text').extract()
company_tags = ','.join(company_tags)
# 获取公司员工信息
employees_section = response.xpath('//*[@class="org-company-employees-snackbar__details-info"]')
employees_current = employees_section.xpath('.//li[1]/span/text()').extract_first()
employees_past = employees_section.xpath('.//li[2]/span/text()').extract_first()
# 数据处理
company_name = company_name.extract_first()
company_summary = company_summary if company_summary else "N/A"
company_tags = company_tags if company_tags else "N/A"
employees_current = employees_current if employees_current else "N/A"
employees_past = employees_past if employees_past else "N/A"
# 输出抓取结果
print('Company Name: ', company_name)
print('Company Summary: ', company_summary)
print('Company Tags: ', company_tags)
print('
Employee Information
Current: ', employees_current)
print('Past: ', employees_past)上述代码中，我们使用了XPath和CSS选择器来提取页面中的基本信息、公司简介、标签和员工信息，并对它们进行了一些基本的数据处理和输出。
- 运行Scrapy
现在，我们已经完成了对LinkedIn公司信息页面的抓取和处理。接下来，我们需要运行Scrapy来执行该爬虫。在命令行中输入以下命令：
scrapy crawl company
执行该命令后，Scrapy将会开始抓取并处理LinkedIn公司信息页面中的数据，并输出抓取结果。
总结
以上就是使用Scrapy抓取LinkedIn公司信息的方法。在Scrapy框架的帮助下，我们可以轻松地进行大规模的数据抓取，同时还能够处理和转换数据，节省我们的时间和精力，提高数据收集效率。
