近日，python的网络爬虫框架scrapy发布了1.0正式版，该版本为scrapy带来了许多重要的升级和改进。本文将介绍scrapy的新版本带来的一些重要的更新和改进。
- 基于Twisted的异步网络引擎
在1.0版本中，Scrapy使用基于Twisted的异步网络引擎取代了之前的并发引擎。Twisted是一种优秀的事件驱动框架，它支持异步IO和网络编程，而Scrapy本身也依赖于Twisted。使用基于Twisted的异步网络引擎可以让Scrapy更加高效和稳定。
- 新的Selector
在1.0版本中，Scrapy引入了新的Selector，该Selector是基于lxml库实现的。与旧的Selector相比，新的Selector更快、更稳定，同时也支持XPath、CSS选择器等更多的选择器语言。此外，新的Selector还支持嵌套节点，即在选择器表达式中使用“/”字符来选择父节点和子节点。
- 新的Item Pipeline
在1.0版本中，Scrapy引入了新的Item Pipeline，该Pipeline更加灵活和易于使用。新的Item Pipeline支持多个处理器，可以根据需要将数据发送到不同的处理器中进行处理，例如数据库、文件等。此外，新的Item Pipeline还可以对数据进行过滤和排序等操作，以满足各种不同的需求。
- 新的命令行工具
在1.0版本中，Scrapy引入了新的命令行工具，使得Scrapy更加易于使用。新的命令行工具提供了许多新的命令，可以用于调试、测试和优化爬取代码。例如，可以使用“check”命令检查爬虫代码的语法错误，使用“spider”命令启动爬虫并输出结果等。
经过一年的开发更新与升级，67CMS2.0版正式上线67cms 2.0的变革1.不再需要授权，商业用户免费使用！！2.栏目分类的级别添加至四级3.单页的级别添加至四级4.新增加人才招聘模块，招聘也可进行分类检索，采用公用的分类调用5.图集采用新的js效果调用6.英文版后台已翻译完毕，可无限添加语言包7.其他N多细节修改，与Bug修复不做详细介绍了
- 其他改进
除了上述的重要更新外，Scrapy的1.0版本还有其他一些改进。例如，对异常处理机制进行了优化，使得Scrapy更加健壮和可靠。此外，1.0版本还提供了新的数据存储格式，支持直接将数据保存到JSON、XML等格式中，而不需要进行额外的转换和处理。
总结：
Scrapy的1.0版本带来了许多重要的改进和更新，使得它更加高效、灵活和易于使用。新版本的基于Twisted的异步网络引擎、新的Selector、新的Item Pipeline和新的命令行工具等功能将Scrapy带到了一个新的水平。对于爬虫开发者来说，Scrapy的1.0版本无疑是一个非常值得期待和使用的版本。
