>

scrapy的设置与使用

- 编辑:正版管家婆马报彩图 -

scrapy的设置与使用

win7下scrapy1.3.2安装,win7scrapy1.3.2

刚开始学爬虫,网上搜了搜,目前最合适的是选scrapy。

先要安装scrapy。

很多的博客上用的教程都说,scrapy目前对python3支持不是很好。可是不能不学3啊。

先用anaconda最新版本4.3.2

图片 1

 

import scrapy 发现报错!

直接上 pip install scrapy,

安装过程还可以,还是最后报了错。反复了几次,最后停留在缺少c++的工具

第一步 升级 .netframework到4.6

第二步 下载 visualcppbuildtools_full.exe,安装。文件不大,才3m,安装过程需要联网,我用了一个小时才安装好。

第三步,pip install scrapy。顺利通过

第四步 import scrapy ,顺利通过

第五步,练习爬虫程序,小案例没事,大的完整的案例,就报错, 什么 ‘float’ not a iterator.......烦死了

明白了,还是支持不够。

 

检查scrapy版本

进入根目录,命令行敲 scrapy version

显示版本是1.1.1

。直接上scrapy网站上找最新版。发现是1.3.2。显示可以支持python3(差很多版本了。)

图片 2

进入pip

搜索 scrapy 。这上面有1.3.2。(不明白为什么,pip install scrapy 没有自动安装这个版本)

 

下载下来  Scrapy-1.3.2-py2.py3-none-any.whl

直接pip安装

  pip install Scrapy-1.3.2-py2.py3-none-any.whl

过程显示  卸载了1.1.1版本,然后顺利安装了1.3.2

命令行测试

  scrapy fetch (随便找个网页)

图片 3

这是最后部分的截图,显示成功了。

 

最后总结,scrapy现在已经能够比较好的支持python3了。

 

刚开始学爬虫,网上搜了搜,目前最合适的是选scrapy。 先要安装scrapy。 很多的博客上用的教程都说,scr...

1月份的时候就曾经安装过scrapy,但是失败了,python的某些第三方库在windows7下面经常出现不兼容的问题。今天找到了一篇博文,按照方法安装成功了。

需要安装 xlml

(1)安装   pywin32-220.win32-py3.5.exe  提供pywin32API

(2)安装  Twisted-17.1.0-cp35-cp35m-win32.whl,使用pip安装总是报vc的dll文件缺失的错误,其实哪怕下个VS2015还是会报错,到第三方库网站上面下载Twisted-17.1.0-cp35-cp35m-win32.whl,然后使用 pip 本地安装,注意,不能保存在中文文件夹里面,python不认。

pip install E:DownloadTwisted-17.1.0-cp35-cp35m-win32.whl

pip install wheel                   # 用来安装whl格式文件的,可装可不装

(3)安装 Scrapy-1.4.0-py2.py3-none-any.whl  , 只要Twisted能够成功安装,scrapy就基本上没有问题了。还是到第三方库网站上面下载对应版本的Scrapy-1.4.0-py2.py3-none-any.whl,本地安装即可。

pip install E:DownloadScrapy-1.4.0-py2.py3-none-any.whl

下面是第三方库的网址链接,应有尽有,版本齐全,良心网站

Unofficial Windows Binaries for Python Extension Packages

scrapy startproject XXXXX  #创建名字为XXXXX的空scrapy项目。

scrapy crawl XXspider #爬虫或者自己命名的爬虫开始启动,注意要先变更到自己的项目文件夹中,否则不会启动。例如:

cd  C:UsersAdministratorPycharmProjectsScrapy projectscrapytest

scrapy startproject MySpider

本文由编程应用发布,转载请注明来源:scrapy的设置与使用