ubuntu14.04安装Scrapy爬虫

2019独角兽企业重金招聘Python工程师标准>>>

官网：http://scrapy.org/

https://pypi.python.org/pypi/Scrapy

根据官方文档说明，安装scrapy需要以下程序或者库：

python 2.7
lxml
OpenSSL
pip

Ubuntu14.04已经自带了前三者。通过以下命令可以验证：

python -V

在python命令行下：

import lxml
import openSSL

如果没有报错，那就说明已经有这两个库了。如果没有，可以使用第四个工具（pip）进行下载和安装。

安装pip：

sudo apt-get install pip

安装scrapy：

sudo pip install Scrapy

注意S是大写的。然后pip就会自动安装了（注意要添加sudo命令，否则就会报写入被禁止的错误。）

但是在安装过程中，出现了一个错误：

twisted/runner/portmap.c:10:20: fatal error: Python.h No such file or directory.

我们需要安装一个叫python-dev的包。于是，我们在终端输入：

sudo apt-get install python-dev

安装结束后，再次输入：

sudo pip install Scrapy

就可以正常安装scrapy了。

安装结束后，在终端输入scrapy来验证我们是否安装成功并且能否正常运行。答案是不能。会出现提示：

UserWarning: You do not have the service_identity module installed.

这个简单，在终端输入：

sudo pip install service_identity

等它安装结束之后，就OK了。

最后在终端验证一下：

scrapy

会打印出版本号等信息。

Scrapy 0.24.1 - no active project
Usage:
    scrapy <command> [options]  [args]
Available commands:
    bench
    ...
    ...

转载于:https://my.oschina.net/u/923087/blog/287836