win7安裝python3.6.1及scrapy

---恢復內容開始---

第一篇博客，記錄自己自學python的過程及問題。

首先下載python3.6.1及所需資料

百度雲：https://pan.baidu.com/s/1geOEp6z

密碼：1fuw

文件列表如下：

先安裝 python-3.6.1-amd64.exe。

安裝完成後進入cmd,輸入python

安裝成功。

下麵安裝scrapy依賴插件。

通過命令:pip install xxxx 安裝以下文件

安裝lxml-3.7.3-cp36-cp36m-win_amd64.whl

安裝zope.interface-4.3.3-cp36-cp36m-win_amd64.whl
安裝pywin32-221-cp36-cp36m-win_amd64.whl
安裝Twisted-17.1.0-cp36-cp36m-win_amd64.whl
通過pip安裝OpenSSL: pip install pyOpenSSL

安裝之後驗證scrapy依賴項是否安裝成功的方法：

cmd執行python進入python控制台

● 執行import lxml，如果沒報錯，則說明lxml安裝成功。
● 執行import twisted，如果沒報錯，則說明twisted安裝成功。
● 執行import OpenSSL，如果沒報錯，則說明OpenSSL安裝成功。
● 執行import zope.interface，如果沒報錯，則說明zope.interface安裝成功。

下麵安裝scrapy

pip install scrapy==1.1.0rc3 

安裝完成後驗證是否安裝成功，cmd輸入下麵命令

scrapy version

返回

Scrapy 1.1.0rc3
安裝成功。
然後安裝 Microsoft Visual Studio,本人安裝的是2015專業版，安裝的時候要選上編程環境。
成功後就可以就可以新建我們的爬蟲項目測試了。
下麵以爬取百度的標題為例：
進入控制台輸出 scrapy startproject baidu

創建一個爬蟲文件

使用pyCharm進入項目,修改代碼如下

items.py

import scrapy

class BaiduItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()

first.py

import scrapy
from baidu.items import BaiduItem

class FirstSpider(scrapy.Spider):
    name = 'first'
    allowed_domains = ['baidu.com']
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        item = BaiduItem()
        item["title"] = response.xpath('/html/head/title/text()').extract()
        print(item["title"])

settings.py修改下麵代碼，不遵守robots協議

ROBOTSTXT_OBEY = False

cmd執行下麵命令返回  --nolog表示不列印日誌

所有環境安裝成功。

若是執行的時候報錯

TypeError: 'float' object is not iterable

 則是因為scrapy版本太低，建議手動下載高版本到本地安裝，上面分享的網盤資料有下好的文件。

進入cmd,進入文件保存目錄，執行 pip install Scrapy-1.4.0-py2.py3-none-any.whl

返回success 就OK了。

本人初學python,第一次寫博客，如果有什麼說的不准確的地方歡迎大家一起來討論。