環境:pyspider0.3.9 PhantomJS2.1.1,均為最新版 進程用supervisor托管的。 其中需要加的幾個地方: webui進程: processor進程: fetcher進程: phantomjs進程: 以上需要註意的是,webui、processor 、fetcher 都加 ...
環境:pyspider0.3.9 PhantomJS2.1.1,均為最新版
進程用supervisor托管的。
其中需要加的幾個地方:
webui進程:
pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 webui
processor進程:
pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 processor
fetcher進程:
pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 fetcher
phantomjs進程:
pyspider -c config.json phantomjs -- --proxy=ip:port --proxy-auth=name:password
以上需要註意的是,webui、processor 、fetcher 都加了phantomjs的本地地址支持。
phantomjs 進程後面設置phantomjs 的代理埠,文中的加了驗證,免密的可以直接寫 -- --proxy=ip:port 不寫--proxy-auth=name:password
------------------------------
遇到這個提示,應該可以忽略不計,意思是提示你,任務裡面的代理設置並不會影響phantomjs
phantomjs does not support specify proxy from script, use phantomjs args instead