博学谷 > 问答库 > win10如何安装python虚拟环境以及爬虫环境？

win10如何安装python虚拟环境以及爬虫环境？

收藏
虚拟环境 win10 windows 爬虫环境 Tesseract OCR 爬虫工具 Scrapy Scrapy配置 scrapy启动错误 pip3 pip virtualenv virtualenvwrapper powershell
199
Feb 6, 2018

我们学习使用爬虫，在linux可以很少的使用，但是有时候我们想在windows下面使用fiddler等其他辅助工具写爬虫感觉会更方便，但是windows下面安装python环境就比较坑。

回答

MrSun回答

解答：

    以win10环境为例

  1.     windows安装虚拟环境
    1. 安装python解释器建议直接安装python3最新版本，去python官网下载python解释器，根据操作系统版本32位还是64位下载对应的版本python解释器,仅仅安装python解释器其他的包不要安装
    2. 启动cmd终端准备开始安装虚拟环境,执行一下命令： 
      pip install virtualenv
    3. 安装 windows 版本的virtualenvwrapper，这个要比我们原始的virtualenv好用很多，执行命令： 
      pip install virtualenvwrapper-win
    4. 配置virtualenvwrapper 虚拟环境位置l想linux下面的.virtualenv，如果不做配置默认是C:\Users\用户\Envs，一把C盘空间不大所以我们把虚拟环境目录设置到其他空间比较大的目录
      4.1 创建工作目录，例如我这里创建在：D:\Envs
      4.2 为创建的工作目录设置环境变量，右键我的电脑
      到此配置virtualenvwrapper工作目录完成
    5. 配置完成后重新启动cmd命令窗口，因为新配置的环境变量对当前dos窗口不生效
  2. 配置爬虫虚拟环境
    1. 创建爬虫虚拟环境（python项目一定要创建虚拟环境），执行命令：mkvirtualenv spider_py3,创建好的虚拟环境将会再我们上面设置的目录里面
    2. 进入创建好虚拟环境workon spider_py3
    3. 使用pip安装常用的爬虫包
      pip install requests
      pip install lxml
      pip install bs4
      pip install selenium
       
    4. 安装srapy框架
      1. pip install scrapy 安装框架会出现下面的这个问题
         
      2. 你需要单独安装twisted，不要使用pip install twsited 去安装还是会出现上面这个问题，windows平台上面所以需要安装windows版本的twisted 使用命令：pip install Twisted[windows_platform] 安装会安装windows相关编译的相关工具，如果还是失败，看第三步。
      3. 离线安装Twisted
        1. 安装wheel工具  pip install wheel
        2. 下载对应版本Twisted 下载链接 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 
        3.  使用pip安装下载好的文件  例如： pip install Twisted-17.9.0-cp36-cp36m-win_amd64.whl
      4. 安装完成twisted后再次使用 pip install scrapy 安装scrapy框架
      5. 安装scrapy相关的包：
        pip install scrapyd
        pip install scrapy-redis
      6. 安装tessoract  windows同样也不要用pip去安装 下载windows安装文件链接：https://github.com/tesseract-ocr/tesseract/wiki#windows  下载安装
      7. 安装完成后再安装pytesseract 这个是python与tesserract-orc 交互包： pip install pytesseract 
  3. scrapy安装完成后 启动scrapy项目的时候可能出现类似的问题 import win32api ImportError DLL load failed 
    解决方案：http://blog.csdn.net/github_35160620/article/details/53347807
  4. pip安装的时候可能出现类似的问题UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 2: invalid continuation byte
    解决方案：

        D:\Envs\spider_py3\Lib\site-packages\pip\compat修改里面的__init__.py把return s.decode(‘utf-8’)编码格式替换成gbk

  5. win10下面有一个powershell 如果想使用virtualenvwrapper那么 需要但是安装支持wrapper的包，而且这个包不支持python3，仅仅支持python2 请查看文档：http://virtualenvwrapper.readthedocs.io/en/latest/install.html  

  6. 安装软件包遇到问题的时候建议查看官方文档的安装文档，如果安装官方文档安装还出现问题再查找解决方案

(7)

相似问题

提交成功