scrapy笔记

scrapy命令行工具(command line tools)

查看scrapy所有可用的命令

1
scrapy -h

阅读全文

scrapy笔记-安装

windows下scrapy安装

下载依赖的第三方离线包

这个地址下载一些在windows平台编译的第三方库.

阅读全文

python之pip常用命令

pip常用命令

1. 安装第三方库

1
2
pip install scrapy
python -m pip install scrapy

阅读全文

css笔记1

CSS样式优先级

*(通配符) < tag(标签) < class < 行间
style与class
元素.style.属性 = xxx 是修改行间样式
之后再修改className不会有效果

阅读全文

selenium-phatomjs使用

使用selenium和phantomjs爬取动态网页

1
2
3
4
5
6
7
from selenium import webdriver
url = "http://www.dangniao.com/mh/22996/392953.html"
browser = webdriver.PhantomJS("/usr/local/mysoft/phantomjs-2.1.1/bin/phantomjs")
browser.get(url)
# 模拟用户点击
browser.find_element_by_class_name("zsxiaye").click()
src = browser.find_element_by_css_selector("#wdwailian img").get_attribute("src")

阅读全文