加入收藏 | 设为首页 | 会员中心 | 我要投稿 广西网 (https://www.guangxiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

[bigdata-031] python3+selenium 做抓取

发布时间:2020-12-31 16:06:30 所属栏目:大数据 来源:网络整理
导读:1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-import

1. 安装

1.1 pip3 install -U selenium

1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录

2. 抓取豆瓣

#!/usr/bin/env python3
#!-*- coding:utf-8 -*-

import time
from selenium import  webdriver

def main():
    browser = webdriver.Firefox()
    browser.get('https://www.douban.com/people/62513788/')
    # print(browser.title)
    # print(type(browser.title))
    if browser.title.find("登录") >= 0:
        elem = browser.find_element_by_id("email")
        print(elem)
        elem.send_keys("n19@x65.com")
        print(elem)
        elem = browser.find_element_by_id("password")
        elem.send_keys("tt6")
        time.sleep(2)
        elem = browser.find_element_by_class_name("btn-submit")
        elem.click()


if __name__ == '__main__':
    main()

3. 剩下的事情,就是搜索字符串,以及获取新页面,xpath这些了...

(编辑:广西网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!