[bigdata-031] python3+selenium 做抓取
发布时间:2020-12-31 16:06:30 所属栏目:大数据 来源:网络整理
导读:1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-import
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩,然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3 #!-*- coding:utf-8 -*- import time from selenium import webdriver def main(): browser = webdriver.Firefox() browser.get('https://www.douban.com/people/62513788/') # print(browser.title) # print(type(browser.title)) if browser.title.find("登录") >= 0: elem = browser.find_element_by_id("email") print(elem) elem.send_keys("n19@x65.com") print(elem) elem = browser.find_element_by_id("password") elem.send_keys("tt6") time.sleep(2) elem = browser.find_element_by_class_name("btn-submit") elem.click() if __name__ == '__main__': main() 3. 剩下的事情,就是搜索字符串,以及获取新页面,xpath这些了... (编辑:广西网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
站长推荐