Python采集电商平台数据信息
创始人
2024-03-20 03:13:09

环境介绍

  • python 3.8
  • pycharm 2021专业版
  • selenium >>> pip install selenium==3.141.0 Python当中的模块 操作 浏览器的驱动
  • Chrome浏览器
  • Chromedriver 浏览器驱动 操作浏览器 让 浏览器帮助我们去执行一些操作

模块准备

from selenium import webdriver      # 操作浏览器的功能
import time
import csv

实现代码

1. 打开浏览器

报错的原因 是因为你们下载谷歌驱动, 没有配置好

源码.点击领取即可

driver = webdriver.Chrome()# 让数据加载完
def drop_down():"""执行页面滚动的操作"""for x in range(1, 12, 2):time.sleep(1)j = x / 9js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % jdriver.execute_script(js)
  • 第三步调用的函数
def parse():
python学习交流Q群:770699889 ### 源码领取# .item-bg    sdivs = driver.find_elements_by_css_selector('.item-bg')  # 所有别名为item-bg的标签# 二次提取: 针对每个商品标签 去提取 价格/名称/商品...for div in divs:# div: 每一个商品# 提取商品价格  .get()   parselprice = div.find_element_by_css_selector('.def-price').texttitle = div.find_element_by_css_selector('.title-selling-point a').text# print(price)# 如何提取 标签的属性内容 # .get_attribute('href'): 提取标签的属性内容comment = div.find_element_by_css_selector('.info-evaluate').textstore = div.find_element_by_css_selector('.store-stock').textimg_url = div.find_element_by_css_selector('.sellPoint img').get_attribute('src')link_url = div.find_element_by_css_selector('.title-selling-point a').get_attribute('href')print(title, price, comment, store, img_url, link_url)csv_writer.writerow([title, price, comment, store, img_url, link_url])for page in range(0, 17):

2. 打开suning易购官网

driver.get(f'https://**不屏蔽会发不出去的.com/iPhone%2013/&iy=0&isNoResult=0&cp={page}')
# 调用执行页面滚动
drop_down()

3. 取数据 谷歌为主 谷歌驱动

parse()

效果

在这里插入图片描述

最后

今天的分享到这里就结束了

顺便给大家推荐一些Python视频教程,希望对大家有所帮助:

Python零基础教学合集

对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/

相关内容

热门资讯

南网能源:2025年预盈3亿元... 转自:证券时报人民财讯1月19日电,南网能源(003035)1月19日发布业绩预告,预计2025年归...
杭可科技:实控人及其一致行动人... 转自:证券时报人民财讯1月19日电,杭可科技(688006)1月19日公告,公司实控人之一曹政及其一...
法拉电子:南海路产区预计202... 投资者提问:董秘你好,请问公司新厂什么时候投入运营,运营后对于产能提升有多少董秘回答(法拉电子SH6...
和邦生物:投资者建议变更回购股... 投资者提问:和邦生物现在最该做的是召开股东大会通过决议把回购专户里的股份用途变更为注销,让和邦生物权...
花旗:升万洲国际目标价至9.5... .ct_hqimg {margin: 10px 0;} .hqimg_wrapper {text-a...