技术资料
Mysql
Windows下安装mysql 5.6
Python
Python3.5.2 安装(windows环境)
图片爬取和写入
gevent队列任务
selenium模拟浏览器操作
pandas表格和数据应用
OS文件创建
excel格式转换:csv转xls
email自动发送
excel读取指定多行数据
cookie登录后爬取内容
单页文字图片爬取保存到word
学习实践:知网疾病知识
学习实践:知网指南
字典生成树形目录
docx文本图片存入word
-
+
首页
学习实践:知网疾病知识
```python import requests,json,csv,time,random from selenium import webdriver def json_url(url): headers = {'User-Agent': 'XXXX', 'cookie':'XXXXX'} add = requests.get(url,headers=headers).text add.encode('utf-8') return add with open('other.csv', 'a+', encoding='utf-8-sig',newline='') as file: xls = csv.writer(file) with open(r'other.txt','r',encoding='utf-8') as txt:# n = 0 for url in txt: n += 1 if n in range(15,16): url = url.replace('\n','').split('\t') #模拟点击 url2= url[1].replace('getdata?code','index?query') print(n,url2) # # 设置chrome后台静默运行 option = webdriver.ChromeOptions() option.add_argument('headless') # 浏览器模拟打开网址 driver = webdriver.Chrome(chrome_options=option) # driver = webdriver.Chrome() driver.get(url2) time.sleep(random.randrange(1, 3)) driver.close() try: js = json_url(url[1]) dic = json.loads(js) ls = [] for k, v in dic['jb'].items(): x = k + ">>\n" + str(v) ls.append(x) ls.sort() ls.append(dic['jb2']) ls.append(url) xls.writerow(ls) ls.clear() time.sleep(random.randrange(1,3)) except json.decoder.JSONDecodeError: pass ``` > 仅供技术学习,严禁用于商业用途。
大诚
2022年8月3日 10:36
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码