5079

day05

<p class="toc-title">目录

<ul><li>文件操作</li> <li>爬虫课程</li> </ul> <h1 id="文件操作">文件操作

<ul><li>

==什么是文件==

文件是操作系统提供的一个虚拟存储单位

</li> <li>

==为什么要有文件==

内存无法永久保存数据,就需要把文件保存到硬盘中,而操作文件可以实现对硬盘的操作

</li> <li>

==什么是文本==

只用来存储文字信息,如:.txt、.doc、.docx、.wps

</li> <li>

==如何通过文本编辑器去控制txt文件==

1.找到文件路径 file_path

2.打开文件open

3.读取/修改操作read/write

4.保存flush

5.关闭文件close

</li> <li>

==打开文件的三种模式==

r(read):只读不可写

w(write):清空后写入

a(append):只读不可写:直接追加在文本末尾

with管理上下文

f = open() f.read() # 自动关闭文件 with open() as f: f.read() with open(r'D:\上海\关于实施乡村振兴战略的意见.txt','r+',encoding='utf8') as fr: # 这个缩进内部的代码都是文件打开的状态 data = fr.read() print(data)</li> <li>

打开文件的两种方式

b:二进制

t:文本

# b模式 # gbk/utf8只针对文本,所以音频通过rb模式打开-->读取二进制,b模式下没有encoding这个参数,b不单独使用,一般与r/w/a一起配合使用 # f = open(r'D:\上海python12期视频\python12期预科班视频\day 05\01 文本处理.mp4','rb') # 读入内存 # # data = f.read() # t模式针对文本文件,t模式不单独使用,必读得和r/w/a一起使用 # f = open(r'D:\上海python12期视频\python12期预科班视频\day 05\关于实施乡村振兴战略的意见.txt','rt',encoding='utf8') # data = f.read() # print(data)</li> </ul>

不建议使用

​ r+ 又可读又可写

​ a+ 又可读又可写

​ w+ 又可读又可写(清空)

# 高级应用 # 可读可写-->不建议使用 # 打开一个文件,内容是 abc # 写入 10s -> abc后面加个d # 读出 5s --> 没有写入 --> abc # 写入 10s --> abc后面加个d # 再过 5s --> 第一次写入成功了 --> abcd # 又过了5s --> 第二次写入给计算机的指令是 abc后面加个d -> 报错 <ul><li>

基础文本处理

file_path = 'D:\pycharm_project\config.txt' f = open(file_path, 'a',encoding='utf8') data = f.write('234') print(data)</li> <li>

文本处理高级应用

print(r'\n') # \n本来是换行,加上r,变成了\n gbk/utf8只针对文本,所以音频通过rb模式读取二进制 b模式下没有encoding模式,b一般与r / a / w 一起使用 file_path = 'D:\pycharm_project\movie.mp4' f = open(file_path, 'rb')</li> <li>

文本处理+词云

import jieba import imageio import wordcloud # 1. 读取文件内容 with open(r'D:\上海python12期视频\python12期预科班视频\day 05\huijiadeyouhuo.txt','r+',encoding='utf8') as fr: # for i in range(1000): # fr.write('回家的诱惑,') # fr.flush() # 相当于保存 data = fr.read() # 2. 使用结巴模块对文件内容切割 jieba.add_word('回家的诱惑') # 让"回家的诱惑"成为一个单词 jieba.del_word('女士') jieba.del_word('先生') jieba.del_word('小马') data_list = jieba.lcut(data) data = ' '.join(data_list) # 3. 找到一张洪世贤的图片 img = imageio.imread(r'D:\上海python12期视频\python12期预科班视频\day 05\hongshixian.jpg') # 4. 使用词云模块生成词云 w = wordcloud.WordCloud(background_color='white',mask=img,font_path=r'C:\Windows\Fonts\simsun.ttc',max_words=150) w.generate(data) w.to_file('nihaosaoa.png')</li> </ul><h1 id="爬虫课程">爬虫课程

通过浏览器发送请求拿到内容;通过requests模拟浏览器发送请求拿到内容

==爬虫原理==

<ol><li>

发送请求

</li> <li>

获取内容

</li> <li>

筛选你所需要的内容

</li> <li>

保存数据

requests模块的使用

import requests response =requests.get(url) response.text # 文本 response.content #二进制流</li> </ol>

re模块

re.s 全局搜索 data = '<img id="blogLogo" src="https://www.baidu.com" alt="返回主页">' re.findall('src="(.*?)"',data) 从内容中筛选所需要的内容 .*? 你需要什么就把什么东西(.*?) # 以后工作80%-90%场景下都能用上.*?

爬取图片

import requests response2 = requests.get( url='https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1566904515016&di=eda120ed19a6c3734cd82d75d8f51535&imgtype=0&src=http%3A%2F%2Fimg1.mydrivers.com%2Fimg%2F20160128%2F5f400f189753457dbb8f5f09ff25e50b.jpg' ) with open('图片1.jpg', 'wb') as f: # wb写入二进制数据流 f.write(response2.content) print('下载成功!')

爬取视频

import requests response = requests.get( url='https://video.pearvideo.com/mp4/adshort/20190827/cont-1595412-14312901_adpkg-ad_hd.mp4' ) with open('视频1.mp4','wb') as f: f.write(response.content) print('下载成功!')

爬取豆瓣电影信息

''' 爬取豆瓣电影新片榜详情 ''' import requests import re response = requests.get( url='https://movie.douban.com/top250' ) # 获取响应文本 # print(response.text) ''' 1.电影名称 2.电影详情页链接 3.电影评分 4.电影评价人数 ''' # re.findall('正则匹配规则', '解析文本', re.S) # .*? 贪婪匹配 movie_list = re.findall('<div class="item">.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)人评价</span>', response.text, re.S) num = 1 for line in movie_list: movie_url = line[0] movie_name = line[1] movie_point = line[2] movie_count = line[3] print(f'{num}.{movie_url},电影名字:{movie_name},评分:{movie_point},评价人数:{movie_count}') num += 1 # 打印结果: 1.https://movie.douban.com/subject/1292052/,电影名字:肖申克的救赎,评分:9.7,评价人数:1569877 2.https://movie.douban.com/subject/1291546/,电影名字:霸王别姬,评分:9.6,评价人数:1159637 3.https://movie.douban.com/subject/1292720/,电影名字:阿甘正传,评分:9.5,评价人数:1221601 4.https://movie.douban.com/subject/1295644/,电影名字:这个杀手不太冷,评分:9.4,评价人数:1413306 5.https://movie.douban.com/subject/1292063/,电影名字:美丽人生,评分:9.5,评价人数:715179 6.https://movie.douban.com/subject/1292722/,电影名字:泰坦尼克号,评分:9.4,评价人数:1163959 7.https://movie.douban.com/subject/1291561/,电影名字:千与千寻,评分:9.3,评价人数:1254774 8.https://movie.douban.com/subject/1295124/,电影名字:辛德勒的名单,评分:9.5,评价人数:633659 9.https://movie.douban.com/subject/3541415/,电影名字:盗梦空间,评分:9.3,评价人数:1207515 10.https://movie.douban.com/subject/3011091/,电影名字:忠犬八公的故事,评分:9.3,评价人数:809641 11.https://movie.douban.com/subject/2131459/,电影名字:机器人总动员,评分:9.3,评价人数:801051 12.https://movie.douban.com/subject/3793023/,电影名字:三傻大闹宝莱坞,评分:9.2,评价人数:1093201 13.https://movie.douban.com/subject/1291549/,电影名字:放牛班的春天,评分:9.3,评价人数:761018 14.https://movie.douban.com/subject/1292001/,电影名字:海上钢琴师,评分:9.2,评价人数:884940 15.https://movie.douban.com/subject/1292064/,电影名字:楚门的世界,评分:9.2,评价人数:847507 16.https://movie.douban.com/subject/1889243/,电影名字:星际穿越,评分:9.3,评价人数:869189 17.https://movie.douban.com/subject/1292213/,电影名字:大话西游之大圣娶亲,评分:9.2,评价人数:850347 18.https://movie.douban.com/subject/1291560/,电影名字:龙猫,评分:9.2,评价人数:749971 19.https://movie.douban.com/subject/5912992/,电影名字:熔炉,评分:9.3,评价人数:503261 20.https://movie.douban.com/subject/1291841/,电影名字:教父,评分:9.3,评价人数:544360 21.https://movie.douban.com/subject/1307914/,电影名字:无间道,评分:9.2,评价人数:698197 22.https://movie.douban.com/subject/25662329/,电影名字:疯狂动物城,评分:9.2,评价人数:981830 23.https://movie.douban.com/subject/1849031/,电影名字:当幸福来敲门,评分:9.1,评价人数:885025 24.https://movie.douban.com/subject/3319755/,电影名字:怦然心动,评分:9.0,评价人数:989998 25.https://movie.douban.com/subject/6786002/,电影名字:触不可及,评分:9.2,评价人数:577088

来源:博客园

作者:高枫kk

链接:https://www.cnblogs.com/gfhh/p/11426038.html

Recommend