2022 Python 面试 100 问
遇到过得反爬虫策略以及解决方法?
1.通过headers反爬虫 2.基于用户行为的发爬虫:(同一IP短时间内访问的频率) 3.***页反爬虫(通过ajax请求数据,或者通过JavaScript生成) 4.对部分数据进行加密处理的(数据是乱码)解决方法:
对于基本网页的抓取可以自定义headers,添加headers的数据 使用多个代理ip进行抓取或者设置抓取的频率降低一些, ***页的可以使用selenium + phantomjs 进行抓取 对部分数据进行加密的,可以使用selenium进行截图,使用python自带的pytesseract库进行识别,但是比较慢最直接的方法是找到加密的方法进行逆向推理。
1 urllib 和 urllib2 的区别?
2 列举网络爬虫所用到的网络数据包,解析包?
3 简述一下爬虫的步骤?
4 遇到反爬机制怎么处理?
5 常见的HTTP方法有哪些?
6 说一说redis-scrapy中redis的作用?
7 遇到的反爬虫策略以及解决方法?
8 如果让你来防范网站爬虫,你应该怎么来提高爬取的难度 ?
9 scrapy分为几个组成部分?分别有什么作用?
10 简述一下scrapy的基本流程?
11 python3.5语言中enumerate的意思是
12 你是否了解谷歌的无头浏览器?
13 scrapy和scrapy-redis的区别?
14 scrapy的优缺点?为什么要选择scrapy框架?
15 scrapy和requests的使用情况?
16 描述一下scrapy框架的运行机制?
17 写爬虫使用多进程好,还是用多线程好?
18 常见的反爬虫和应对方法?
19 分布式爬虫主要解决什么问题?
20 如何提高爬取效率?
21 说说什么是爬虫协议?
22 如果对方网站反爬取,封IP了怎么办?
23 有一个jsonline格式的文件file
24 补充缺失的代码
25 输入日期, 判断这一天是这一年的第几天?
26 打乱一个排好序的list对象alist?
27 现有字典 d= {'a':24,'g':52,'i':12,'k':33}请按value值进行排序?
28 字典推导式
29 请反转字符串 "aStr"?
30 将字符串 "k:1 |k1:2|k2:3|k3:4",处理成字典 {k:1,k1:2,
31 请按alist中元素的age由大到小排序
32 下面代码的输出结果将是什么?
33 写一个列表生成式,产生一个公差为11的等差数列
34 给定两个列表,怎么找出他们相同的元素和不同的元素?
35 请写出一段python代码实现删除list里面的重复元素?
36 给定两个list A,B ,请用找出A,B中相同与不同的元素
37 python新式类和经典类的区别?
38 python中内置的数据结构有几种?
39 python如何实现单例模式?请写出两种实现方式?
40 反转一个整数,例如-123 --> -321
41 设计实现遍历目录与子目录,抓取.pyc文件?
42 Python-遍历列表时删除元素的正确做法
43 字符串的操作题目
44 可变类型和不可变类型
45 is和==有什么区别?
46 求出列表所有奇数并构造新列表
47 用一行python代码写出1+2+3+10248
48 Python中变量的作用域?(变量查找顺序)
49 字符串 "123" 转换成 123,不使用内置api,例如 int()
50 Given an array of integers
51 python代码实现删除一个list里面的重复元素
52 统计一个文本中单词频次最高的10个单词?
53 请写出一个函数满足以下条件
54 使用单一的列表生成式来产生一个新的列表
55 用一行代码生成[1,4,9,16,25,36,49,64,81,100]
56 输入某年某月某日,判断这一天是这一年的第几天?
57 两个有序列表,l1,l2,对这两个列表进行合并不可使用extend
58 给定一个任意长度数组,实现一个函数
59 写一个函数找出一个整数数组中,第二大的数
60 阅读一下代码他们的输出结果是什么?
61 统计一段字符串中字符出现的次数
62 Python中类方法、类实例方法、静态方法有何区别?
63 遍历一个object的所有属性,并print每一个属性名?
64 写一个类,并让它尽可能多的支持操作符?
65 关于Python内存管理,下列说法错误的是 B
66 Python的内存管理机制及调优手段?
67 内存泄露是什么?如何避免?
68 python常见的列表推导式?
69 简述read、readline、readlines的区别?
70 什么是Hash(散列函数)?
71 python函数重载机制?
72 手写一个判断时间的装饰器
73 使用Python内置的filter()方法来过滤?
74 编写函数的4个原则
75 函数调用参数的传递方式是值传递还是引用传递?
76 如何在function里面设置一个全局变量
77 对缺省参数的理解 ?
78 带参数的装饰器?
79 为什么函数名字可以当做参数用?
80 Python中pass语句的作用是什么?
81 有这样一段代码,print c会输出什么,为什么?
82 交换两个变量的值?
83 map函数和reduce函数?
84 回调函数,如何通信的?
85 Python主要的内置数据类型都有哪些? print dir( ‘a ’) 的输出?
86 map(lambda x:xx,[y for y in range(3)])的输出?
87 hasattr() getattr() setattr() 函数使用详解?
88 一句话解决阶乘函数?
89 对设计模式的理解,简述你了解的设计模式?
90 请手写一个单例
91 单例模式的应用场景有那些?
92 用一行代码生成[1,4,9,16,25,36,49,64,81,100]
93 对装饰器的理解,并写出一个计时器记录方法执行性能的装饰器?
94 解释以下什么是闭包?
95 函数装饰器有什么作用?
96 生成器,迭代器的区别?
97 X是什么类型?
98 请用一行代码 实现将1-N 的整数列表以3为单位分组
99 Python中yield的用法?