mitmproxy的使用以及遇到的问题

上网导航 2023-09-08 233 0条评论
摘要: 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档mitmproxy的使用以及遇到的问题前言一、mitmproxy是什么?...

提示:以下是本篇文章正文内容,下面案例可供参考

一、mitmproxy是什么?

mitmproxy是一个抓包工具,类似于WireShark、Filddler,并且它支持抓取HTTP和HTTPS协议的数据包,只不过它是一个控制台的形式操作。另外,它还有两个非常有用的组件,一个mitmdump,它是mitmproxy的命令行接口,利用它可以对接python脚本;另一个是mitmweb,它是一个web程序,通过它可以清楚的观察mitmproxy捕获的数据情况,优点类似于Chrome浏览器。

二、准备工作

请确保已经正确安装好了mitmproxy,并且手机和PC处于同一个局域网下,同时配置好了mitmproxy的CA证书

1、安装 1、linux 安装mitmproxy

pip3 install mitmproxy

2、windows下安装mitmproxy

下载地址:

添加国内源可以提高下载速度

pip install mitmproxy -i https://pypi.tuna.tsinghua.edu.cn/simple

在windows系统安装mitmproxy的时候,容易出现下面提示的错误

error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools

此时,可以在微软官网直接下载 c++ 库之类的软件,然后再在命令行进行安装 mitmproxy即可。也可以在网上搜索MicrosoftVCTools2017,进行下载。

下载地址:

三、mitmproxy的功能

mitmproxy有如下几项功能。

四、抓包原理

和Charles一样,mitmproxy运行于自己的PC上,mitmproxy会在PC的8080端口运行,然后开启一个代理服务,这个服务实际上是一个HTTP/HTTPS的代理。

手机和PC在同一个局域网内,设置代理为mitmproxy的代理地址,这样手机在访问互联网的时候流量数据包就会流经mitmproxy,mitmproxy再去转发这些数据包到真实的服务器,服务器返回数据包时再由mitmproxy转发回手机,这样mitmproxy就相当于起了中间人的作用,抓取到所有Request和Response,另外这个过程还可以对接mitmdump,抓取到的Request和Response的具体内容都可以直接用Python来处理,比如得到Response之后我们可以直接进行解析,然后存入数据库,这样就完成了数据的解析和存储过程。

五、mitmproxy证书配置

mitmproxy和Charles软件一样,需要进行证书配置,为什么要进行证书配置?由于我们要抓取的大部分App页面都采用了HTTPS,也就是经过加密,若没有证书,就无法识别抓取的数据。另外,需要注意的是,mitmproxy与Charles软件一样需要在PC和手机端安装证书。

1、 电脑端证书配置 1. 首先cmd运行一下以下命令,以便在windows系统中产生CA证书

mitmdump

2. 接着在.mitmproxy目录找到CA证书,如下图所示:

mitmproxy的使用以及遇到的问题

3、双击mitmproxy-ca.p12进入导入证书的页面,点击“下一步”

mitmproxy的使用以及遇到的问题

4、不用输入密码,直接“下一步”

mitmproxy的使用以及遇到的问题

5、选择“将所有的证书都放入下列存储”,接着选择“受信任的根证书颁发机构”

mitmproxy的使用以及遇到的问题

6、最后,弹出警告窗口,直接点击“是”

mitmproxy的使用以及遇到的问题

2、手机端代理配置 1、接着在手机(IOS)上配置证书,先将mitmproxy-ca-cert.pem文件发送至iphone,推荐用邮箱方式,接着在iphone上可以把直接点击附件并安装。最后在手机(ios)“设置”、“通用”、“描述文件与设备管理”,找到“证书信任设置”,信任即可。

mitmproxy的使用以及遇到的问题

mitmproxy的使用以及遇到的问题

2、设置手机端代理

可以在pc(windows)中用cmd命令行,输入命令ipconfig,查看电脑ip,这里ip地址是192.168.31.43

mitmproxy的使用以及遇到的问题

接着在手机上设置代理,其实就是将pc电脑的ip192.168.31.43:8080,设置成代理即可。

mitmproxy的使用以及遇到的问题

配置代理,改为手动

mitmproxy的使用以及遇到的问题

六、命令行交互 1、mitmdump的启动

mitmdump

2、mitmdump指定端口的启动

mitmdump -p 8889

3、指定python脚本

mitmdump -p 8889 -s test.py

4、保存截获数据

mitmdump -w  test.txt

5、常用接口

#http.HTTPFlow 实例 flow
flow.request.headers #获取所有头信息,包含Host、User-Agent、Content-type等字段
flow.request.url #完整的请求地址,包含域名及请求参数,但是不包含放在body里面的请求参数
flow.request.pretty_url #同flow.request.url目前没看出什么差别
flow.request.host #域名
flow.request.method #请求方式。POST、GET等
flow.request.scheme #什么请求 ,如https
flow.request.path # 请求的路径,url除域名之外的内容
flow.request.get_text() #请求中body内容,有一些http会把请求参数放在body里面,那么可通过此方法获取,返回字典类型
flow.request.query #返回MultiDictView类型的数据,url直接带的键值参数
flow.request.get_content()#bytes,结果如flow.request.get_text() 
flow.request.raw_content #bytes,结果如flow.request.get_content()
flow.request.urlencoded_form #MultiDictView,content-type:application/x-www-form-urlencoded时的请求参数,不包含url直接带的键值参数
flow.request.multipart_form #MultiDictView,content-type:multipart/form-data
时的请求参数,不包含url直接带的键值参数
#以上均为获取request信息的一些常用方法,对于response,同理
flow.response.status_code #状态码
flow.response.text#返回内容,已解码
flow.response.content #返回内容,二进制
flow.response.setText()#修改返回内容,不需要转码

六、遇到的报错总结 1、mitmproxy–Cannot establish TLS with client (sni: e.crashlytics.com): TlsException(“(-1, ‘Unexpected EOF’)”,) 解决办法

正确安装电脑端和手机端证书

2、win10 使用mitmdump 报错 cannot import name ‘soft_unicode‘ from ‘markupsafe‘

运行mitmdump报错

mitmproxy的使用以及遇到的问题

可能是Jinja2版本的问题

1、在命令行输入pip list,查看Jinja2版本

2、卸载这个包:

pip uninstall Jinja2

3、该方法已失效,找不到安装包,到

找到Jinja2,选择其他版本安装,使用3.0.3正常了,

mitmproxy的使用以及遇到的问题

上面方法已失效,找不到安装包,需要去官网下载 :

mitmproxy的使用以及遇到的问题

![()

4、下载.whl文件之后,执行命令

pip install xxx.whl

成功了

3、抓取微信小程序

需要安装低版本windows微信

mitmproxy的使用以及遇到的问题

总结

本文是自己在学习中的一些记录和总结,后续会不断更新完善。

参考:

文章版权及转载声明:

作者:上网导航本文地址:https://www.90xe.com/post/3871.html发布于 2023-09-08
文章转载或复制请以超链接形式并注明出处技术导航

分享到:

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏