forked from Trietptm-on-Security/WooYun-2
-
Notifications
You must be signed in to change notification settings - Fork 7
/
APK瘦身记，如何实现高达53%的压缩效果.html
303 lines (178 loc) · 128 KB
/
APK瘦身记，如何实现高达53%的压缩效果.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
<html>
<head>
<title>APK瘦身记，如何实现高达53%的压缩效果 - 阿里移动安全</title>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
</head>
<body>
<h1>原文地址:<a href="http://drops.wooyun.org/mobiledev/14289">http://drops.wooyun.org/mobiledev/14289</a></h1>
<p>
<p><strong>Author：<a class="__cf_email__" href="/cdn-cgi/l/email-protection" data-cfemail="9a7307047c1212da730225731d167d3d217f10327f34137f1f32">[email protected]</a><script data-cfhash='f9e31' type="text/javascript">/* <![CDATA[ */!function(t,e,r,n,c,a,p){try{t=document.currentScript||function(){for(t=document.getElementsByTagName('script'),e=t.length;e--;)if(t[e].getAttribute('data-cfhash'))return t[e]}();if(t&&(c=t.previousSibling)){p=t.parentNode;if(a=c.getAttribute('data-cfemail')){for(e='',r='0x'+a.substr(0,2)|0,n=2;a.length-n;n+=2)e+='%'+('0'+('0x'+a.substr(n,2)^r).toString(16)).slice(-2);p.replaceChild(document.createTextNode(decodeURIComponent(e)),c)}p.removeChild(t)}}catch(u){}}()/* ]]> */</script></strong></p>
<h1>0x00 我是怎么思考这件事情的</h1>
<hr />
<p>APK是Android系统安装包的文件格式，关于这个话题其实是一个老生常谈的题目，不论是公司内部，还是外部网络，前人前辈已经总结出很多方法和规律。不过随着移动端技术近两年的飞速发展，一些新的思维方式和优化方法也逐渐涌现和成熟起来。笔者在实践过程中踩过一些坑，收获了一些经验，在这里做个思考和总结，所以随笔给大家，希望对大家从事相关工作的时候有所帮助和参考，同时也是抛砖引玉，希望大家共同探讨这个开放性的话题。</p>
<!--more-->
<p>关于为什么APK要瘦身，这个不多说，只从三个方面唠叨一下，对于用户（或者客户）来说，APK越大，在下载安装过程中，他们耗费的流量会越多，安装等待时间也会越长；对于产品本身，意味着下载转化率会越低（因为竞品中，用户有更多机会选择那个体验最好，功能最多，性能最好，包最小的）；对于研发来说，是一种优化改进技术的机会。</p>
<p>欲瘦身，我们先找找胖的原因和问题。按目标－路径－资源的思维模式，找原因和问题有如下几条路径，一是拍脑袋，按自己的经验和判断，甚至是主观想象；二是去搜索引擎找关键字，逛各种技术论坛听技术大牛们怎么说，看各类技术文章抽取提炼；三是用一种可测量的工具或者方法发现问题。</p>
<p>前两种不赘述，我这里说说第三种方法。用一种可测量的工具或者方法来分析，所谓工欲善其事，必先利其器。这个器可以可以自己锻造，也可以用现成的。这里推荐一个在线apk分析工具，因为是外部工具，所以大家请在使用过程中，不要上传未发布出去的产品，为了数据安全，笔者这里拿一个github上开源的Android项目作为瘦身示例。</p>
<h1>0x01 寻找问题</h1>
<hr />
<p><a href="https://nimbledroid.com/">NimbleDroid</a>是美国哥伦比亚大学的博士创业团队研发出来的分析Android app性能指标的系统，分析的方式有静态和动态两种方式，其中静态分析可以分析出APK安装包中大文件排行榜，各种知名SDK的大小以及占代码整体的比例，各种类型文件的大小以及占排行，各种知名SDK的方法数以及占所有dex中方法数的比例，废话不多说，下面上高清无码大图看看颜值吧。</p>
<p>如果想使用分析功能分析自己的产品，请登录并上传自己产品的apk包，所有功能目前均免费使用，如果是想分析Google Play上已经发布的产品，可以直接点击"Play Apps"查看，还可以使用搜索功能根据应用名和包名查看结果。再次强调下，请不要上传任何未发布的产品。</p>
<p>登录</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010431010259138.jpg" alt="p1" /></p>
<p>上传apk文件</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010431117074216.jpg" alt="p2" /></p>
<p>分析结果摘要，可以看到一些概览的信息，apk文件大小，总的方法数</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010431373965315.jpg" alt="p3" /></p>
<p>文件大小分析详情页，大文件列表，这里列出的是apk文件中超过100k的文件排行，这里的文件大小指的是apk文件中的大小</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010431573454413.jpg" alt="p4" /></p>
<p>各种知名SDK的大小以及占代码整体的比例，这里目前能识别出Android Support，Jackson JSON parser, Google Play Services, Paypal, Glide, OkHttp, Facebook SDK, Fabric, Gson等等，Application表示App中自己编写的代码部分</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010431691677515.jpg" alt="p5" /></p>
<p>各种类型文件的大小以及排行</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010431829628612.jpg" alt="p6" /></p>
<p>各种知名SDK占所有dex中方法数的比例</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010432021960710.jpg" alt="p7" /></p>
<p>各种知名SDK的方法数排行榜</p>
<p><img src="http://static.wooyun.org//drops/20160330/201603301043213522889.jpg" alt="p8" /></p>
<p>看完这个apk内剖图是不是有一种神清气爽的感觉！我把这个分析工具比做我们家买的智能体重秤，可以称体重，脂肪含量，骨重，骨密度，肌肉含量等等，那么，我们是不是发现了一些问题，进而把这些问题和我们之前靠经验和一拍脑袋的原因可以用逻辑联系在一起。 那么，我们接下来可以通过分析数据整理出我们的优化目标</p>
<ol>
<li>大文件排行榜里，有11张png文件的大小超过了100k，记住，这可是压缩之后的啊；</li>
<li>大文件排行榜里，resources.arsc的大小接近2M，这也是一个优化点；</li>
<li>大文件排行榜里，classes.dex接近3M，classes.dex是代码的载体，这块的优化需要细分，再去看看细分SDK的排行榜；</li>
<li>组件占比环图里，Android Support, Jackson JSON Parser和Google Play Services是三方库的前三甲；</li>
<li>文件类型排行榜里，png, dex 和arsc是前三甲；</li>
</ol>
<h1>0x02 梳理优化目标</h1>
<hr />
<p>所以我们的目标是没有蛀牙，不对，是下面的目标：</p>
<ol>
<li>png图片优化；</li>
<li>resources.arsc文件的优化；</li>
<li>代码优化</li>
</ol>
<h3>2.1图片优化的尝试</h3>
<p>首先是第一个目标，图片的优化，慢点，我们看看这些图为什么这么大先，准确的说，为什么这些图在apk（其实就是zip文件）里这么大，好了，上工具分析。</p>
<p>这次用了一些简单的工具组合，系统自带的cmd就好。</p>
<p><img src="http://static.wooyun.org//drops/20160330/201603301043235018199.jpg" alt="p9" /></p>
<p>命令执行的结果如下</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010432443466107.jpg" alt="p10" /></p>
<p>恩，所有的png文件居然是STORE的方式存储到apk里的，关于zip里的STORE和DEFLATE，<a href="https://en.wikipedia.org/wiki/Zip_(file_format">详见</a> )</p>
<p>通俗的说，当文件是STORED的方式存储到zip，表示这个文件并没有经过压缩，如果是Defl:N的方式，表示通过DEFLATED normal的方式压缩存储到zip。</p>
<p>这看起来有点不合理，png原封不动的放入zip，当然最后产出的apk会比较大。那么，如何解决呢？笔者首先尝使用android gradle plugin的方式，发现aaptOptions和packagingOptions都未能解决问题。在github上发现一个开源项目<a href="https://github.com/shwenzhang/AndResGuard">AndResGuard</a>，试了集成到项目中，再看结果如下：</p>
<p>优化前：</p>
<p><img src="http://static.wooyun.org//drops/20160330/20160330104326353871112.jpg" alt="p11" /></p>
<p>10536027字节</p>
<p>优化后：</p>
<p><img src="http://static.wooyun.org//drops/20160330/20160330104328909011210.jpg" alt="p12" /></p>
<ul>
<li>普通zip压缩： 8786265字节 （压缩了将近17%）</li>
<li>采用7zip压缩：8567150字节 （压缩了将近19%）</li>
</ul>
<p>再看看这个工具做了什么，对比下开启资源混淆前后</p>
<p>优化前</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010433079797139.jpg" alt="p13" /></p>
<p>优化后</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010433298064145.jpg" alt="p14" /></p>
<ol>
<li>资源（png, xml, jpg等）名称混淆，资源路径名称混淆以及名称长度压缩；</li>
<li>原来以STORED形式存储到zip中的png文件被改成了DEFLATED（普通压缩存储）方式；</li>
<li>意外发现<code>resources.arsc</code>,<code>META-INF/*.SF</code>以及<code>META-INF/*.MF</code>变小了，而且是解压之后的文件大小也变小了。</li>
</ol>
<p>用apk反编译神器<a href="https://github.com/skylot/jadx.git">jadx</a>内窥apk寻找真相</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010433439104154.jpg" alt="p15" /></p>
<p>原来apk中资源（png, xml，以及properties文件）的相对路径会存放到<code>META-INF/*.SF</code>以及<code>META-INF/*.MF</code>中并为每个资源文件计算SHA1值并存储在这两个文件中，至于为啥这么做以及这两个SHA1有啥区别和作用请参考网络上关于这方面知识的文章，已超出本文的主题所以这里不再赘述。</p>
<p>对于resources.arsc文件</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010433665712163.jpg" alt="p16" /></p>
<p>很容易看出来它是资源文件索引表，所以，看到这里大家应该明白这三个文件为啥会变小了吧。</p>
<h3>2.2一次意外的发现</h3>
<p>顺着resources.arsc往下看，发现一个有趣的东西，</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010433833912172.jpg" alt="p17" /></p>
<p>这又将成为一个优化点，去除那些没用的翻译资源，引入一些第三方的SDK，往往这些SDK带了很多翻译资源在里面，比如android support库，去掉后我们来看看效果。</p>
<p>假设我们只保留英文，当然只是个实验，现实中看具体情况了，</p>
<p>采用7zip压缩：8220738字节 （压缩了将近22%，再增加3个点）</p>
<p>当然，真实的项目里不可能这样，但是蚊子肉也是肉啊！</p>
<p>其实，我想说的是这提供了一种优化思路，就是利用gradle的配置干掉无用的资源，同样的可以用在so本地库上，分辨率（gradle配置已deprecated）上。</p>
<p>gradle配置示例如下：</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010433975060182.jpg" alt="p18" /></p>
<p>记得包在<code>android{}</code>中间哦。那么，有人要问了，abi里肿么没有x86？据说intel提供了一个解决方案叫houdini，是一个运行在x86设备上的中间件，可以将arm转码为x86的指令，不过效率很低，有些运算型的，比如计算MD5和SHA1，甚至不如java，笔者曾经做过测试对比，又是另外一个话题，此处不赘述，感兴趣的读者可以移步。</p>
<p>到此为止，我们已经在朝第一个目标迈进，不经意间发现了第一个目标和第二个目标之间的关系，所以利用资源混淆工具，达成了第二个目标。</p>
<p>利用7zip压缩，我们对整个包进行了2个点的压缩，这是一个超出预期的成果。</p>
<h3>2.3图片优化的方法</h3>
<p>关于第一个目标，我们的路径还没有结束，拍脑袋想出来的路径是压缩png，非alpha图转成jpg，还有什么？所以去各种技术论坛逛了一圈，请教了各种技术大牛，梳理的路径如下：</p>
<p>1.手动lint检查，手动删除代码中没有引用到的资源，实际效果不等。</p>
<p>在Android Studio中打开“Analyze” 然后选择"Inspect Code..."，范围选择整个项目，然后点击"OK"</p>
<p>配置如下图</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010434132054192.jpg" alt="p19" /></p>
<p>2.gradle脚本中开启shrinkResources</p>
<p>脚本参考如下</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010434267086201.jpg" alt="p20" /></p>
<p>shrinkResources配合minifyEnabled使用效果更佳，详见<a href="http://tools.android.com/tech-docs/new-build-system/resource-shrinking">shrinkResources</a>用法以及注意</p>
<p>采用7zip压缩：8115283字节 （压缩了将近23%，再增加1个点）</p>
<p>3.使用图片压缩工具，压缩png图的大小，将非alpha的图转换成jpg形式，关于这点同事以及网络上的大牛们已经整理的很详细了，我这里做简单总结，欲知详情，请见附录的参考。</p>
<ul>
<li>使用tinypng，我只想说咱们在公司做产品，此方案慎用，上传任何未发布产品的内容到外部网络，都有可能引起数据泄漏，所以慎用此方案。下面说替代方案。</li>
<li><a href="http://wasted.werk01.de/">WASTED</a></li>
<li><a href="http://pngquant.org/">pngquant</a></li>
<li><a href="https://pngmini.com/">ImageAlpha</a></li>
<li><a href="https://imageoptim.com/">ImageOptim</a></li>
<li>以上工具太散，有没有集成化的工具，答案是“有”，@心伦 童鞋开发的<a href="http://web.npm.alibaba-inc.com/package/@ali/imagemin">imagemin</a></li>
<li>@姐夫童鞋开发的<a href="http://gitlab.alibaba-inc.com/zhefu.wzf/MSImageResourcesHelper">MSImageResourcesHelper</a></li>
<li>png转成jpg格式 具体效果不等。</li>
</ul>
<p>4.终极大杀器，png转成webp，关于webp，更多详情请参考<a href="https://developers.google.com/speed/webp/">谷歌官方文档</a>以及<a href="http://developer.android.com/guide/appendix/media-formats.html">安卓开发者在线参考</a></p>
<p>先上效果图：</p>
<p><img src="http://static.wooyun.org//drops/20160330/2016033010434393826217.jpg" alt="p21" /></p>
<p>采用7zip压缩：4926912字节 （压缩了将近53%，再增加30个点）</p>
<p>没看错吧，是30个点，目前apk的大小是原始apk大小的一半不到，而我做的，一行代码木有改动，仅用了一些工具而已！</p>
<p>说人话，我木有吃减肥药，木有绝食，体重却轻了一半！！！</p>
<p>但是，目前却没能用到项目中，因为有两个坑</p>
<ul>
<li>在三星的部分机型上，部分有alpha背景部分的图会有一条很明显的黑线，这里就不上图了，这个问题目前通过白名单的方式不去做成webp的图来处理；</li>
<li>在小米2刷成4.xx的手机上，未能正确识别xml文件中描述的webp图片，导致界面起来后加载xml布局文件，文件加载webp失败，报错说resource file not found，导致app发生崩溃。跟踪发现是小米机器代理了类Resource为MIUIResource，但是这个MIUIResource未能正确识别webp，所以导致加载资源文件失败，初步判定，目前暂时没有解决方案，所以只能忍痛放弃这个优化方案。</li>
</ul>
<p>关于第一个目标，图片资源的优化，就写到这里了。</p>
<h3>2.4代码优化</h3>
<p>第二个目标已达成，剩下第三个目标，代码的优化，梳理如下优化路径：</p>
<p>1.开启proguard的代码优化</p>
<p>将proguardFiles getDefaultProguardFile('proguard-android.txt'),'proguard-project.txt'</p>
<p>改为proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'),'proguard-project.txt'</p>
<p>开启代码优化后的注意点请参见附录。</p>
<p>2.去除无用的库</p>
<p>如果apk支持的最低版本是API14,而代码中没有用到高于api14的api就可以考虑拿掉整个android support库。</p>
<p>3.用更小的库替代方案</p>
<p>如果只用到了谷歌统计，那么就不要把整个google play services都集成进来，只集成需要的部分。</p>
<p>4.定期清理废弃的代码</p>
<p>定期删除无用的逻辑和过期的业务功能模块，以及废弃的A/B test代码。</p>
<p>5.业务模块采用插件化框架，代码动态从云端拉取</p>
<p>插件化，这是另外一个课题了，这里不赘述。</p>
<p>apk瘦身记最终的成果</p>
<p><strong>10536027字节压缩到4926912字节, 压缩了将近53%</strong></p>
<h1>0x03 总结</h1>
<hr />
<p>~~~~华丽丽的分界线~~~~以下是<strong>总结</strong>~~~~</p>
<ol>
<li>脚本中开启资源混淆和资源压缩</li>
<li>用7zip代替zip</li>
<li>gradle脚本中开启代码混淆优化和无用资源删除</li>
<li>用更小的图，使用压缩工具压缩图片大小</li>
<li>去除无用的资源，语言，本地so库，二方三方库和分辨率</li>
<li>用更小的库</li>
<li>尝试将android support库彻底踢出你的项目</li>
<li>定期清理代码</li>
<li>尝试用H5编写界面，图片云端获取</li>
<li>尝试插件化业务模块</li>
<li>寻找到zip文件夹中所有用STORE形式存储的文件（不限于raw目录下），尝试压缩，以及替代方案加载这些资源</li>
<li><strong>尝试webp的图片加载方案，寻求突破</strong></li>
</ol>
<p><strong>最后，继续学习和尝试新的优化方案</strong></p>
<p>以此文献给“唯瘦身与产品不可辜负”的技术们！！！</p>
<h1>0x04 附录</h1>
<hr />
<ul>
<li><a href="http://blog.csdn.net/UsherFor/article/details/46827587">如何做到将apk大小减少6M</a></li>
<li><a href="http://www.jayfeng.com/2016/03/01/Android-APP%E7%BB%88%E6%9E%81%E7%98%A6%E8%BA%AB%E6%8C%87%E5%8D%97/">Android APP终极瘦身指南</a></li>
<li><a href="http://www.jayfeng.com/2015/12/29/APK%E7%98%A6%E8%BA%AB%E5%AE%9E%E8%B7%B5/">APK瘦身实践</a></li>
</ul>
<p>更多技术干货，请访问<a href="http://jaq.alibaba.com/community/index.htm">阿里聚安全博客</a></p> </p>
</body>
</html>