美图秀秀APP协议分析--签名分析

0x01、 目标需求:

  .a) 美图秀秀APP的接口参数以及相关的签名获取的方式

  .b) 通过关键字来搜索我们想要的数据

0x02、分析背景:

  .a) 美图秀秀APP

  .b) APP版本9.0.8.0(目前最新)

  .c) 软件无壳

  .d) 软件通讯过程中采取了签名验证的方式,返回数据无加密

0x03、分析流程:

  .a) 通过数据包抓取或敏感函数hook方式获得接口功能

  .b) 通过函数内部参数的组装继续分析参数的来源以及加密的流程

0x04、抓取数据包:

  .a) 截图如下：

    0x001. 抓包分析,首次打开软件会有一个设备注册的接口,上传的设备信息不多,可以构造,主要是sig,sigVersion,sigTime 这三个签名会校验数据的正确性,由于签入了时间戳信息,所以数据即便相同,返回的结果每次都不同,先说一下抓包配置,因为有一些小伙伴可能抓不到一些APP的包.

#通过命令行把Charles 的tcp代理端口转发到手机上
#然后通过手机APP Clash的安卓端 来连接127.0.0.1 的8889端口上
#Clash配置文件有需要的加我QQ
adb reverse tcp:8889 tcp:8889

0x05、分析数据字段来源:



    0x001. 老规矩jadx-gui 搜索关键字,由于我已经分析完毕了，代码也写完了，所以我知道是哪个类,如果不知道的话就挨个看一下，注意区分类名.

    0x002. 使用Frida hook 该函数可以得传入的参数各个值.

//frida 代码如下

Java.perform(function(){
    var s = Java.use("com.meitu.secret.SigEntity");
    s.generatorSig.overload('java.lang.String', '[Ljava.lang.String;', 'java.lang.String', 'java.lang.Object').implementation = function(v1,v2,v3,v4){
        console.log("v1: \t" + v1);
        console.log("v2: \t" + v2);
        console.log("v3: \t" + v3);
        console.log("v4: \t" + v4);
        var res = s.generatorSig(v1,v2,v3,v4);
        console.log("4个参数返回值为:" + res.sig.value);
        
        var res2 = s.generatorSig(v1,v2,v3);
        console.log("三个参数返回值为:" + res2.sig.value);
        return res2;
    }
})

    0x003. 由上图可以得知,两个函数调用哪个都是没问题的,都是有效的，都可以用,静态分析so release_sig
    参数1: 请求地址的uri 域名后的路径不携带问号后的参数
    参数2: 数String类型的数组,可以得知,该参数为url的问号后的参数的value值,经过测试,该参数我本以为是要字典排序，但是发现顺序并不是字典排序,我手动调整了下参数顺序,并不影响请求结果,所以这里顺序不要求,应该是在so内做的排序,服务器端也是收到后获取所有的参数 在排序加密，校验。
    参数3: 固定值 6184556633574670337 应该是个加密的密钥之类的东西

    0x004. 提取so文件以及安卓代码,代码如下(合适的地方直接调用SigEntity.generatorSig(str1,str2,str3);即可,返回值为SigEntity,直接获取sig,sigVersion,sigTime 三个字段值即可):

package com.meitu.secret;

import android.content.Context;
import android.util.Log;

/**
 * 美图秀秀Sig签名处理
 */
public class SigEntity {
    private static final String SO_NAME = "release_sig";
    public String finalString;
    public String sig;
    public String sigTime;
    public String sigVersion;

    static {
        System.loadLibrary(SO_NAME);
    }
    public SigEntity(String str, String str2, String str3) {
        this.sigTime = str;
        this.sigVersion = str2;
        this.sig = str3;
    }

    public SigEntity(String str, String str2, String str3, String str4) {
        this.sigTime = str;
        this.sigVersion = str2;
        this.sig = str3;
        this.finalString = str4;
    }



    public static native SigEntity nativeGeneratorSig(String str, byte[][] bArr, String str2, Object obj);

    public static native SigEntity nativeGeneratorSigFinal(String str, byte[][] bArr, String str2, Object obj);

    public static native SigEntity nativeGeneratorSigOld(String str, byte[][] bArr, String str2);


    public static SigEntity generatorSig(String str, String[] strArr, String str2, Object obj) throws Exception {
        if (str == null || strArr == null || str2 == null || obj == null) {
            throw new Exception("path or params[] or appId or mContext must not be null.");
        } else if (obj instanceof Context) {
            byte[][] bArr = new byte[strArr.length][];
            for (int i = 0; i < strArr.length; i++) {
                if (strArr[i] == null) {
                    Log.e("SigEntity", str + " params[" + i + "] is null, encryption result by server maybe failed.");
                    strArr[i] = "";
                }
                bArr[i] = strArr[i].getBytes();
            }
            try {
                return nativeGeneratorSig(str, bArr, str2, obj);
            } catch (UnsatisfiedLinkError unused) {
                return nativeGeneratorSig(str, bArr, str2, obj);
            }
        } else {
            throw new Exception("mContext must be Context!");
        }
    }

    public static SigEntity generatorSig(String str, String[] strArr, String str2) throws Exception {
        if (str == null || strArr == null || str2 == null) {
            throw new Exception("path or params[] or appId must not be null.");
        }
        byte[][] bArr = new byte[strArr.length][];
        for (int i = 0; i < strArr.length; i++) {
            if (strArr[i] == null) {
                Log.e("SigEntity", str + " params[" + i + "] is null, encryption result by server maybe failed.");
                strArr[i] = "";
            }
            bArr[i] = strArr[i].getBytes();
        }
        return nativeGeneratorSigOld(str, bArr, str2);
    }

    public static SigEntity generatorSigWithFinal(String str, String[] strArr, String str2, Object obj) throws Exception {
        if (str == null || strArr == null || str2 == null) {
            throw new Exception("path or params[] or appId must not be null.");
        }
        byte[][] bArr = new byte[strArr.length][];
        for (int i = 0; i < strArr.length; i++) {
            if (strArr[i] == null) {
                Log.e("SigEntity", str + " params[" + i + "] is null, encryption result by server maybe failed.");
                strArr[i] = "";
            }
            bArr[i] = strArr[i].getBytes();
        }
        return nativeGeneratorSigFinal(str, bArr, str2, obj);
    }


}

    0x005. 服务器返回数据结构分析:

    0x006. java代码如下:

package com.crawl.main;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.crawl.utils.HttpTools;
import com.crawl.utils.HttpsTools;
import okhttp3.Call;
import okhttp3.OkHttpClient;
import okhttp3.Request;
import okhttp3.Response;
import org.apache.commons.lang3.StringUtils;
import org.openqa.selenium.remote.http.HttpClient;

import java.io.IOException;
import java.net.URLEncoder;
import java.nio.file.attribute.AclEntry;
import java.util.*;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

/**
 * @project: zhihuDemo
 * @package: com.crawl.main
 * @Description: 美图秀秀最新版9.0.8.0搜索接口爬虫
 * @Since: 1.8.0_111
 * @Auther MyPC, QuJianJun
 * @Email: 8577352@qq.com
 * @Date: 2021-01-13 00:10:33
 */

public class MeiTuSearchMain {

    static final String MEITUXIUXIU_SEARCH_API_URL = "http://api.xiuxiu.meitu.com/v1/search/feeds.json";
    static String ENCRYPT_API_URL = "http://49.232.3.169:7788/?type=meitu";
    public static void main(String[] args) {
//        System.setProperty("proxyType", "4");
//        System.setProperty("proxySet", "true");
//        System.setProperty("proxyHost", "127.0.0.1");
//        System.setProperty("proxyPort", "8888");
        //,"除暴","沐浴之王"
        String[] keyWords = {"丁真"};
        //线程池数量,根据关键词数量开启多线程
        ExecutorService executor = Executors.newFixedThreadPool(keyWords.length);
        for (String keyWord: keyWords){
            executor.execute(new Runnable() {
                @Override
                public void run() {
                    //调用请求函数,获取搜索数据
                    startSearch(keyWord,"");
                }
            });
        }
    }

    /**
     * 开始搜索关键词,分页没写,页码参数为cursor从返回数据内获取,传入递归调用即可.
     * @param keyWord
     */
    public static void startSearch(String keyWord, String cursor){
        //构造请求参数,开始组装组装参数
        Map<String,String> map = new HashMap<>();
        if (StringUtils.isNotBlank(cursor)){
            map.put("cursor",cursor);
        }
        map.put("client_timestamp",String.valueOf(System.currentTimeMillis()));
        map.put("client_operator","中国联通");
        map.put("client_timezone","GMT+8");
        map.put("is_gdpr","0");
        map.put("gid","2430718148");
        map.put("client_channel_id","taobao");
        map.put("client_model",genSixToSixteenPsw(5).toUpperCase());
        map.put("client_brand","Redmi");
        map.put("resolution","1080*2196");
        map.put("client_language","zh_CN");
        map.put("client_id","1089867602");
        map.put("home_style","10");
        map.put("runtimeMaxMemory","512");
        map.put("ad_sdk_version","4.23.20");
        map.put("client_os","10");
        map.put("feed_sort","normal");
        map.put("is_test","0");
        map.put("keyword", keyWord);
        map.put("is_privacy","0");
        map.put("client_network","4G");
        map.put("user_agent","mtxx-9080-Xiaomi-M2003J15SC-android-10-"+genSixToSixteenPsw(7));
        map.put("oaid",genSixToSixteenPsw(16));
        map.put("ram","3754");
        map.put("count","12");
        map.put("version","9.0.8.0");
        map.put("personality_not_recommend","0");
        map.put("community_version","2.0.0");
        map.put("country_code","CN");
        map.put("app_hot_start_times","0");
        //is_video == 1 只搜索视频,0搜索全部
        map.put("is_video","1");
        map.put("attachFlag","153");
        map.put("android_sdk_int","29");
        map.put("is64Bit","0");
        map.put("is_device_support_64","1");
        map.put("android_id",genSixToSixteenPsw(16));
        //机器是否root,这里给0 未root
        map.put("client_is_root","0");
        List<String> list = new ArrayList<>();
        for (Map.Entry m : map.entrySet()){
            list.add(map.get(m.getKey()));
        }
        String encryptArr = JSONObject.toJSONString(list);
//        System.out.println(encryptArr);
        //请求加密服务，获取加密结果
        String res = HttpTools.sendPost(ENCRYPT_API_URL,encryptArr,null);
        //解析加密结果
        int code = JSONObject.parseObject(res).getInteger("code");
        if (code == 200){
            res = JSONObject.parseObject(res).getString("data");
            String sig = JSONObject.parseObject(res).getString("sig");
            String sigVersion = JSONObject.parseObject(res).getString("sigVersion");
            String sigTime = JSONObject.parseObject(res).getString("sigTime");
            System.out.println("sig:"+sig+"\tsigVersion:"+sigVersion+"\tsigTime:"+sigTime);
            map.put("sig",sig);
            map.put("sigVersion",sigVersion);
            map.put("sigTime",sigTime);
        }else{
            System.out.println("签名服务返回状态码错误...");
            return;
        }

        //准备请求 美图秀秀服务器获取数据
        okhttp3.OkHttpClient client = new OkHttpClient();
        Request request = new Request.Builder()
                .url(MEITUXIUXIU_SEARCH_API_URL+"?"+mapToParam(map))
                .addHeader("User-Agent",map.get("user_agent"))
                .addHeader("Connection","keep-alive")
                .build();
        Call call = client.newCall(request);
        try {
            Response response = call.execute();
            res = response.body().string();
        } catch (IOException e) {
            e.printStackTrace();
        }
        int errorCode = JSONObject.parseObject(res).getInteger("error_code");
        if (errorCode == 0){
            //数据返回成功，开始解析,获取data字段数据
            String data = JSONObject.parseObject(res).getString("data");
            //遍历列表数据
            JSONArray jsonArray = JSONObject.parseObject(data).getJSONArray("items");
            for (Object item : jsonArray){
                //源 ID
                String feedId = JSONObject.parseObject(item.toString()).getString("feed_id");
                // 标题
                String title = JSONObject.parseObject(item.toString()).getString("title");
                //经度
                String lng = JSONObject.parseObject(item.toString()).getString("lng");
                //纬度
                String lat = JSONObject.parseObject(item.toString()).getString("lat");
                //喜欢次数 点赞次数
                String likeCount = JSONObject.parseObject(item.toString()).getString("like_count");
                //展示次数
                String viewCount = JSONObject.parseObject(item.toString()).getString("view_count");
                //评论次数
                String commentCount = JSONObject.parseObject(item.toString()).getString("comment_count");
                //创建时间
                String createTime = JSONObject.parseObject(item.toString()).getString("create_time");
                //用户id
                int userId = JSONObject.parseObject(item.toString()).getJSONObject("user").getInteger("uid");
                //用户昵称
                String nickName = JSONObject.parseObject(item.toString()).getJSONObject("user").getString("screen_name");
                //用户头像url
                String headImage = JSONObject.parseObject(item.toString()).getJSONObject("user").getString("avatar_url");
                //用户描述信息
                String description = JSONObject.parseObject(item.toString()).getJSONObject("user").getString("desc");
                //媒体信息数组
                String url = "无数据...";
                if(JSONObject.parseObject(item.toString()).getJSONArray("medias").size()>0) {
                    JSONObject medias = JSONObject.parseObject(item.toString()).getJSONArray("medias").getJSONObject(0);
                    String mediaId = medias.getString("media_id");
                    String type = medias.getString("type");
                    //这个url可能会过期
                    url = medias.getString("url");
                    String text = medias.getString("text");
                    String width = medias.getString("width");
                    String height = medias.getString("height");
                    String duration = medias.getString("duration");
                    String file_size = medias.getString("file_size");
                    //这个请求后还需再次解析,这个应该是不会过期的url
                    String dispatch_video = medias.getString("dispatch_video");
                    String coverUrl = medias.getString("cover_url");
                }
                System.out.println(String.format("作者昵称:[%s], 标题:[%s], 播放次数:[%s], 点赞次数:[%s], 评论次数:[%s], 视频地址:[%s]",nickName,title,viewCount,likeCount,commentCount,url));
            }



            cursor = JSONObject.parseObject(data).getString("next_cursor");
            if (StringUtils.isBlank(cursor)){
                System.out.println("没有更多数据了,退出.");
                return;
            }else{
                System.out.println("开始翻页操作...");
                //递归调用翻页操作
                startSearch(keyWord,cursor);
            }

        }else{
            System.out.println(String.format("美图服务器返回错误,{%s}", res));
        }
    }

    /**
     * map转url参数
     * @param map
     * @return
     */
    public static String mapToParam(Map<String,String> map){
        StringBuilder sb = new StringBuilder();
        for(Map.Entry entry: map.entrySet()){
            String key = entry.getKey().toString();
            //特殊原因 Url编码后 空格会变成加号服务器接收到后就丢失了所以这里编码后替换成%20,
            sb.append(key + "=" + URLEncoder.encode(map.get(key)) + "&");
        }
        return sb.substring(0,sb.toString().length()-1);
    }
    /**
     * 获取指定长度的随机数 到小写
     * @param length
     * @return
     */
    public static String genSixToSixteenPsw(int length) {
        String val = "";
        Random random = new Random();
        for (int i = 0; i < length; i++) {
            // 输出字母还是数字
            String charOrNum = random.nextInt(2) % 2 == 0 ? "char" : "num";
            // 字符串
            if ("char".equalsIgnoreCase(charOrNum)) {
                //取得大写字母还是小写字母
                int choice = random.nextInt(2) % 2 == 0 ? 65 : 97;
                val += (char) (choice + random.nextInt(26));
            } else if ("num".equalsIgnoreCase(charOrNum)) {
                // 数字
                val += String.valueOf(random.nextInt(10));
            }
        }
        return  val.toLowerCase();
    }


}

0x06、测试代码:



    0x001. 测试运行结果:

0x07、soHook分析算法:



  0x001. hook关键so(经过分析,得出的结果需要进行单双位互换即可),算法为MD5

  0x002. Frida Hook 代码所在位置 Gitee

友情提示:本文只为技术分享交流,请勿非法用途.产生一切法律问题与本人无关

---

在浏览的同时希望给予作者打赏,来支持作者的服务器维护费用.一分也是爱~