校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > 壓縮Redis里的字符串大對象操作

壓縮Redis里的字符串大對象操作

熱門標簽:貴州電銷卡外呼系統 超呼電話機器人 魔獸2青云地圖標注 北京400電話辦理收費標準 鄭州人工智能電銷機器人系統 日本中國地圖標注 山東外呼銷售系統招商 十堰營銷電銷機器人哪家便宜 宿遷便宜外呼系統平臺

背景

Redis緩存的字符串過大時會有問題。不超過10KB最好,最大不能超過1MB。

有幾個配置緩存,上千個flink任務調用,每個任務5分鐘命中一次,大小在5KB到6MB不等,因此需要壓縮。

第一種,使用gzip

/**
 * 使用gzip壓縮字符串
 */
public static String compress(String str) {
    if (str == null || str.length() == 0) {
        return str;
    }
    ByteArrayOutputStream out = new ByteArrayOutputStream();
    GZIPOutputStream gzip = null;
    try {
        gzip = new GZIPOutputStream(out);
        gzip.write(str.getBytes());
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        if (gzip != null) {
            try {
                gzip.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    return new sun.misc.BASE64Encoder().encode(out.toByteArray());
}
 
/**
 * 使用gzip解壓縮
 */
public static String uncompress(String compressedStr) {
    if (compressedStr == null || compressedStr.length() == 0) {
        return compressedStr;
    }
 
    ByteArrayOutputStream out = new ByteArrayOutputStream();
    ByteArrayInputStream in = null;
    GZIPInputStream ginzip = null;
    byte[] compressed = null;
    String decompressed = null;
    try {
        compressed = new sun.misc.BASE64Decoder().decodeBuffer(compressedStr);
        in = new ByteArrayInputStream(compressed);
        ginzip = new GZIPInputStream(in);
        byte[] buffer = new byte[1024];
        int offset = -1;
        while ((offset = ginzip.read(buffer)) != -1) {
            out.write(buffer, 0, offset);
        }
        decompressed = out.toString();
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        if (ginzip != null) {
            try {
                ginzip.close();
            } catch (IOException e) {
            }
        }
        if (in != null) {
            try {
                in.close();
            } catch (IOException e) {
            }
        }
        if (out != null) {
            try {
                out.close();
            } catch (IOException e) {
            }
        }
    }
    return decompressed;
}

第二種,使用Zstd

        !-- https://mvnrepository.com/artifact/com.github.luben/zstd-jni -->
        dependency>
            groupId>com.github.luben/groupId>
            artifactId>zstd-jni/artifactId>
            version>1.4.5-6/version>
        /dependency>
public class ConfigCacheUtil {
    private static ZstdDictCompress compressDict;
    private static ZstdDictDecompress decompressDict;
    private static final Integer LEVEL = 5;
    public static void train() throws IOException {
        // 初始化詞典對象
        String dictContent = FileUtils.readFileToString(new File("/Users/yangguang/vscode/text/cache.json"),
            StandardCharsets.UTF_8);
        byte[] dictBytes = dictContent.getBytes(StandardCharsets.UTF_8);
        compressDict = new ZstdDictCompress(dictBytes, LEVEL);
        decompressDict = new ZstdDictDecompress(dictBytes);
    }
    public static void main(String[] args) throws IOException {
        String read = FileUtils.readFileToString(new File("/Users/yangguang/vscode/text/cache.json"));
        ConfigCacheUtil.testGzip(read);
        System.out.println("");
        ConfigCacheUtil.test(read.getBytes());
        System.out.println("");
        ConfigCacheUtil.testByTrain(read.getBytes());
    }
    public static void testGzip(String str) {
        logger.info("初始數據: {}", str.length());
        // 壓縮數據
        long compressBeginTime = System.currentTimeMillis();
        String compressed = ConfigCacheUtil.compress(str);
        long compressEndTime = System.currentTimeMillis();
        logger.info("壓縮耗時: {}", compressEndTime - compressBeginTime);
        logger.info("數據大小: {}", compressed.length());
        // 解壓數據
        long decompressBeginTime = System.currentTimeMillis();
        // 第 3 個參數不能小于解壓后的字節數組的大小
        String decompressed = ConfigCacheUtil.uncompress(compressed);
        long decompressEndTime = System.currentTimeMillis();
        logger.info("解壓耗時: {}", decompressEndTime - decompressBeginTime);
        logger.info("數據大小: {}", decompressed.length());
    }
    
    public static void test(byte[] bytes) {
        logger.info("初始數據: {}", bytes.length);
        // 壓縮數據
        long compressBeginTime = System.currentTimeMillis();
        byte[] compressed = Zstd.compress(bytes);
        long compressEndTime = System.currentTimeMillis();
        logger.info("壓縮耗時: {}", compressEndTime - compressBeginTime);
        logger.info("數據大小: {}", compressed.length);
        // 解壓數據
        long decompressBeginTime = System.currentTimeMillis();
        // 第 3 個參數不能小于解壓后的字節數組的大小
        byte[] decompressed = Zstd.decompress(compressed, 20 * 1024 * 1024 * 8);
        long decompressEndTime = System.currentTimeMillis();
        logger.info("解壓耗時: {}", decompressEndTime - decompressBeginTime);
        logger.info("數據大小: {}", decompressed.length);
    }
    public static void testByTrain(byte[] bytes) throws IOException {
        ConfigCacheUtil.train();
        logger.info("初始數據: {}", bytes.length);
        // 壓縮數據
        long compressBeginTime = System.currentTimeMillis();
        byte[] compressed = Zstd.compress(bytes, compressDict);
        long compressEndTime = System.currentTimeMillis();
        logger.info("壓縮耗時: {}", compressEndTime - compressBeginTime);
        logger.info("數據大小: {}", compressed.length);
        // 解壓數據
        long decompressBeginTime = System.currentTimeMillis();
        // 第 3 個參數不能小于解壓后的字節數組的大小
        byte[] decompressed = Zstd.decompress(compressed, decompressDict, 20 * 1024 * 1024 * 8);
        long decompressEndTime = System.currentTimeMillis();
        logger.info("解壓耗時: {}", decompressEndTime - decompressBeginTime);
        logger.info("數據大小: {}", decompressed.length);
        compressDict.toString();
    }
}

輸出

5KB

2020-09-08 22:42:48 INFO ConfigCacheUtil:157 - 初始數據: 5541
2020-09-08 22:42:48 INFO ConfigCacheUtil:163 - 壓縮耗時: 2
2020-09-08 22:42:48 INFO ConfigCacheUtil:164 - 數據大小: 1236
2020-09-08 22:42:48 INFO ConfigCacheUtil:171 - 解壓耗時: 2
2020-09-08 22:42:48 INFO ConfigCacheUtil:172 - 數據大小: 5541

2020-09-08 22:42:48 INFO ConfigCacheUtil:176 - 初始數據: 5541
2020-09-08 22:42:48 INFO ConfigCacheUtil:182 - 壓縮耗時: 523
2020-09-08 22:42:48 INFO ConfigCacheUtil:183 - 數據大小: 972
2020-09-08 22:42:48 INFO ConfigCacheUtil:190 - 解壓耗時: 85
2020-09-08 22:42:48 INFO ConfigCacheUtil:191 - 數據大小: 5541

2020-09-08 22:42:48 INFO ConfigCacheUtil:196 - 初始數據: 5541
2020-09-08 22:42:48 INFO ConfigCacheUtil:202 - 壓縮耗時: 1
2020-09-08 22:42:48 INFO ConfigCacheUtil:203 - 數據大小: 919
2020-09-08 22:42:48 INFO ConfigCacheUtil:210 - 解壓耗時: 22
2020-09-08 22:42:48 INFO ConfigCacheUtil:211 - 數據大小: 5541

6MB

2020-09-08 22:44:06 INFO ConfigCacheUtil:158 - 初始數據: 5719269
2020-09-08 22:44:06 INFO ConfigCacheUtil:164 - 壓縮耗時: 129
2020-09-08 22:44:06 INFO ConfigCacheUtil:165 - 數據大小: 330090
2020-09-08 22:44:06 INFO ConfigCacheUtil:172 - 解壓耗時: 69
2020-09-08 22:44:06 INFO ConfigCacheUtil:173 - 數據大小: 5719269

2020-09-08 22:44:06 INFO ConfigCacheUtil:177 - 初始數據: 5874139
2020-09-08 22:44:06 INFO ConfigCacheUtil:183 - 壓縮耗時: 265
2020-09-08 22:44:06 INFO ConfigCacheUtil:184 - 數據大小: 201722
2020-09-08 22:44:06 INFO ConfigCacheUtil:191 - 解壓耗時: 81
2020-09-08 22:44:06 INFO ConfigCacheUtil:192 - 數據大小: 5874139

2020-09-08 22:44:06 INFO ConfigCacheUtil:197 - 初始數據: 5874139
2020-09-08 22:44:06 INFO ConfigCacheUtil:203 - 壓縮耗時: 42
2020-09-08 22:44:06 INFO ConfigCacheUtil:204 - 數據大小: 115423
2020-09-08 22:44:07 INFO ConfigCacheUtil:211 - 解壓耗時: 49
2020-09-08 22:44:07 INFO ConfigCacheUtil:212 - 數據大小: 5874139

Redis 壓縮列表

壓縮列表(ziplist)是列表鍵和哈希鍵的底層實現之一。當一個列表鍵只包含少量列表項,并且每個列表項要么就是小整數值,要么就是長度比較短的字符串,Redis就會使用壓縮列表來做列表鍵的底層實現。

下面看一下壓縮列表實現的列表鍵:

列表鍵里面包含的都是1、3、5、10086這樣的小整數值,以及''hello''、''world''這樣的短字符串。

再看一下壓縮列表實現的哈希鍵:

壓縮列表是Redis為了節約內存而開發的,是一系列特殊編碼的連續內存塊組成的順序型數據結構。

一個壓縮列表可以包含任意多個節點,每個節點可以保存一個字節數組或者一個整數值。

看一下壓縮列表的示例:

看一下包含五個節點的壓縮列表:

節點的encoding屬性記錄了節點的content屬性所保存數據的類型以及長度。

節點的content屬性負責保存節點的值,節點值可以是一個字節數組或者整數,值的類型和長度由節點的encoding屬性決定。

連鎖更新:

每個節點的previous_entry_length屬性都記錄了前一個節點的長度,那么當前一個節點的長度從254以下變成254以上時,本節點的存儲前一個節點的長度的previous_entry_length就需要從1字節變為5字節。

那么后面的節點的previous_entry_length屬性也有可能更新。不過連鎖更新的幾率并不大。

總結:

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • 詳解redis數據結構之壓縮列表
  • Redis字符串對象實用筆記
  • 壓縮列表犧牲速度來節省內存,Redis是膨脹了嗎
  • Redis字符串原理的深入理解

標簽:北京 大慶 楊凌 果洛 臺州 吉安 朝陽 江蘇

巨人網絡通訊聲明:本文標題《壓縮Redis里的字符串大對象操作》,本文關鍵詞  壓縮,Redis,里,的,字符串,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《壓縮Redis里的字符串大對象操作》相關的同類信息!
  • 本頁收集關于壓縮Redis里的字符串大對象操作的相關信息資訊供網民參考!
  • 推薦文章
    校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃
    日本不卡1234视频| 亚洲欧洲99久久| 韩国三级在线一区| 日韩视频国产视频| 国产一区二区三区综合| 久久精品夜色噜噜亚洲a∨| 国产激情一区二区三区桃花岛亚洲| 26uuu国产一区二区三区| 国产精品资源网站| 中文字幕日韩av资源站| 色婷婷亚洲婷婷| 亚洲制服丝袜av| 日韩精品一区二区三区swag| 高清不卡一区二区| 亚洲欧美日韩电影| 日韩欧美国产一区二区三区 | 色菇凉天天综合网| 日韩黄色小视频| 日本一区二区三区久久久久久久久不 | 国产一区二区三区四区五区入口 | 亚洲sss视频在线视频| 精品人在线二区三区| 成人99免费视频| 日韩专区中文字幕一区二区| 2020国产精品久久精品美国| 91网站在线观看视频| 男人的天堂亚洲一区| 国产精品第五页| 欧美一二三四区在线| av亚洲精华国产精华精华| 亚洲电影你懂得| 中文字幕精品综合| 91精品在线免费观看| 99精品桃花视频在线观看| 午夜精品影院在线观看| 亚洲国产精品传媒在线观看| 欧美一区二区三区免费在线看| 不卡一区二区在线| 免费高清在线一区| 亚洲一区二区三区美女| 久久久久久久久久看片| 欧美日本乱大交xxxxx| av不卡免费电影| 激情亚洲综合在线| 日韩二区三区四区| 亚洲蜜桃精久久久久久久| 国产欧美日韩综合| 亚洲精品一区二区三区四区高清 | 在线免费av一区| 国产一区91精品张津瑜| 人人精品人人爱| 亚洲电影欧美电影有声小说| 中文字幕日本乱码精品影院| 国产亚洲精品久| 久久无码av三级| 精品欧美久久久| 欧美久久高跟鞋激| 欧洲视频一区二区| 色综合天天狠狠| 91丝袜美女网| 91在线小视频| 99久久精品一区二区| 国产福利精品导航| 国产成人自拍高清视频在线免费播放| 美日韩黄色大片| 日韩高清不卡一区| 日韩高清国产一区在线| 午夜精品123| 日韩av电影免费观看高清完整版在线观看| 一区二区三区在线视频免费| 日韩伦理电影网| 亚洲欧美影音先锋| 亚洲色大成网站www久久九九| 欧美极品美女视频| 中文字幕欧美国产| 亚洲欧洲日产国码二区| 椎名由奈av一区二区三区| 国产精品久久久久久一区二区三区 | 91免费看视频| 色8久久人人97超碰香蕉987| 色妹子一区二区| 在线一区二区观看| 欧美日韩精品专区| 欧美乱妇15p| 欧美成人aa大片| 久久99久久久久| 亚洲大型综合色站| 国产一二精品视频| 麻豆成人av在线| 国产一区二区三区免费看 | 精品一区二区三区的国产在线播放 | 国产精品视频一区二区三区不卡| 久久久亚洲欧洲日产国码αv| 欧美成人激情免费网| 久久日一线二线三线suv| 久久久久国产精品厨房| 中文字幕日本乱码精品影院| 一级中文字幕一区二区| 日韩高清欧美激情| 国产成人免费网站| 91福利国产成人精品照片| 欧美午夜免费电影| 精品国产麻豆免费人成网站| 亚洲国产精品激情在线观看| 一区二区三区蜜桃| 国模套图日韩精品一区二区| 不卡视频免费播放| 7777精品伊人久久久大香线蕉 | 久久成人免费网站| 99天天综合性| 欧美精品色综合| 国产亚洲欧美日韩在线一区| 亚洲人成伊人成综合网小说| 男男gaygay亚洲| 99久久婷婷国产综合精品| 欧美二区三区的天堂| 国产日韩精品一区二区三区在线| 亚洲一级二级在线| 国产不卡在线播放| 欧美日本一道本| 成人欧美一区二区三区白人| 蜜臀av性久久久久蜜臀aⅴ| 91小宝寻花一区二区三区| 精品入口麻豆88视频| 亚洲女同ⅹxx女同tv| 久久99最新地址| 欧美色综合久久| 国产精品乱人伦| 久久国产麻豆精品| 欧美视频精品在线| 国产精品福利在线播放| 久久97超碰色| 欧美精品久久99久久在免费线| 国产精品免费视频一区| 国产又粗又猛又爽又黄91精品| 欧美视频一区二区| 美女视频免费一区| 91社区在线播放| 国产女人18毛片水真多成人如厕| 日韩精品一级二级 | 久久综合九色欧美综合狠狠| 一区二区在线观看视频在线观看| 国产传媒久久文化传媒| 欧美大度的电影原声| 五月婷婷综合网| 欧美伊人久久久久久午夜久久久久| 国产无遮挡一区二区三区毛片日本| 男女男精品视频| 欧美日韩精品一区视频| 亚洲国产日韩精品| 色婷婷久久久综合中文字幕| 日韩一区中文字幕| 不卡在线视频中文字幕| 国产精品乱码久久久久久| 国产精品一品视频| 久久综合av免费| 毛片基地黄久久久久久天堂| 欧美一区二区三区视频在线 | 激情六月婷婷久久| 日韩欧美中文一区二区| 天堂av在线一区| 欧美一区二区三区喷汁尤物| 日韩中文字幕区一区有砖一区| 色先锋久久av资源部| 亚洲欧美另类久久久精品| 一本大道av伊人久久综合| 亚洲人成在线观看一区二区| 色综合天天综合在线视频| 亚洲色图一区二区| 在线亚洲免费视频| 香港成人在线视频| 欧美成人激情免费网| 韩国女主播一区| 中文字幕精品综合| 色综合久久天天综合网| 一区二区三区四区高清精品免费观看 | 日韩免费高清电影| 国产综合久久久久久鬼色| 久久精品日产第一区二区三区高清版| 狠狠网亚洲精品| 亚洲国产精品久久久男人的天堂| 在线观看成人小视频| 日韩福利视频导航| 久久精品人人做人人综合| 国产成人精品免费一区二区| |精品福利一区二区三区| 日本道精品一区二区三区| 亚洲国产另类av| 日韩欧美一区二区视频| 国产激情一区二区三区桃花岛亚洲| 国产欧美日韩精品在线| 91毛片在线观看| 日本怡春院一区二区| 久久久五月婷婷| 色婷婷av一区二区三区大白胸| 视频一区欧美精品| 久久久.com| 欧美在线高清视频| 精品影院一区二区久久久| 国产精品国产三级国产aⅴ原创 |