m3u8解码和合并工具

AES-128解密函数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
/**
  * 解密文件
  * @param sourcePath 源文件
  * @param destinationPath 保存的文件
  * @param key 密钥
  */
public static void decryptFile(String sourcePath,String destinationPath,String key) throws Exception {
    File outFile = new File(destinationPath);
    if (!outFile.exists()){
        outFile.createNewFile();
    }
    // 待解密的文件输入流
    FileInputStream fis = new FileInputStream(sourcePath);
    FileOutputStream fos = new FileOutputStream(outFile);

    Cipher cipher = Cipher.getInstance("AES/CBC/PKCS5Padding");
      byte[] bytes = key.getBytes();
    SecretKeySpec secretKey = new SecretKeySpec(bytes,"AES");
    IvParameterSpec iv = new IvParameterSpec(key.getBytes());
    cipher.init(Cipher.DECRYPT_MODE,secretKey,iv);
    // 解密流
    CipherInputStream cis = new CipherInputStream(fis,cipher);
    byte[] buffer = new byte[1024];
    int n = 0;
    while ((n = cis.read(buffer)) != -1){
        fos.write(buffer,0,n);
    }
    System.out.println("解密成功:");
    cis.close();
    fos.close();
}

主类

用来识别m3u8文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
public static void main(String[] args) {
    String sourcePath ="G:\\win下载\\m3u8\\";
    String destination = "G:\\win下载\\m3u8\\";
    String m3u8 = "G:\\win下载\\m3u8\\m3u8.m3u8";
    String key = "tkr87ysao6qehn95";
    FileReader fileReader = null;
    BufferedReader reader = null;
    ArrayList<String> files = new ArrayList<>();
    try{
        fileReader = new FileReader(m3u8);
        reader = new BufferedReader(fileReader);
        String filename = null;
        while (( filename = reader.readLine())!=null){
            if(filename.charAt(0)!='#'){
                files.add(filename);
            }
        }
        if(fileReader!=null){
            fileReader.close();
        }
        if(reader!=null){
            reader.close();
        }
    }catch (IOException e){
        e.printStackTrace();
    }

    int partSize = files.size();
    String sourceFile;
    String destFile;
    try{
        for(int i=0;i < partSize ;i++){
            sourceFile = sourcePath + files.get(i);
            destFile = destination + "e"+files.get(i);
            EncryFileUtil.decryptFile(sourceFile,destFile,key);
        }
        System.out.println("========全部解密成功============");
    }catch (Exception e){
        e.printStackTrace();
    }
    try {
        // 合并数据
        String mergeFilePath = sourcePath+"merge.ts";
        FileOutputStream mergeFile = new FileOutputStream(mergeFilePath);
        for (int i=0;i<partSize;i++){
            String encodeFile = sourcePath +"e"+files.get(i);
            FileInputStream inputStream = new FileInputStream(encodeFile);
            byte[] buffer = new byte[1024];
            int n=0;
            while ((n = inputStream.read(buffer))!= -1){
                mergeFile.write(buffer,0,n);
            }
            inputStream.close();
        }
        System.out.println("合并数据成功");
    }catch (IOException e){
        e.printStackTrace();
    }
}

展开全文 >>

blibli动态9宫格图片下载脚本

涉及到的技术点

  • js控制样式和类
  • DOM的节点添加和删除
  • 原生的xhr
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
window.downloadImage = function (url) {
  var timeout = Math.random() * 5000;
  this.setTimeout(function () {
    var xhr = new XMLHttpRequest();
    xhr.open("get", url, true);
    xhr.responseType = "blob";
    xhr.onload = function () {
      if (this.status == 200) {
        var blob = this.response;
        var downloadElement = document.createElement('a');
        var href = window.URL.createObjectURL(blob); //创建下载的链接
        downloadElement.href = href;
        downloadElement.download = name; //下载后文件名
        document.body.appendChild(downloadElement);
        downloadElement.click(); //点击下载
        document.body.removeChild(downloadElement); //下载完成移除元素
        window.URL.revokeObjectURL(href); //释放掉blob对象
      }
    }
    xhr.send()
  }, timeout);
}

window.insertButtons = function (element) {
  console.log("=== element =======");
  console.log(element);
  console.log("=== end ========== ");
  var button = document.createElement("button");
  button.addEventListener("click", function () {
    console.log(element);
    // 获得该box的9个图片的url
    var urlList = element.firstElementChild.firstElementChild.children;
    for (var i = 0; i < urlList.length; i++) {
      var url = "https:" + urlList[i].firstElementChild.style.backgroundImage.split("url")[1].replace(/[\(\)\"]/g, "").split("@")[0].trim();
      console.log(url);
      // console.log(timeout);
      window.downloadImage(url);
    }
  });
  // button.style.backgroundColor = "#3388ff";
  // button.style.color = "white";
  button.style.borderRadius="10px";
  button.style.height = "35px";
  button.style.backgroundColor="white";
  button.style.opacity= "0.5";
  button.style.borderWidth="thin";
  button.style.position="absolute";
  button.classList.add("downBtn");
  button.innerText = "下载该九宫格的图片";
  element.append(button);
}

window.initImageBox = function(){
  // 先清除按钮
  var allDownBtn = document.getElementsByClassName("downBtn");
  var btnLength = allDownBtn.length;
  for(let i = 0;i < btnLength;i++){
      allDownBtn[0].remove();
  }
  var allImagesBox = document.getElementsByClassName("imagesbox");
  // 每个动态插入下载图片按钮
  console.log("=======allImagesBox======");
  console.log(allImagesBox);
  console.log("=======end============");
  for (var i = 0; i < allImagesBox.length; i++) {
    var element22 = allImagesBox[i];
      console.log("i="+i);
    window.insertButtons(element22);
  }
  console.log("call back initImageBox")
}
function insertFreshButton(){
    var freshButton = document.createElement("button");
    freshButton.style.backgroundColor = "#ABD6E6";
    freshButton.style.position = "fixed";
    freshButton.style.right="60px";
    // var buttonTop = screen.height / 2;
    // freshButton.style.top= buttonTop +"px";
    freshButton.style.bottom="40px";
    freshButton.style.zIndex="99";
    freshButton.style.color = "white";
    freshButton.style.borderWidth="thin";
    freshButton.style.height = "40px";
    freshButton.innerText = "刷新/查看下载按钮";
    freshButton.setAttribute("onclick","initImageBox()");
    document.body.append(freshButton);
}
(function() {
    'use strict';
    // Your code here...
    insertFreshButton()
})();

展开全文 >>

一键下载blibli的专栏图片 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
window.downloadImage = function (url) {
  console.log(url);
  var timeout = Math.random() * 5000;
  // return;
  setTimeout(function () {
    var xhr = new XMLHttpRequest();
    xhr.open("get", url, true);
    xhr.responseType = "blob";
    xhr.onload = function () {
      if (this.status == 200) {
        var blob = this.response;
        var downloadElement = document.createElement('a');
        var href = window.URL.createObjectURL(blob); //创建下载的链接
        downloadElement.href = href;
        downloadElement.download = name; //下载后文件名
        document.body.appendChild(downloadElement);
        downloadElement.click(); //点击下载
        document.body.removeChild(downloadElement); //下载完成移除元素
        window.URL.revokeObjectURL(href); //释放掉blob对象
      }
    }
    xhr.send()
  }, timeout);
}
window.getImage =function(){
  var imageBox = document.getElementsByClassName("img-box");
  var message = "确认下载该cv的图片?"
  if (confirm(message) === true) {
    for (var i = 0; imageBox.length; i++) {
      var html = imageBox[i].innerHTML;
      // console.log(html);
      var pattern = /src=[\'\"]?([^\'\"]*)[\'\"]/i
      var srcs = pattern.exec(html)
      console.log(srcs[0]);
      var imgSrc = "https:" + srcs[0].split("=")[1].replace(/\"/g, "").split("@")[0].trim();
      window.downloadImage(imgSrc);
    }
  }
}
function insertButton(){
  var button = document.createElement("button");
  button.setAttribute("value","下载图片");
  button.setAttribute("onclick","getImage()");
  button.style.backgroundColor="#66C6E7";
  button.style.height="40px";
  button.style.color="white";
  button.innerText = "下载该cv的图片"
  document.getElementsByClassName("fixed-box")[0].append(button);
}
(function() {
    insertButton();
})();

展开全文 >>

shiro使用

shiro核心对象和方法

核心对象 Subject

使用Subject currentUser = SecurityUtils.getSubject();
该条语句是获得当前的用户。

常用方法
  • subject.login(AuthenticationToken token)登陆。这种登陆是给shiro的认证机制登陆的。
    1
    2
    3
    4
    5
    6
    7
    AuthenticationToken token =
    new UsernamePasswordToken(username, password);

    //2. 获取当前 Subject：
    Subject currentUser = SecurityUtils.getSubject();
    //3. 登录： 
    currentUser.login(token);
  • boolean subject.hasRole("administrator")
    判断是否有某个角色.
  • 权限检查 boolean subject.isPermitted("user:create")
    是否有user的create权限

    shiro使用

    工作流程如下:
    Subject是我们可以操作的接口。
    Realm是配置shiro的核心领域。包括账号验证、加密解密、权限的配置
    流程
    内部的架构如下

    相关说明:
  • SecurityManager:相当于SpringMVC 中的 DispatcherServlet；是 Shiro 的心脏;所有具体的交互都通过 SecurityManager 进行控制；它管理着所有 Subject、且负责进行认证、授权、会话及缓存的管理
  • Authenticator: 负责 Subject 认证，是一个扩展点，可以自定义实现；可以使用认证策略（Authentication Strategy），即什么情况下算用户认证通过了
  • Authorizer: 授权器、 即访问控制器，用来决定主体是否有权限进行相应的操作；即控制着用户能访问应用中的哪些功能
  • Realm:可以有一个或多个Realm,可以认为是安全实体数据源，即用于获得安全实体的;可以是JDBC实现，也可以是内存实现等。由用户提供，应用中要自己实现自己的Realm;
  • SessionManager: 管理Session生命周期的组件;Shiro不仅可以用在Web环境。普通的JavaSE环境也可以使用session.和httpServletSession差不多的接口。
  • CacheManager:缓存控制器，用来管理用户、角色、权限等的缓存;
  • Cryptography:加密和解密模块。内置了加密和解密的模块,不需要自己将前台的明文密码加密后再和数据中的加密的密码比较。shiro会自动调用加密模块然后完成比较。
shiro默认过滤器
  • anon 所属类:org.apache.shiro.web.filter.authc.AnonymousFilter 没有参数,可以匿名使用。例如: /admin/** = anon
  • authc 所属类:org.apache.shiro.web.filter.authc.FormAuthenticationFilter 没有参数，需要认证(登陆)之后才能访问 例如:/user/** = authc
  • authcBasic org.apache.shiro.web.filter.authc.BasicHttpAuthenticationFilter 没有参数，表示需要通过HttpBasic验证。如果不通过验证，跳转到登陆页面。 例如: /user/** = authcBasic
  • logout org.apache.shiro.web.filter.authc.LogoutFilter 注销登陆的时候，完成一定功能：任何现有的session都将会失效，任何身份都会失去关联。(web应用程序中，RememberMe cookie将被删除)
  • noSessionCreation org.apache.shiro.web.filter.authc.NoSessionCreationFiler 阻止在请求期间创建新的会话，保证无状态体验。
  • perms org.apache.shiro.web.filter.authz.PermissionsAuthorizationFilter 可以写多个。多个时加上引号。用逗号分隔。多个参数需要通过全部的参数才算通过。相当于isPermitedAll()方法。 例如:/admin/** = perms[user:add:] /admin/** = perms[“user:add:,user:delete:*”]
  • port org.apache.shiro.web.filter.authz.PortFilter 指定访问的端口。如果不匹配跳转到登陆界面。 例如:/admin/** = port[8080]
  • rest org.apache.shiro.web.filter.authz.HttpMethodPermissionFilter 根据请求方法 例如:/admins/user/** = perms[user.method] method为post、get、delete等请求方法
  • roles org.apache.shiro.web.filter.authz.RolesAuthorizationFilter 角色过滤。判断当前用户是否指定角色。多个参数需通过所有的角色。 例如:/admins/** = roles[“admin,guest”]
  • ssl org.apache.shiro.web.filter.authz.SslFilter 使用协议为Https
  • user org.apache.shiro.web.filter.authc.UserFilter 缓存必须存在用户

    URL匹配模式

    url模式使用Ant风格模式，支持？，*，**。通配符匹配不了包括目录分隔符"\"
  • ?:匹配一个字符，如/admin?。将匹配/admin1，但是不匹配/admin 或 /admin/
  • *:匹配0个或n个字符串.如/admin* 匹配/admin、/admin123。但不匹配/admin/1、/admin/
  • **: 匹配路径中的0或n路径。如/admin/** 匹配/admin/a or /admin/a/b

URL权限采取第一次匹配优先的方式。所以需要一些不要认证的路径放在前面。将需要认证的路径放在后面。否则会被覆盖的。

认证

身份验证

在shiro中我们需要提供两个对象(principals和credentials)用来完成身份的验证

  • principals 身份,主体的标识属性，可以是任何的属性。用户名、邮箱等。具备唯一性。可以有多个principals.但只有一个Primary principals。一般是用户名/邮箱/手机号
  • credentials 证明/凭证。证明主体标识的，如密码和数字证书等。
    最常使用的就是用户名和密码来组合成principals和credentials
身份验证的基本流程

1、收集用户的身份/凭证。一般是从前端获得用户名和密码
2、调用Subject.login进行登陆。失败会抛出响应的异常信息
3、创建自定义的Realm类。继承org.apache.shiro.realm.AuthorizingRealm类。实现doGetAuthenticationInfo()方法
官方给的认证示例代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
// let's login the current user so we can check against roles and permissions:
// 测试当前的用户是否已经被认证. 即是否已经登录. 
// 调动 Subject 的 isAuthenticated() 
if (!currentUser.isAuthenticated()) {
// 把用户名和密码封装为 UsernamePasswordToken 对象
  UsernamePasswordToken token = new UsernamePasswordToken("lonestarr", "vespa");
  // rememberme
  token.setRememberMe(true);
  try {
    // 执行登录. 
      currentUser.login(token);
  } 
  // 若没有指定的账户, 则 shiro 将会抛出 UnknownAccountException 异常. 
  catch (UnknownAccountException uae) {
      log.info("----> There is no user with username of " + token.getPrincipal());
      return; 
  } 
  // 若账户存在, 但密码不匹配, 则 shiro 会抛出 IncorrectCredentialsException 异常。 
  catch (IncorrectCredentialsException ice) {
      log.info("----> Password for account " + token.getPrincipal() + " was incorrect!");
      return; 
  } 
  // 用户被锁定的异常 LockedAccountException
  catch (LockedAccountException lae) {
      log.info("The account for username " + token.getPrincipal() + " is locked.  " +
              "Please contact your administrator to unlock it.");
  }
  // ... catch more exceptions here (maybe custom ones specific to your application?
  // 所有认证时异常的父类. 
  catch (AuthenticationException ae) {
      //unexpected condition?  error?
  }
}
身份认证的流程

流程图

1、首先调用 Subject.login(token) 进行登录，其会自动委托给SecurityManager
2、 SecurityManager 负责真正的身份验证逻辑；它会委托给Authenticator 进行身份验证；
3、 Authenticator 才是真正的身份验证者，Shiro API 中核心的身份认证入口点，此处可以自定义插入自己的实现；
4、 Authenticator 可能会委托给相应的 AuthenticationStrategy 进行多 Realm 身份验证，默认 ModularRealmAuthenticator 会调用AuthenticationStrategy 进行多 Realm 身份验证；
5、 Authenticator 会把相应的 token 传入 Realm，从 Realm 获取身份验证信息，如果没有返回/抛出异常表示身份验证失败了。此处可以配置多个Realm，将按照相应的顺序及策略进行访问。

授权

会话

展开全文 >>

element使用javascript触发表单校验

需求说明

在用户没有填写表单数据,没有产生输入框的焦点时点击提交。在提交前进行触发表单校验

解决办法

调用element表单对象中的validateField(prop:string, callback)
函数来触发表单校验.
prop是需要校验的属性。与表单中的属性一致。该函数接收一个回调函数。入口参数是校验规则中的message
例子

  • 设置一个引用
    1
    <el-form :model="dialogForm" ref="formData"  :rules="rules" size="small" label-position="left" label-width="120px">
  • 需要校验的属性为title
    1
    2
    3
    4
    5
    <el-form-item label="考试标题:" prop="title">
      <el-col :span="16">
        <el-input v-model="dialogForm.title" />
      </el-col>
    </el-form-item>
  • 手动触发校验规则
    1
    2
    3
    this.$refs.formData.validateField('title', err => {
      console.log(err)
    })
    校验通过不会返回任何的东西。err为空。校验不通过返回title校验规则中的message
    1
    2
    3
    title: [
        { required: true, message: '必须输入考试标题', trigger: 'blur' }
      ],

展开全文 >>

jvm相关

堆的分代

  • 新生代(Young Generation)
    使用newSize和MaxNewSize来控制新生代的初始大小和最大大小
  • 老年代(Old Generation)
  • 永生代(Permanent Generation) 1.8之后使用元空间，不在堆中了.

对象是否被引用判断(能不能被回收)

  • 引用计数法
    核心思想:当对象被引用的时候就加1,引用失效的时候就减1。当值为0时就可以回收了。
    优点:简单高效
    缺点:如果两个对象循环依赖，各自的引用数都不为0.但是应该是被回收的才对。
  • 可达性分析算法
    从GC Roots为起始点。当从根节点开始遍历依赖树，无法到达某个对象的时候。则该对象是可以被回收了。

    回收算法(怎么回收)

  • 标记/清除算法
    给GC ROOTS 依赖树上的节点打上标记。发身份标识。然后去找没有身份标识的对象进行回收。
  • 复制算法
    将内存分成两个块，每次只使用其中的一块。当这块内存用完的时候。将GC ROOTS树拎到另一块内存(复制)。然后将掉落的叶子给清掉。
  • 标记/整理算法
    将还在树上的叶子整理得紧凑起来。然后就腾出空间了。

展开全文 >>

java基础

二维数组获得行的数量和列的数量

对于一个int[][] array = new int[5][10];
获得行数int rows = array.lenght;
获得列数int columns = array[0].length;

equals() 和 == 和 hashCode()区别和联系

1、equals()比较的是对象的内容是否相等，而==比较的是对象的引用是否不同。即==比较的是内存地址。
例如

1
2
3
4
5
6
7
8
String a1 = "Hello World";
String a2 = "Hello World";
System.out.println("a1 == a2:\t" + (a1 == a2));
System.out.println("al equals a2:\t"+(a1.equals(a2)));
String a3 = new String("Hello World");
String a4 = new String("Hello World");
System.out.println("a3 == a4:\t"+(a3 == a4));
System.out.println("a3 equals a4:\t"+(a3.equals(a4)));

结果:

1
2
3
4
a1 == a2:    true
al equals a2:    true
a3 == a4:    false
a3 equals a4:    true

a1 和 a2的值Hello World都是放在常量区中。所以对应的内存地址都一样。所以== 和equals都是true
a3 和 a4是两个对象,对象的内存地址不一样。但是里面的值是一样的。
2、equals()是如何比较的?
Object类中equals的源码源码如下

1
2
3
public boolean equals(Object obj) {
    return (this == obj);
}

比较的是对象的引用地址
String类中重写了equals方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public boolean equals(Object anObject) {
    if (this == anObject) {
        return true;
    }
    if (anObject instanceof String) {
        String anotherString = (String)anObject;
        int n = value.length;
        if (n == anotherString.value.length) {
            char v1[] = value;
            char v2[] = anotherString.value;
            int i = 0;
            while (n-- != 0) {
                if (v1[i] != v2[i])
                    return false;
                i++;
            }
            return true;
        }
    }
    return false;
}

第一个部分判断引用是否相等。引用相等则对象是同一个,里面的值就一定相等。
如果是两个对象，则取出两个对象的值一个一个的比较是否相等。
3、关于hashCode()
http://coding-geek.com/how-does-a-hashmap-work-in-java/
hashCode() 函数返回的是一个函数的hash值。两个对象相等则hashCode一定相等。两个hashCode() 相等则两个对象不一定相等。
为什么要重写hashCode()函数。因为有些集合框架是基于对象的hash值的。例如hashMap。如果不重写对象使用的都是父类生成的hash值。这样冲突变多,对于存储不利。
没有重写hashCode函数在hashMap中放置可能如下图所示

如果重写了hashCode()

提高了访问的效率和存储的效率。

java获得当前时间戳

1

展开全文 >>

javaScanner输入数据

Scanner类

Scanner类一般是用来接收从控制台传进去的数据的。但是往往不能使用Scanner从控制台获得想要的数据。。

1、想要获得控制台传进来的一个数组对象。

需求描述将1 2 3 4 5 6 7从控制台转成数组对象。

使用如下的代码是跳不出来循环的

1
2
3
4
5
6
7
8
9
10
Scanner cin = new Scanner(System.out);
int[] array = new int[100];
int len = 0;
while(cin.hasNextInt()){
  int read = cin.nextInt();
  array[len] = read;
  ++len;
}
// 以下的代码不会被执行
// 要对数组进行操作。。

另外一种思路:
将控制台的输入当成一个字符串。获得该字符串之后再进行解析。
用空格进行正则分割.然后再依次的赋值

1
2
3
4
5
6
7
8
9
10
11
12
int[] arr = new int[100];
Scanner scanner = new Scanner(System.in);
String str = scanner.nextLine();
scanner.close();
// 自己解析字符串
String strArray = str.split(" ");
int len = 0;
for(int i=0;i<len;i++) {
  arr[i] = Integer.parseInt(strArray[i]);
}
// 对数组进行操作
// 可以执行下面的代码

展开全文 >>

Redis笔记

Redis拿来干什么？

redis是运行在内存的软件。速度快，完全基于内存。使用C语言实现，网络层使用epoll解决高并发问题。单线程模型，避免不必要的上下文切换和竞争条件浪费资源。Redis可以用在下面的场景。
1、缓存。常用的功能
2、数据排序 使用Redis的SortSet数据结构能够非常方便搞定
3、计算器/请求限流 秒杀的时候,将数据缓存在Redis中。减少数据库的频繁读写。
4、使用集合的命令获得相关的数据
5、简单的消息队列。使用Redis的list实现消息队列
6、Session共享、token实现单点验证

Redis数据类型

Redis提供8种数据类型，常用的主要是String、Hash、List、Set、SortSet这5种类型。另外还有BitMap-位图、HyperLogLog、GEO-地理信息定位。
存储的为Key-Value的值。

Redis常用命令

中文Redis命令翻译网址

1、基本操作

  • 启动Redis
    ./redis-server ../redis.conf
  • 启动Redis的脚本工具
    ./redis-cli
  • 存储数据的命令
    > set mykey myvalue
    使用set语句 后面加上key值和value值
  • 查看是否含有某个key值
    > exists mykey
    如果存在返回1 如果不存在返回0
  • 获得key值对应的value
    > get mykey
  • 查看key值对应的数据类型
    > type mykey
    如果是字符型返回string
  • 使用正则匹配查找对应的数据
    > keys my*
    查找含有my开头的key。查到返回对应的key列表。找不到返回empty list or set
  • 删除对应的key值
    > del key
    也可以使用正则匹配来删除
    > del key*
  • 随机获得一个key
    > randomkey
  • 清除所有的key值
    > clear
  • 重命名key值
    > rename newkey oldkey
  • 查看当前的数据库的大小
    > dbsize

    2、Redis时间过期相关的命令

  • 限定key的生存时间
    > expire key 20设置key值20秒后过期
  • 查看过期时间
    > ttl key 查看key的值还有多少秒过期
    过期后会返回-2
  • 清除整个db
    > flushdb
    > flushall

    3、配置Redis的命令

  • 配置requirepass
    获得账号名
    > config get requirepass
    设置密码
    > config set requirepass test123
  • 使用密码验证
    > auth test123
    重新查看账号
    > config get requirepass
    返回值如下
    1
    2
    1) "requirepass"
    2) "test123"
  • 获得实体存储的相关命令
    > config get *max-*-entries*
    返回的数据
    1
    2
    3
    4
    5
    6
    1) "hash-max-ziplist-entries"
    2) "512"
    3) "set-max-intset-entries"
    4) "512"
    6) "zset-max-ziplist-entries"
    7) "128"
  • 重置配置
    > config resetstat
  • 服务器的信息
    > info server
  • 连接客户端的信息
    > info client
  • 内存的信息
    > info memory
  • 持久层数据
    > info persistence
  • 状态的数据
    > info stats
  • 从节点的信息
    > info replication
  • cpu的信息
    > info cpu

    4、配置文件配置账号

    在配置文件redis.conf的文件中。在requirepass后面加上需要验证的密码
    如:
    1
    requirepass test1234
    重启redis服务器之后进入命令行就要使用
    auth test1234 来验证了

    5、事务的处理

    使用multi命令开启一个事务
    然后接下来可以进行一些命令的操作
    使用exec命令批量执行操作

    6、持久化的操作

    将内存中的数据存储到磁盘文件中
    使用save命令

Redis五大数据类型以及简单使用

String字符串类型

1、添加数据

set key-name value
如果key存在则修改里面的值，如果不存在就添加

2、查询数据

get key-name

3、删除数据

del key-name

4、设置key的过期时间

setex key-name 10 value
设置key的过期时间为10秒

5、设置多组值

mset key-name1 value1 key-name2 value2

6、获得多组值

mget key-name1 key-name2

Hash表

1、添加Hash表数据

hset key-name hash-key hash-value
例如:
hset user name "smith"
添加一个hash表的名字为user,其中user中有[name=”smith”]的键值对

2、查询数据

hget key-name hash-key
例如:
hget user name
查询user中key为name的值

3、获得全部的键值对

hgetall key-name

4、一次设置多个键值对

hmset key-name hash-key1 hash-value1 hash-key2 hash-value2

5、查看数据长度

hlen key-name
返回该Hash表的键值对数量

6、查询是否存在某个hash-key

hexist key-name hash-key

List列表

1、添加数据

lpush/rpush key-name value1 value2 value3
其中lpush从左边插入数据，rpush从右边插入数据

2、获得数据

lpop/rpop key-name
弹出列表最左边/右边的值。

3、遍历数据

lrange key-name start stop
遍历下标为[start,stop]的数据
例如:
lrange city 0 -1
遍历全部数据

4、获得列表长度

llen key-name

Set

Set是String类型的无序集合,元素值不能重复

1、添加数据

sadd key-name value1 value2

2、获得数据

smembers key-name
获得所有数据

3、查询是否存在某个成员

sisexist key-name member

4、移除某个成员

srem key-name member

ZSet类型

zset类型可以排序，每个值都有对应的score,可以进行集合间的操作

1、添加数据

zadd key-name score1 member1 score2 member2

2、移除数据

zrem key-name member [member2...]
使用[]来标识里面的内容为可选内容

3、查询成员数量

zcard key-name

4、查询成员的分值

zscore key-name member

5、修改成员的分值

zincrby key-name increase-num member
给成员的分值加上increase-num的值,可为正，可为负。

6、根据score区间查询成员

zcount key-name min max
返回分值介于[min,max]区间的成员

7、查询成员的排名

（1） zrank key-name member
返回成员在集合中的排名,按照分值从小到大排
（2）zrevrank key-name member
返回成员的排名，按照分值从大到小排

8、根据排名区间获得成员

(1) zrange key-name start stop [WITHSCORES]
返回排名处于[start stop]区间内的成员,withscores选项会返回成员的分值。成员按照分值从小到大排序
(2) zrevrange key-name start stop [WITHSCORES]
和zrange一致，区别是按照分值从大到小排序

9、根据分数区间获得成员

（1）zrangebyscore key-name min max [WITHSCORES] [LIMIT offset count]
返回分数处于[min,max]区间的成员，按照分数从小到大排列
（2）zrevrangebyscore key-name min max [WITHSCORES] [LIMIT offset count]
和(1)中的作用一致，不同的是成员按照分数从大到小排列

10、多个ZSet进行交集运算

ZINTERSTORE destination numkeys key [key ...] [WEIGHTS weight [weight ...]] [AGGREGATE SUM|MIN|MAX]
例子：
zset zkey3 2 zkey1 zkey2
zkey3放置zkey1和zkey2进行交运算之后的结果。其中2表示有两个集合。

11、多个ZSet进行并集运算

ZUNIONSTORE destination numkeys key [key ...] [WEIGHTS weight [weight ...]] [AGGREGATE SUM|MIN|MAX]
相同的成员分数相加。

使用Jedis来访问redis

1、maven添加依赖

引入redis的依赖

1
2
3
4
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
2、连接和配置redis
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# Redis 配置
spring.redis.jedis.pool.max-idle=10
spring.redis.jedis.pool.max-active=10
spring.redis.jedis.pool.min-idle=5
spring.redis.jedis.pool.max-wait=2000
#配置Redis服务器属性
spring.redis.port=6379
spring.redis.host=localhost
# 连接的密码
spring.redis.password=password
# 连接超时设置
spring.redis.timeout=1000

# 缓存配置
spring.cache.type=redis
spring.cache.cache-names=redisCache
3、java中配置Redis的操作对象

1、在启用类的类头哪里使用@EnableCaching注解开启redis
2、获得redis的模板对象

1
2
3
4
5
/**
  * 注入RedisTemplate对象
  */
@Autowired
private RedisTemplate redisTemplate = null;

3、在bean的构造函数中初始化模板。主要是用来设置序列化的方式

1
2
3
4
@PostConstruct
public void init() {
    initRedisTemplate();
}

初始化方法如下

1
2
3
4
5
6
7
8
/**
* 设置RedisTemplate的序列化器
*/
private void initRedisTemplate() {
    RedisSerializer stringSerializer = redisTemplate.getStringSerializer();
    redisTemplate.setKeySerializer(stringSerializer);
    redisTemplate.setHashKeySerializer(stringSerializer);
}

4、使用redis的模板来操作redis
涉及到的函数为

  • boolean hashKey = redisTemplate.hasKey(key) 判断redis中是否含有key值
  • 获得操作Redis对象的函数，其中的Dictionary是放进去的对象，redis会自动完成ORM的
    1
    ValueOperations<String,Dictionary> operations = redisTemplate.opsForValue();
    设置key对应的值
    operations.set(key,dictionary,timeout,TimeUnit.HOURS);
    key为对应的String类型的key值。
    dictionary为设置到缓存的对象。会被序列化为stirng类型。
    timeout为过期时间,long类型
    TimeUnit.HOURS是timeout的单位.可以设置纳秒、微秒、分钟、小时、天等。

    缓存穿透和缓存雪崩

    1、缓存穿透
    如何理解缓存穿透，缓存原本是放在数据库读写之前的一层缓存。用来减少数据库的io。穿透就是数据直接穿透缓存访问数据库，可以理解为缓存被穿透了。什么时候会导致缓存穿透？为什么会出现缓存穿透？读写数据的时候没有在redis中命中数据。导致访问数据库。没有命中数据 -> 访问数据库。缓存的命中率太低了,导致缓存不起作用。这样就出现缓存穿透
    2、缓存雪崩
    什么是缓存雪崩?在某一时间段，缓存中的数据集体失效，导致大量的数据库出现大量的io请求。缓存中数据在同一时间失效。这就是缓存的雪崩，缓存雪崩可能会导致数据库的崩溃。如何避免缓存雪崩？雪崩的原因是同一时间失效，设置随机失效时间。

展开全文 >>

Spring 事务

Spring 事务传播特性

1、事务属性的种类

  • 传播行为
  • 隔离级别
  • 只读
  • 事务超时

    1.1 传播行为

  • 传播行为定义了被调用方法的事务边界
  • PROPERGATION_MANDATORY 方法必须运行在一个事务中，如果当前事务不存在，就抛出异常
  • PROPAGATION_NESTED 如果当前事务存在,则方法应该运行在一个嵌套事务中。否则,它看起来和PROPAGATION_REQUIRED没有什么两样。
  • PROGATION_NEVER 方法不能运行在一个事务中，否则会抛出异常
  • PROGATION_NOT_SUPPORTED 方法不能运行在一个事务中，如果当前存在事务，那么该方法将被挂起
  • PROGATION_REQUIRED 当前方法必须运行在一个事务中，如果存在事务，则运行在该事务中，否则创建一个新的事务
  • PROGATION_REQUIRES_NEW 必须运行在自己的事务中，如果当前存在一个事务，那么这个事务将在该方法运行期间被挂起
  • PROGATION_SUPPORTS 当前方法不需要运行在一个事务中，如果有一个事务存在，该方法也可以运行在这个事务中。

    1.2 隔离级别

    (1) 未提交读 （2）已提交读 （3) 可重复读 （4） 可序列化
  • ISOLATION_DEFAULT 后端数据库默认的隔离级别
  • ISOLATION_READ_UNCOMMITTED 允许读取未提交的数据。可能导致脏读、不可重复读、幻读(未提交读)
  • ISOLATION_REPEATABLE_READ 一个事务不可能更新由另一个事务修改但未提交(回滚)的数据。(对应不可重复读),可避免脏读、不可重复读、但无法避免幻读
  • ISOLATION_SERIALIZATABLE 所有的事务都在一个执行队列中,依次顺序执行，而不是并行(可序列化)。可以避免脏读、不可重复读、幻读。但效率低

    1.3 只读

    只读数据而不更新,READ_ONLY_MARKER

    1.4 事务超时

    超时回滚，避免浪费系统资源

    1.5 理解

  • 什么是未提交读? 读取未提交的数据
  • 什么是脏读? 一个事务读取另一个事务未提交的数据,数据更改后,第一个事务读取的数据是脏数据，不可用。
    比如:A事务对数据a进行a++操作,a未提交。B事务读取A事务的a值。但是A事务出错回滚了。这时候B事务中的a值就是脏数据，导致脏读。
  • 什么是不可重复读？一个事务中两次读取一个数据的结果不一致导致的。不能重复读出相同的数据。
  • 什么是幻读？事务A第一次读取数据库中数据和第二次读取的数据不一致。比如:事务A第一次读取成绩及格的学生数为20个。事务B又往数据库添加一条及格的记录。事务A第二次读取成绩几个的学生数为21个。产生幻读。数据库会使用加表级锁就可以避免。
  • 可序列化?事务是一个一个排队完成。这是后可以避免上述的问题。但是效率低下。

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

正在成长中<br>请多多指教