Linux 命令 Cheat Sheet

发表于 2023-11-27 更新于 2024-01-27 分类于操作系统， Linux ，命令本文字数： 15k 阅读时长 ≈ 14 分钟

Linux 命令 Cheat Sheet

常见命令分类

查看 Linux 命令帮助信息 - 关键词：help, whatis, info, which, whereis, man
Linux 文件目录管理 - 关键词：cd, ls, pwd, mkdir, rmdir, tree, touch, ln, rename, stat, file, chmod, chown, locate, find, cp, mv, rm
Linux 文件内容查看命令 - 关键词：cat, head, tail, more, less, sed, vi, grep
Linux 文件压缩和解压 - 关键词：tar, gzip, zip, unzip
Linux 用户管理 - 关键词：groupadd, groupdel, groupmod, useradd, userdel, usermod, passwd, su, sudo
Linux 系统管理 - 关键词：reboot, exit, shutdown, date, mount, umount, ps, kill, systemctl, service, crontab
Linux 网络管理 - 关键词：关键词：curl, wget, telnet, ip, hostname, ifconfig, route, ssh, ssh-keygen, firewalld, iptables, host, nslookup, nc/netcat, ping, traceroute, netstat
Linux 硬件管理 - 关键词：df, du, top, free, iotop
Linux 软件管理 - 关键词：rpm, yum, apt-get

基础

学习 Bash 的基础知识。具体地，在命令行中输入 man bash 并至少全文浏览一遍; 它理解起来很简单并且不冗长。其他的 shell 可能很好用，但 Bash 的功能已经足够强大并且到几乎总是可用的（如果你只学习 zsh，fish 或其他的 shell 的话，在你自己的设备上会显得很方便，但过度依赖这些功能会给您带来不便，例如当你需要在服务器上工作时）。
熟悉至少一个基于文本的编辑器。通常而言 Vim （vi）会是你最好的选择，毕竟在终端中编辑文本时 Vim 是最好用的工具（甚至大部分情况下 Vim 要比 Emacs、大型 IDE 或是炫酷的编辑器更好用）。
学会如何使用 man 命令去阅读文档。学会使用 apropos 去查找文档。知道有些命令并不对应可执行文件，而是在 Bash 内置好的，此时可以使用 help 和 help -d 命令获取帮助信息。你可以用 type 命令 来判断这个命令到底是可执行文件、shell 内置命令还是别名。
学会使用 > 和 < 来重定向输出和输入，学会使用 | 来重定向管道。明白 > 会覆盖了输出文件而 >> 是在文件末添加。了解标准输出 stdout 和标准错误 stderr。
学会使用通配符 * （或许再算上 ? 和 […]）和引用以及引用中 ' 和 " 的区别（后文中有一些具体的例子）。
熟悉 Bash 中的任务管理工具：&，ctrl-z，ctrl-c，jobs，fg，bg，kill 等。
学会使用 ssh 进行远程命令行登录，最好知道如何使用 ssh-agent，ssh-add 等命令来实现基础的无密码认证登录。
学会基本的文件管理工具：ls 和 ls -l （了解 ls -l 中每一列代表的意义），less，head，tail 和 tail -f （甚至 less +F），ln 和 ln -s （了解硬链接与软链接的区别），chown，chmod，du （硬盘使用情况概述：du -hs *）。关于文件系统的管理，学习 df，mount，fdisk，mkfs，lsblk。知道 inode 是什么（与 ls -i 和 df -i 等命令相关）。
学习基本的网络管理工具：ip 或 ifconfig，dig。
学习并使用一种版本控制管理系统，例如 git。
熟悉正则表达式，学会使用 grep／egrep，它们的参数中 -i，-o，-v，-A，-B 和 -C 这些是很常用并值得认真学习的。
学会使用 apt-get，yum，dnf 或 pacman （具体使用哪个取决于你使用的 Linux 发行版）来查找和安装软件包。并确保你的环境中有 pip 来安装基于 Python 的命令行工具（接下来提到的部分程序使用 pip 来安装会很方便）。

日常使用

在 Bash 中，可以通过按 Tab 键实现自动补全参数，使用 ctrl-r 搜索命令行历史记录（按下按键之后，输入关键字便可以搜索，重复按下 ctrl-r 会向后查找匹配项，按下 Enter 键会执行当前匹配的命令，而按下右方向键会将匹配项放入当前行中，不会直接执行，以便做出修改）。
在 Bash 中，可以按下 ctrl-w 删除你键入的最后一个单词，ctrl-u 可以删除行内光标所在位置之前的内容，alt-b 和 alt-f 可以以单词为单位移动光标，ctrl-a 可以将光标移至行首，ctrl-e 可以将光标移至行尾，ctrl-k 可以删除光标至行尾的所有内容，ctrl-l 可以清屏。键入 man readline 可以查看 Bash 中的默认快捷键。内容有很多，例如 alt-. 循环地移向前一个参数，而 alt-* 可以展开通配符。

你喜欢的话，可以执行 set -o vi 来使用 vi 风格的快捷键，而执行 set -o emacs 可以把它改回来。
为了便于编辑长命令，在设置你的默认编辑器后（例如 export EDITOR=vim），ctrl-x ctrl-e 会打开一个编辑器来编辑当前输入的命令。在 vi 风格下快捷键则是 escape-v。
键入 history 查看命令行历史记录，再用 !n（n 是命令编号）就可以再次执行。其中有许多缩写，最有用的大概就是 !$，它用于指代上次键入的参数，而 !! 可以指代上次键入的命令了（参考 man 页面中的“HISTORY EXPANSION”）。不过这些功能，你也可以通过快捷键 ctrl-r 和 alt-. 来实现。
cd 命令可以切换工作路径，输入 cd \~ 可以进入 home 目录。要访问你的 home 目录中的文件，可以使用前缀 \~（例如 \~/.bashrc）。在 sh 脚本里则用环境变量 $HOME 指代 home 目录的路径。
回到前一个工作路径：cd -。
如果你输入命令的时候中途改了主意，按下 alt-# 在行首添加 # 把它当做注释再按下回车执行（或者依次按下 ctrl-a， **#**， enter）。这样做的话，之后借助命令行历史记录，你可以很方便恢复你刚才输入到一半的命令。
使用 xargs （或 parallel）。他们非常给力。注意到你可以控制每行参数个数（-L）和最大并行数（-P）。如果你不确定它们是否会按你想的那样工作，先使用 xargs echo 查看一下。此外，使用 -I{} 会很方便。例如：

1 2	find . -name '*.py' \| xargs grep some_function cat hosts \| xargs -I{} ssh root@{} hostname

pstree -p 以一种优雅的方式展示进程树。
使用 pgrep 和 pkill 根据名字查找进程或发送信号（-f 参数通常有用）。
了解你可以发往进程的信号的种类。比如，使用 kill -STOP [pid] 停止一个进程。使用 man 7 signal 查看详细列表。
使用 nohup 或 disown 使一个后台进程持续运行。
使用 netstat -lntp 或 ss -plat 检查哪些进程在监听端口（默认是检查 TCP 端口; 添加参数 -u 则检查 UDP 端口）或者 lsof -iTCP -sTCP:LISTEN -P -n (这也可以在 OS X 上运行)。
lsof 来查看开启的套接字和文件。
使用 uptime 或 w 来查看系统已经运行多长时间。
使用 alias 来创建常用命令的快捷形式。例如：alias ll='ls -latr' 创建了一个新的命令别名 ll。
可以把别名、shell 选项和常用函数保存在 \~/.bashrc，具体看下这篇文章。这样做的话你就可以在所有 shell 会话中使用你的设定。
把环境变量的设定以及登陆时要执行的命令保存在 \~/.bash_profile。而对于从图形界面启动的 shell 和 cron 启动的 shell，则需要单独配置文件。
要想在几台电脑中同步你的配置文件（例如 .bashrc 和 .bash_profile），可以借助 Git。
当变量和文件名中包含空格的时候要格外小心。Bash 变量要用引号括起来，比如 "$FOO"。尽量使用 -0 或 -print0 选项以便用 NULL 来分隔文件名，例如 locate -0 pattern | xargs -0 ls -al 或 find / -print0 -type d | xargs -0 ls -al。如果 for 循环中循环访问的文件名含有空字符（空格、tab 等字符），只需用 IFS=$'\n' 把内部字段分隔符设为换行符。
在 Bash 脚本中，使用 set -x 去调试输出（或者使用它的变体 set -v，它会记录原始输入，包括多余的参数和注释）。尽可能地使用严格模式：使用 set -e 令脚本在发生错误时退出而不是继续运行；使用 set -u 来检查是否使用了未赋值的变量；试试 set -o pipefail，它可以监测管道中的错误。当牵扯到很多脚本时，使用 trap 来检测 ERR 和 EXIT。一个好的习惯是在脚本文件开头这样写，这会使它能够检测一些错误，并在错误发生时中断程序并输出信息：

1 2	set -euo pipefail trap "echo 'error: Script failed: see failed command above'" ERR

在 Bash 脚本中，子 shell（使用括号 (...)）是一种组织参数的便捷方式。一个常见的例子是临时地移动工作路径，代码如下：

1
2
3

# do something in current dir
(cd /some/other/dir && other-command)
# continue in original dir

在 Bash 中，变量有许多的扩展方式。${name:?error message} 用于检查变量是否存在。此外，当 Bash 脚本只需要一个参数时，可以使用这样的代码 input_file=${1:?usage: $0 input_file}。在变量为空时使用默认值：${name:-default}。如果你要在之前的例子中再加一个（可选的）参数，可以使用类似这样的代码 output_file=${2:-logfile}，如果省略了 $2，它的值就为空，于是 output_file 就会被设为 logfile。数学表达式：i=$(( (i + 1) % 5 ))。序列：{1..10}。截断字符串：${var%suffix} 和 ${var#prefix}。例如，假设 var=foo.pdf，那么 echo ${var%.pdf}.txt 将输出 foo.txt。
使用括号扩展（{…}）来减少输入相似文本，并自动化文本组合。这在某些情况下会很有用，例如 mv foo.{txt,pdf} some-dir（同时移动两个文件），cp somefile{,.bak}（会被扩展成 cp somefile somefile.bak）或者 mkdir -p test-{a,b,c}/subtest-{1,2,3}（会被扩展成所有可能的组合，并创建一个目录树）。
通过使用 <(some command) 可以将输出视为文件。例如，对比本地文件 /etc/hosts 和一个远程文件：

1	diff /etc/hosts <(ssh somehost cat /etc/hosts)

编写脚本时，你可能会想要把代码都放在大括号里。缺少右括号的话，代码就会因为语法错误而无法执行。如果你的脚本是要放在网上分享供他人使用的，这样的写法就体现出它的好处了，因为这样可以防止下载不完全代码被执行。

1
2
3

{
      # 在这里写代码
}

了解 Bash 中的“here documents”，例如 cat <<EOF ...。
在 Bash 中，同时重定向标准输出和标准错误：some-command >logfile 2>&1 或者 some-command &>logfile。通常，为了保证命令不会在标准输入里残留一个未关闭的文件句柄捆绑在你当前所在的终端上，在命令后添加 </dev/null 是一个好习惯。
使用 man ascii 查看具有十六进制和十进制值的 ASCII 表。man unicode，man utf-8，以及 man latin1 有助于你去了解通用的编码信息。
使用 screen 或 tmux 来使用多份屏幕，当你在使用 ssh 时（保存 session 信息）将尤为有用。而 byobu 可以为它们提供更多的信息和易用的管理工具。另一个轻量级的 session 持久化解决方案是 dtach。
ssh 中，了解如何使用 -L 或 -D（偶尔需要用 -R）开启隧道是非常有用的，比如当你需要从一台远程服务器上访问 web 页面。
对 ssh 设置做一些小优化可能是很有用的，例如这个 \~/.ssh/config 文件包含了防止特定网络环境下连接断开、压缩数据、多通道等选项：

TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
Compression=yes
ControlMaster auto
ControlPath /tmp/%r@%h:%p
ControlPersist yes

一些其他的关于 ssh 的选项是与安全相关的，应当小心翼翼的使用。例如你应当只能在可信任的网络中启用 StrictHostKeyChecking=no，ForwardAgent=yes。
考虑使用 mosh 作为 ssh 的替代品，它使用 UDP 协议。它可以避免连接被中断并且对带宽需求更小，但它需要在服务端做相应的配置。
获取八进制形式的文件访问权限（修改系统设置时通常需要，但 ls 的功能不那么好用并且通常会搞砸），可以使用类似如下的代码：

1	stat -c '%A %a %n' /etc/timezone

使用 percol 或者 fzf 可以交互式地从另一个命令输出中选取值。
使用 fpp（PathPicker）可以与基于另一个命令(例如 git）输出的文件交互。
将 web 服务器上当前目录下所有的文件（以及子目录）暴露给你所处网络的所有用户，使用：
python -m SimpleHTTPServer 7777 （使用端口 7777 和 Python 2）或python -m http.server 7777 （使用端口 7777 和 Python 3）。
以其他用户的身份执行命令，使用 sudo。默认以 root 用户的身份执行；使用 -u 来指定其他用户。使用 -i 来以该用户登录（需要输入你自己的密码）。
将 shell 切换为其他用户，使用 su username 或者 sudo - username。加入 - 会使得切换后的环境与使用该用户登录后的环境相同。省略用户名则默认为 root。切换到哪个用户，就需要输入哪个用户的密码。
了解命令行的 128K 限制。使用通配符匹配大量文件名时，常会遇到“Argument list too long”的错误信息。（这种情况下换用 find 或 xargs 通常可以解决。）
当你需要一个基本的计算器时，可以使用 python 解释器（当然你要用 python 的时候也是这样）。例如：

1
2

>>> 2+3
5

文件及数据处理

在当前目录下通过文件名查找一个文件，使用类似于这样的命令：find . -iname '*something*'。在所有路径下通过文件名查找文件，使用 locate something （但注意到 updatedb 可能没有对最近新建的文件建立索引，所以你可能无法定位到这些未被索引的文件）。
使用 ag 在源代码或数据文件里检索（grep -r 同样可以做到，但相比之下 ag 更加先进）。
将 HTML 转为文本：lynx -dump -stdin。
Markdown，HTML，以及所有文档格式之间的转换，试试 pandoc。
当你要处理棘手的 XML 时候，xmlstarlet 算是上古时代流传下来的神器。
使用 jq 处理 JSON。
使用 shyaml 处理 YAML。
要处理 Excel 或 CSV 文件的话，csvkit 提供了 in2csv，csvcut，csvjoin，csvgrep 等方便易用的工具。
当你要处理 Amazon S3 相关的工作的时候，s3cmd 是一个很方便的工具而 s4cmd 的效率更高。Amazon 官方提供的 aws 以及 saws 是其他 AWS 相关工作的基础，值得学习。
了解如何使用 sort 和 uniq，包括 uniq 的 -u 参数和 -d 参数，具体内容在后文单行脚本节中。另外可以了解一下 comm。
了解如何使用 cut，paste 和 join 来更改文件。很多人都会使用 cut，但遗忘了 join。
了解如何运用 wc 去计算新行数（-l），字符数（-m），单词数（-w）以及字节数（-c）。
了解如何使用 tee 将标准输入复制到文件甚至标准输出，例如 ls -al | tee file.txt。
要进行一些复杂的计算，比如分组、逆序和一些其他的统计分析，可以考虑使用 datamash。
注意到语言设置（中文或英文等）对许多命令行工具有一些微妙的影响，比如排序的顺序和性能。大多数 Linux 的安装过程会将 LANG 或其他有关的变量设置为符合本地的设置。要意识到当你改变语言设置时，排序的结果可能会改变。明白国际化可能会使 sort 或其他命令运行效率下降许多倍。某些情况下（例如集合运算）你可以放心的使用 export LC_ALL=C 来忽略掉国际化并按照字节来判断顺序。
你可以单独指定某一条命令的环境，只需在调用时把环境变量设定放在命令的前面，例如 TZ=Pacific/Fiji date 可以获取斐济的时间。
了解如何使用 awk 和 sed 来进行简单的数据处理。参阅 One-liners 获取示例。
替换一个或多个文件中出现的字符串：

1	perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

使用 repren 来批量重命名文件，或是在多个文件中搜索替换内容。（有些时候 rename 命令也可以批量重命名，但要注意，它在不同 Linux 发行版中的功能并不完全一样。）

# 将文件、目录和内容全部重命名 foo -> bar:
repren --full --preserve-case --from foo --to bar .
# 还原所有备份文件 whatever.bak -> whatever:
repren --renames --from '(.*)\.bak' --to '\1' *.bak
# 用 rename 实现上述功能（若可用）:
rename 's/\.bak$//' *.bak

根据 man 页面的描述，rsync 是一个快速且非常灵活的文件复制工具。它闻名于设备之间的文件同步，但其实它在本地情况下也同样有用。在安全设置允许下，用 rsync 代替 scp 可以实现文件续传，而不用重新从头开始。它同时也是删除大量文件的最快方法之一：

1	mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir

若要在复制文件时获取当前进度，可使用 pv，pycp，progress，rsync --progress。若所执行的复制为 block 块拷贝，可以使用 dd status=progress。
使用 shuf 可以以行为单位来打乱文件的内容或从一个文件中随机选取多行。
了解 sort 的参数。显示数字时，使用 -n 或者 -h 来显示更易读的数（例如 du -h 的输出）。明白排序时关键字的工作原理（-t 和 -k）。例如，注意到你需要 -k1，1 来仅按第一个域来排序，而 -k1 意味着按整行排序。稳定排序（sort -s）在某些情况下很有用。例如，以第二个域为主关键字，第一个域为次关键字进行排序，你可以使用 sort -k1，1 | sort -s -k2，2。
如果你想在 Bash 命令行中写 tab 制表符，按下 ctrl-v [Tab] 或键入 $'\t' （后者可能更好，因为你可以复制粘贴它）。
标准的源代码对比及合并工具是 diff 和 patch。使用 diffstat 查看变更总览数据。注意到 diff -r 对整个文件夹有效。使用 diff -r tree1 tree2 | diffstat 查看变更的统计数据。vimdiff 用于比对并编辑文件。
对于二进制文件，使用 hd，hexdump 或者 xxd 使其以十六进制显示，使用 bvi，hexedit 或者 biew 来进行二进制编辑。
同样对于二进制文件，strings（包括 grep 等工具）可以帮助在二进制文件中查找特定比特。
制作二进制差分文件（Delta 压缩），使用 xdelta3。
使用 iconv 更改文本编码。需要更高级的功能，可以使用 uconv，它支持一些高级的 Unicode 功能。例如，这条命令移除了所有重音符号：

1	uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

拆分文件可以使用 split（按大小拆分）和 csplit（按模式拆分）。
操作日期和时间表达式，可以用 dateutils 中的 dateadd、datediff、strptime 等工具。
使用 zless、zmore、zcat 和 zgrep 对压缩过的文件进行操作。
文件属性可以通过 chattr 进行设置，它比文件权限更加底层。例如，为了保护文件不被意外删除，可以使用不可修改标记：sudo chattr +i /critical/directory/or/file
使用 getfacl 和 setfacl 以保存和恢复文件权限。例如：

1 2	getfacl -R /some/path > permissions.txt setfacl --restore=permissions.txt

为了高效地创建空文件，请使用 truncate（创建稀疏文件），fallocate（用于 ext4，xfs，btrf 和 ocfs2 文件系统），xfs_mkfile（适用于几乎所有的文件系统，包含在 xfsprogs 包中），mkfile（用于类 Unix 操作系统，比如 Solaris 和 Mac OS）。

系统调试

curl 和 curl -I 可以被轻松地应用于 web 调试中，它们的好兄弟 wget 也是如此，或者也可以试试更潮的 httpie。
获取 CPU 和硬盘的使用状态，通常使用使用 top（htop 更佳），iostat 和 iotop。而 iostat -mxz 15 可以让你获悉 CPU 和每个硬盘分区的基本信息和性能表现。
使用 netstat 和 ss 查看网络连接的细节。
dstat 在你想要对系统的现状有一个粗略的认识时是非常有用的。然而若要对系统有一个深度的总体认识，使用 glances，它会在一个终端窗口中向你提供一些系统级的数据。
若要了解内存状态，运行并理解 free 和 vmstat 的输出。值得留意的是“cached”的值，它指的是 Linux 内核用来作为文件缓存的内存大小，而与空闲内存无关。
Java 系统调试则是一件截然不同的事，一个可以用于 Oracle 的 JVM 或其他 JVM 上的调试的技巧是你可以运行 kill -3 <pid> 同时一个完整的栈轨迹和堆概述（包括 GC 的细节）会被保存到标准错误或是日志文件。JDK 中的 jps，jstat，jstack，jmap 很有用。SJK tools 更高级。
使用 mtr 去跟踪路由，用于确定网络问题。
用 ncdu 来查看磁盘使用情况，它比寻常的命令，如 du -sh *，更节省时间。
查找正在使用带宽的套接字连接或进程，使用 iftop 或 nethogs。
ab 工具（Apache 中自带）可以简单粗暴地检查 web 服务器的性能。对于更复杂的负载测试，使用 siege。
wireshark，tshark 和 ngrep 可用于复杂的网络调试。
了解 strace 和 ltrace。这俩工具在你的程序运行失败、挂起甚至崩溃，而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意 profile 参数（-c）和附加到一个运行的进程参数（-p）。
了解使用 ldd 来检查共享库。但是永远不要在不信任的文件上运行。
了解如何运用 gdb 连接到一个运行着的进程并获取它的堆栈轨迹。
学会使用 /proc。它在调试正在出现的问题的时候有时会效果惊人。比如：/proc/cpuinfo，/proc/meminfo，/proc/cmdline，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps（这里的 xxx 表示进程的 id 或 pid）。
当调试一些之前出现的问题的时候，sar 非常有用。它展示了 cpu、内存以及网络等的历史数据。
关于更深层次的系统分析以及性能分析，看看 stap（SystemTap），perf，以及sysdig。
查看你当前使用的系统，使用 uname，uname -a（Unix／kernel 信息）或者 lsb_release -a（Linux 发行版信息）。
无论什么东西工作得很欢乐（可能是硬件或驱动问题）时可以试试 dmesg。
如果你删除了一个文件，但通过 du 发现没有释放预期的磁盘空间，请检查文件是否被进程占用：
lsof | grep deleted | grep "filename-of-my-big-file"

单行脚本

一些命令组合的例子：

当你需要对文本文件做集合交、并、差运算时，sort 和 uniq 会是你的好帮手。具体例子请参照代码后面的，此处假设 a 与 b 是两内容不同的文件。这种方式效率很高，并且在小文件和上 G 的文件上都能运用（注意尽管在 /tmp 在一个小的根分区上时你可能需要 -T 参数，但是实际上 sort 并不被内存大小约束），参阅前文中关于 LC_ALL 和 sort 的 -u 参数的部分。

1
2
3

sort a b | uniq > c   # c 是 a 并 b
sort a b | uniq -d > c   # c 是 a 交 b
sort a b b | uniq -u > c   # c 是 a - b

使用 grep . *（每行都会附上文件名）或者 head -100 *（每个文件有一个标题）来阅读检查目录下所有文件的内容。这在检查一个充满配置文件的目录（如 /sys、/proc、/etc）时特别好用。

计算文本文件第三列中所有数的和（可能比同等作用的 Python 代码快三倍且代码量少三倍）：

1	awk '{ x += $3 } END { print x }' myfile

如果你想在文件树上查看大小/日期，这可能看起来像递归版的 ls -l 但比 ls -lR 更易于理解：

1	find . -type f -ls

假设你有一个类似于 web 服务器日志文件的文本文件，并且一个确定的值只会出现在某些行上，假设一个 acct_id 参数在 URI 中。如果你想计算出每个 acct_id 值有多少次请求，使用如下代码：

1	egrep -o 'acct_id=[0-9]+' access.log \| cut -d= -f2 \| sort \| uniq -c \| sort -rn

要持续监测文件改动，可以使用 watch，例如检查某个文件夹中文件的改变，可以用 watch -d -n 2 'ls -rtlh | tail'；或者在排查 WiFi 设置故障时要监测网络设置的更改，可以用 watch -d -n 2 ifconfig。
运行这个函数从这篇文档中随机获取一条技巧（解析 Markdown 文件并抽取项目）：

function taocl() {
  curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README-zh.md|
    pandoc -f markdown -t html |
    iconv -f 'utf-8' -t 'unicode' |
    xmlstarlet fo --html --dropdtd |
    xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
    xmlstarlet unesc | fmt -80
}

冷门但有用

expr：计算表达式或正则匹配
m4：简单的宏处理器
yes：多次打印字符串
cal：漂亮的日历
env：执行一个命令（脚本文件中很有用）
printenv：打印环境变量（调试时或在写脚本文件时很有用）
look：查找以特定字符串开头的单词或行
cut，paste 和 join：数据修改
fmt：格式化文本段落
pr：将文本格式化成页／列形式
fold：包裹文本中的几行
column：将文本格式化成多个对齐、定宽的列或表格
expand 和 unexpand：制表符与空格之间转换
nl：添加行号
seq：打印数字
bc：计算器
factor：分解因数
gpg：加密并签名文件
toe：terminfo 入口列表
nc：网络调试及数据传输
socat：套接字代理，与 netcat 类似
slurm：网络流量可视化
dd：文件或设备间传输数据
file：确定文件类型
tree：以树的形式显示路径和文件，类似于递归的 ls
stat：文件信息
time：执行命令，并计算执行时间
timeout：在指定时长范围内执行命令，并在规定时间结束后停止进程
lockfile：使文件只能通过 rm -f 移除
logrotate：切换、压缩以及发送日志文件
watch：重复运行同一个命令，展示结果并／或高亮有更改的部分
when-changed：当检测到文件更改时执行指定命令。参阅 inotifywait 和 entr。
tac：反向输出文件
shuf：文件中随机选取几行
comm：一行一行的比较排序过的文件
strings：从二进制文件中抽取文本
tr：转换字母
iconv 或 uconv：文本编码转换
split 和 csplit：分割文件
sponge：在写入前读取所有输入，在读取文件后再向同一文件写入时比较有用，例如 grep -v something some-file | sponge some-file
units：将一种计量单位转换为另一种等效的计量单位（参阅 /usr/share/units/definitions.units）
apg：随机生成密码
xz：高比例的文件压缩
ldd：动态库信息
nm：提取 obj 文件中的符号
ab 或 wrk：web 服务器性能分析
strace：调试系统调用
mtr：更好的网络调试跟踪工具
cssh：可视化的并发 shell
rsync：通过 ssh 或本地文件系统同步文件和文件夹
wireshark 和 tshark：抓包和网络调试工具
ngrep：网络层的 grep
host 和 dig：DNS 查找
lsof：列出当前系统打开文件的工具以及查看端口信息
dstat：系统状态查看
glances：高层次的多子系统总览
iostat：硬盘使用状态
mpstat： CPU 使用状态
vmstat：内存使用状态
htop：top 的加强版
last：登入记录
w：查看处于登录状态的用户
id：用户/组 ID 信息
sar：系统历史数据
iftop 或 nethogs：套接字及进程的网络利用情况
ss：套接字数据
dmesg：引导及系统错误信息
sysctl：在内核运行时动态地查看和修改内核的运行参数
hdparm：SATA/ATA 磁盘更改及性能分析
lsblk：列出块设备信息：以树形展示你的磁盘以及磁盘分区信息
lshw，lscpu，lspci，lsusb 和 dmidecode：查看硬件信息，包括 CPU、BIOS、RAID、显卡、USB 设备等
lsmod 和 modinfo：列出内核模块，并显示其细节
fortune，ddate 和 sl：额，这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否“有用”

仅限 OS X 系统

以下是仅限于 OS X 系统的技巧。

用 brew （Homebrew）或者 port （MacPorts）进行包管理。这些可以用来在 OS X 系统上安装以上的大多数命令。
用 pbcopy 复制任何命令的输出到桌面应用，用 pbpaste 粘贴输入。
若要在 OS X 终端中将 Option 键视为 alt 键（例如在上面介绍的 alt-b、alt-f 等命令中用到），打开偏好设置 -> 描述文件 -> 键盘并勾选“使用 Option 键作为 Meta 键”。
用 open 或者 open -a /Applications/Whatever.app 使用桌面应用打开文件。
Spotlight：用 mdfind 搜索文件，用 mdls 列出元数据（例如照片的 EXIF 信息）。
注意 OS X 系统是基于 BSD UNIX 的，许多命令（例如 ps，ls，tail，awk，sed）都和 Linux 中有微妙的不同（ Linux 很大程度上受到了 System V-style Unix 和 GNU 工具影响）。你可以通过标题为 “BSD General Commands Manual” 的 man 页面发现这些不同。在有些情况下 GNU 版本的命令也可能被安装（例如 gawk 和 gsed 对应 GNU 中的 awk 和 sed ）。如果要写跨平台的 Bash 脚本，避免使用这些命令（例如，考虑 Python 或者 perl ）或者经过仔细的测试。
用 sw_vers 获取 OS X 的版本信息。

仅限 Windows 系统

以下是仅限于 Windows 系统的技巧。

在 Winodws 下获取 Unix 工具

可以安装 Cygwin 允许你在 Microsoft Windows 中体验 Unix shell 的威力。这样的话，本文中介绍的大多数内容都将适用。
在 Windows 10 上，你可以使用 Bash on Ubuntu on Windows，它提供了一个熟悉的 Bash 环境，包含了不少 Unix 命令行工具。好处是它允许 Linux 上编写的程序在 Windows 上运行，而另一方面，Windows 上编写的程序却无法在 Bash 命令行中运行。
如果你在 Windows 上主要想用 GNU 开发者工具（例如 GCC），可以考虑 MinGW 以及它的 MSYS 包，这个包提供了例如 bash，gawk，make 和 grep 的工具。MSYS 并不包含所有可以与 Cygwin 媲美的特性。当制作 Unix 工具的原生 Windows 端口时 MinGW 将特别地有用。
另一个在 Windows 下实现接近 Unix 环境外观效果的选项是 Cash。注意在此环境下只有很少的 Unix 命令和命令行可用。

实用 Windows 命令行工具

可以使用 wmic 在命令行环境下给大部分 Windows 系统管理任务编写脚本以及执行这些任务。
Windows 实用的原生命令行网络工具包括 ping，ipconfig，tracert，和 netstat。
可以使用 Rundll32 命令来实现许多有用的 Windows 任务。

Cygwin 技巧

通过 Cygwin 的包管理器来安装额外的 Unix 程序。
使用 mintty 作为你的命令行窗口。
要访问 Windows 剪贴板，可以通过 /dev/clipboard。
运行 cygstart 以通过默认程序打开一个文件。
要访问 Windows 注册表，可以使用 regtool。
注意 Windows 驱动器路径 C:\ 在 Cygwin 中用 /cygdrive/c 代表，而 Cygwin 的 / 代表 Windows 中的 C:\cygwin。要转换 Cygwin 和 Windows 风格的路径可以用 cygpath。这在需要调用 Windows 程序的脚本里很有用。
学会使用 wmic，你就可以从命令行执行大多数 Windows 系统管理任务，并编成脚本。
要在 Windows 下获得 Unix 的界面和体验，另一个办法是使用 Cash。需要注意的是，这个环境支持的 Unix 命令和命令行参数非常少。
要在 Windows 上获取 GNU 开发者工具（比如 GCC）的另一个办法是使用 MinGW 以及它的 MSYS 软件包，该软件包提供了 bash、gawk、make、grep 等工具。然而 MSYS 提供的功能没有 Cygwin 完善。MinGW 在创建 Unix 工具的 Windows 原生移植方面非常有用。

免责声明

除去特别小的工作，你编写的代码应当方便他人阅读。能力往往伴随着责任，你 有能力 在 Bash 中玩一些奇技淫巧并不意味着你应该去做！;)

授权条款

本文使用授权协议 Creative Commons Attribution-ShareAlike 4.0 International License。

数据库系统概论

发表于 2023-11-01 更新于 2024-01-27 分类于数据库，关系型数据库，综合本文字数： 4k 阅读时长 ≈ 4 分钟

数据库系统概论

数据库核心术语

数据

数据是数据库中存储的基本对象，可以对数据做如下定义：描述事物的符号称为数据。

描述事物的符号多种多样，所以数据有多种表现形式。

数据的表现形式还不能完全地表达其内容，需要经过解释，数据和关于数据的解释是密不可分的，每一个数据都有它的意义，数据的解释指的是对数据含义的说明，数据的含义称为数据的语义，数据与其语义是不可分的。

数据库

数据库就是存放数据的仓库，只不过这个仓库是在计算机存储设备上，而且数据是按一定格式存放的。

严格的来讲，数据库的含义如下：

长期存储在计算机内，有组织的，可共享大量数据的集合
里面的数据按照一定的数据模型组织，描述和储存
具有较小的冗余度，较高的数据独立性和易扩展性，并可为各种用户共享

数据库特点：

永久存储
有组织
可共享

数据库管理系统

数据库管理系统（Database Management System, DBMS）是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库。它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。用户通过 DBMS 访问数据库中的数据，数据库管理员也通过 DBMS 进行数据库的维护工作。

数据库管理系统的功能主要包括以下方面：

数据定义功能
数据组织，存储和管理
数据操纵功能
数据库的事务管理和运行管理
数据库的建立和维护功能
- 数据库初始数据输入，转换功能
- 数据库的转储，恢复功能
- 数据库的重组织功能
- 数据库的性能监视，分析功能
其他功能
- 数据库管理系统与网络中其他软件系统的通信功能
- 一个数据库管理系统与另一个数据库管理系统或文件系统的数据转换功能
- 异构数据库之间的互访和互操作功能等

数据库系统

数据库系统是由数据库，数据库管理系统，应用程序和数据库管理员组成的存储，管理，处理和维护数据的系统。

OLTP 和 OLAP

OLTP 和 OLAP 的共性：

OLTP 和 OLAP 都是用于存储和处理大量数据的数据库管理系统。它们都需要高效可靠的 IT 基础设施才能平稳运行。可以同时使用它们来查询现有数据或存储新数据。两者都支持组织中数据驱动的决策。大多数公司同时使用 OLTP 和 OLAP 系统来满足其商业智能需求。

OLTP 和 OLAP 的区别：

“联机事务处理 (OLTP) ”系统的主要用途是处理数据库事务。

“联机分析处理 (OLAP) ”系统的主要用途是分析聚合数据。

数据模型

数据模型是对现实世界数据特征的抽象，也就是说数据模型是用来描述数据，组织数据和对数据进行操作的。

现有的数据库都是基于某种数据模型的，数据模型是数据库系统的核心和基础。

数据模型可以分为两类：第一类是概念模型，第二类是逻辑模型和物理模型。

概念模型

概念模型也称为信息模型，它是按照用户的观点来对数据和信息建模，主要用于数据库设计。

概念模型主要涉及以下一些概念：

实体 - 客观存在并可相互区别的事务称为实体。
属性 - 实体具有的某一特性称为属性。
码 - 唯一标识实体的属性集称为码。
实体模型 - 用实体名及其属性名集合来抽象和刻画同类实体，称为实体模型。
实体集 - 同一类型实体的集合就是实体集。
联系
- 实体之间的联系通常指的是不同实体集之间的联系。
- 实体之间的联系有一对一，一对多和多对多等多种类型。

概念模型的一种表示方法是：实体-联系方法，该方法使用 ER 图来描述现实世界的概念模型，ER 方法也成为 ER 模型。

逻辑模型

逻辑模型是计算机系统的观点对数据建模，主要用于数据库管理系统的实现。

逻辑模型通常由三部分组成：

数据结构 - 数据结构描述数据库的组成对象以及对象之间的联系，也就是说，数据结构描述的内容有两类，一类是对象的类型、内容、性质有关的，一类是与数据之间联系有关的对象。
数据操作 - 数据操作指的是对数据库中各种对象的实例允许执行的操作的集合，包括操作及有关的操作规则。主要有查询和更新两大操作。
数据的完整性约束 - 数据的完整性约束条件是一组完整性规则。

物理模型是对数据最底层的抽象，他描述数据在系统内部的表示和存储方式，是面向计算机系统的。

函数依赖

定义：设 R(U) 是属性集合 U={ A1, A2, … , An } 上的一个关系模式，X, Y 是 U 上的两个子集，若对 R(U) 的任意一个可能的关系 r ，r 中不可能有两个元组满足在 X 中的属性值相等而在 Y 中的属性值不等，则称 “ X 函数决定 Y ” 或 “ Y 函数依赖于 X ” ，记作 X->Y 。

白话：在一个关系 R 中，属性（组） Y 的值是由属性（组） X 的值所决定的。又可以说，在关系 R 中，若两个元组的 X 属性值相同，那么这两个元组的 Y 属性值也相同。

为什么叫做函数依赖？函数的定义：对于定义域中任意 x ，有且只有一个 y 与之对应。属性之间的依赖：对于相同的 X 属性值，有且只有一个 Y 属性值与之对应。

本质：函数依赖的本质就是反应了一个关系中属性之间的约束关系，或者依赖关系。函数依赖是一种数据依赖。

举例：

1 2	U = { 学号，姓名，年龄，专业 } {学号} → { 姓名，年龄，专业 }

扩展阅读：白话详解数据库函数依赖和 Armstrong 公理及其引理

范式

数据库规范化，又称“范式”，是数据库设计的指导理论。范式的目标是：使数据库结构更合理，消除存储异常，使数据冗余尽量小，增进数据的一致性。

根据约束程度从低到高有：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BCNF）等等。现代数据库设计，一般最多满足 3NF——范式过高，虽然具有对数据关系更好的约束性，但也导致数据关系表增加而令数据库 IO 更繁忙。因此，在实际应用中，本来可以交由数据库处理的关系约束，很多都是在数据库使用程序中完成的。

第一范式 (1NF)

1NF 要求属性具有原子性，不可再分解。

第二范式 (2NF)

2NF 要求记录有唯一标识，即实体的唯一性，即不存在部分依赖。

假设有一张 student 表，结构如下：

1 2	-- 学生表 student(学号、课程号、姓名、学分、成绩)

举例来说，现有一张 student 表，具有学号、课程号、姓名、学分等字段。从中可以看出，表中包含了学生信息和课程信息。由于非主键字段必须依赖主键，这里学分依赖课程号，姓名依赖学号，所以不符合 2NF。

不符合 2NF 可能会存在的问题：

数据冗余 - 每条记录都含有相同信息。
删除异常 - 删除所有学生成绩，就把课程信息全删除了。
插入异常 - 学生未选课，无法记录进数据库。
更新异常 - 调整课程学分，所有行都调整。

根据 2NF 可以拆分如下：

-- 学生表
student(学号、姓名)
-- 课程表
course(课程号、学分)
-- 学生课程关系表
student_course(学号、课程号、成绩)

第三范式 (3NF)

如果一个关系属于第二范式，并且在两个(或多个)非主键属性之间不存在函数依赖（非主键属性之间的函数依赖也称为传递依赖），那么这个关系属于第三范式。

3NF 是对字段的冗余性，要求任何字段不能由其他字段派生出来，它要求字段没有冗余，即不存在传递依赖。

假设有一张 student 表，结构如下：

1 2	-- 学生表 student(学号、姓名、年龄、班级号、班主任)

上表属于第二范式，因为主键由单个属性组成（学号）。

因为存在依赖传递：(学号) → (学生)→(所在班级) → (班主任) 。

可能会存在问题：

数据冗余 - 有重复值；
更新异常 - 有重复的冗余信息，修改时需要同时修改多条记录，否则会出现数据不一致的情况 。

可以基于 3NF 拆解：

1 2	student(学号、姓名、年龄、所在班级号) class(班级号、班主任)

反范式

前文已提及，范式的目标是：使数据库结构更合理，消除存储异常，使数据冗余尽量小，增进数据的一致性。反范式，顾名思义，与范式正好相反。

是不是范式越严格越好呢（也就是意味着极力避免冗余，甚至消除冗余）？这也不是一定的，范式越高意味着表的划分更细，一个数据库中需要的表也就越多，用户不得不将原本相关联的数据分摊到多个表中。当用户同时需要这些数据时只能通过关联表的形式将数据重新合并在一起。同时把多个表联接在一起的花费是巨大的，尤其是当需要连接的两张或者多张表数据非常庞大的时候，表连接操作几乎是一个噩梦，这严重地降低了系统运行性能。因此，有时为了提高查询效率，有必要适当的冗余数据，以达到空间换时间的目的——这就是“反范式”。

ER 图

E-R 图又称实体关系图，是一种提供了实体，属性和联系的方法，用来描述现实世界的概念模型。通俗点讲就是，当我们理解了实际问题的需求之后，需要用一种方法来表示这种需求，概念模型就是用来描述这种需求。

ER 图中的要素：

实体 - 用矩形表示。实际问题中客观存在的并且可以相互区别的事物称为实体。实体是现实世界中的对象，可以具体到人，事，物。可以是学生，教师，图书馆的书籍。
属性 - 用椭圆形表示。实体所具有的某一个特性称为属性，在 E-R 图中属性用来描述实体。比如：可以用“姓名”“姓名”“出生日期”来描述人。
主键 - 在属性下方标记下划线。在描述实体集的所有属性中，可以唯一标识每个实体的属性称为键。键也是属于实体的属性，作为键的属性取值必须唯一且不能“空置”。
联系 - 用菱形表示。世界上任何事物都不是孤立存在的，事物内部和事物之间都有联系的，实体之间的联系通常有 3 种类型：一对一联系，一对多联系，多对多联系。

绘制 ER 图常用软件：

drawio 官网 - 开源的绘图工具，特点是简洁、清晰，并且同时支持线上线下绘图。
Visio - Office 的绘图工具，特点是简单、清晰。
亿图 - 国内开发的、收费的绘图工具。图形模板、素材非常全面，样式也很精美，可以导出为 word、pdf、图片。
StarUML - 样式精美，功能全面的 UML 工具。
Astah 官网 - 样式不错，功能全面的绘图工具。
ArgoUML 官网
ProcessOn 官网 - 在线绘图工具，特点是简洁、清晰。

扩展阅读：

ER 图（实体关系图）怎么画？

参考资料

Mysql 高可用

发表于 2023-09-21 更新于 2024-01-27 分类于数据库，关系型数据库， Mysql 本文字数： 4.2k 阅读时长 ≈ 4 分钟

Mysql 高可用

复制

复制是解决系统高可用的常见手段。其思路就是：不要把鸡蛋都放在一个篮子里。

复制解决的基本问题是让一台服务器的数据与其他服务器保持同步。一台主库的数据可以同步到多台备库上，备库本身也可以被配置成另外一台服务器的主库。主库和备库之间可以有多种不同的组合方式。

MySQL 支持两种复制方式：基于行的复制和基于语句的复制。这两种方式都是通过在主库上记录 bin log、在备库重放日志的方式来实现异步的数据复制。这意味着：复制过程存在时延，这段时间内，主从数据可能不一致。

复制如何工作

在 Mysql 中，复制分为三个步骤，分别由三个线程完成：

binlog dump 线程 - 主库上有一个特殊的 binlog dump 线程，负责将主服务器上的数据更改写入 binlog 中。
I/O 线程 - 备库上有一个 I/O 线程，负责从主库上读取 binlog，并写入备库的中继日志（relay log）中。
SQL 线程 - 备库上有一个 SQL 线程，负责读取中继日志（relay log）并重放其中的 SQL 语句。

这种架构实现了数据备份和数据同步的异步解耦。但这种架构也限制了复制的过程，其中最重要的一点是在主库上并发运行的查询在备库只能串行化执行，因为只有一个 SQL 线程来重放中继日志中的事件。

主备配置

假设需要配置一对 Mysql 主备节点，环境如下：

主库节点：192.168.8.10
备库节点：192.168.8.11

主库上的操作

（1）修改配置并重启

执行 vi /etc/my.cnf ，添加如下配置：

1
2
3

[mysqld]
server-id=1
log_bin=/var/lib/mysql/binlog

server-id - 服务器 ID 号。在主从架构中，每台机器的 ID 必须唯一。
log_bin - 同步的日志路径及文件名，一定注意这个目录要是 mysql 有权限写入的；

修改后，重启 mysql 使配置生效：

1	systemctl restart mysql

（2）创建用于同步的用户

进入 mysql 命令控制台：

1 2	$ mysql -u root -p Password:

执行以下 SQL：

-- a. 创建 slave 用户
CREATE USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY '密码';
-- 为 slave 赋予 REPLICATION SLAVE 权限
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%';

-- b. 或者，创建 slave 用户，并指定该用户能在任意主机上登录
-- 如果有多个备库，又想让所有备库都使用统一的用户名、密码认证，可以考虑这种方式
CREATE USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY '密码';
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%';

-- 刷新授权表信息
FLUSH PRIVILEGES;

注意：在 Mysql 8 中，默认密码验证不再是 password。所以在创建用户时，create user 'username'@'%' identified by 'password'; 客户端是无法连接服务的。所以，需要加上 IDENTIFIED WITH mysql_native_password BY 'password'

补充用户管理 SQL:

-- 查看所有用户
SELECT DISTINCT CONCAT('User: ''', user, '''@''', host, ''';') AS query
FROM mysql.user;

-- 查看用户权限
SHOW GRANTS FOR 'root'@'%';

-- 创建用户
-- a. 创建 slave 用户，并指定该用户只能在主机 192.168.8.11 上登录
CREATE USER 'slave'@'192.168.8.11' IDENTIFIED WITH mysql_native_password BY '密码';
-- 为 slave 赋予 REPLICATION SLAVE 权限
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'192.168.8.11';

-- 删除用户
DROP USER 'slave'@'192.168.8.11';

（3）加读锁

为了主库与从库的数据保持一致，我们先为 mysql 加入读锁，使其变为只读。

1	mysql> FLUSH TABLES WITH READ LOCK;

（4）查看主库状态

mysql> show master status;
+------------------+----------+--------------+---------------------------------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB                            | Executed_Gtid_Set |
+------------------+----------+--------------+---------------------------------------------+-------------------+
| mysql-bin.000001 |     4202 |              | mysql,information_schema,performance_schema |                   |
+------------------+----------+--------------+---------------------------------------------+-------------------+
1 row in set (0.00 sec)

注意：需要记录下 File 和 Position，后面会用到。

（5）导出 sql

1	mysqldump -u root -p --all-databases --master-data > dbdump.sql

（6）解除读锁

1	mysql> UNLOCK TABLES;

（7）将 sql 远程传送到备库上

1	scp dbdump.sql root@192.168.8.11:/home

备库上的操作

（1）修改配置并重启

执行 vi /etc/my.cnf ，添加如下配置：

1
2
3

[mysqld]
server-id=2
log_bin=/var/lib/mysql/binlog

server-id - 服务器 ID 号。在主从架构中，每台机器的 ID 必须唯一。
log_bin - 同步的日志路径及文件名，一定注意这个目录要是 mysql 有权限写入的；

修改后，重启 mysql 使配置生效：

1	systemctl restart mysql

（2）导入 sql

1	mysql -u root -p < /home/dbdump.sql

（3）在备库上建立与主库的连接

进入 mysql 命令控制台：

1 2	$ mysql -u root -p Password:

执行以下 SQL：

-- 停止备库服务
STOP SLAVE;

-- 注意：MASTER_USER 和
CHANGE MASTER TO
MASTER_HOST='192.168.8.10',
MASTER_USER='slave',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='binlog.000001',
MASTER_LOG_POS=4202;

MASTER_LOG_FILE 和 MASTER_LOG_POS 参数要分别与 show master status 指令获得的 File 和 Position 属性值对应。
MASTER_HOST 是主库的 HOST。
MASTER_USER 和 MASTER_PASSWORD 是在主节点上注册的用户及密码。

（4）启动 slave 进程

1	mysql> start slave;

（5）查看主从同步状态

1	mysql> show slave status\G;

说明：如果以下两项参数均为 YES，说明配置正确。

Slave_IO_Running
Slave_SQL_Running

（6）将备库设为只读

mysql> set global read_only=1;
mysql> set global super_read_only=1;
mysql> show global variables like "%read_only%";
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_read_only      | OFF   |
| read_only             | ON    |
| super_read_only       | ON    |
| transaction_read_only | OFF   |
+-----------------------+-------+

注：设置 slave 服务器为只读，并不影响主从同步。

复制的原理

读写分离

主服务器用来处理写操作以及实时性要求比较高的读操作，而从服务器用来处理读操作。

读写分离常用代理方式来实现，代理服务器接收应用层传来的读写请求，然后决定转发到哪个服务器。

MySQL 读写分离能提高性能的原因在于：

主从服务器负责各自的读和写，极大程度缓解了锁的争用；
从服务器可以配置 MyISAM 引擎，提升查询性能以及节约系统开销；
增加冗余，提高可用性。

参考资料

Redis 事件

发表于 2023-09-11 更新于 2024-01-27 分类于数据库， KV数据库， Redis 本文字数： 1.4k 阅读时长 ≈ 1 分钟

Redis 事件

Redis 服务器是一个事件驱动程序，服务器需要处理两类事件：

文件事件（file event） - Redis 服务器通过套接字（Socket）与客户端或者其它服务器进行通信，文件事件就是对套接字操作的抽象。服务器与客户端（或其他的服务器）的通信会产生文件事件，而服务器通过监听并处理这些事件来完成一系列网络通信操作。

时间事件（time event） - Redis 服务器有一些操作需要在给定的时间点执行，时间事件是对这类定时操作的抽象。

关键词：文件事件、时间事件

文件事件

Redis 基于 Reactor 模式开发了自己的网络时间处理器。

Redis 文件事件处理器使用 I/O 多路复用程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
当被监听的套接字准备好执行连接应答、读取、写入、关闭操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

虽然文件事件处理器以单线程方式运行，但通过使用 I/O 多路复用程序来监听多个套接字，文件事件处理器实现了高性能的网络通信模型。

文件事件处理器有四个组成部分：套接字、I/O 多路复用程序、文件事件分派器、事件处理器。

时间事件

时间事件又分为：

定时事件：是让一段程序在指定的时间之内执行一次；
周期性事件：是让一段程序每隔指定时间就执行一次。

Redis 将所有时间事件都放在一个无序链表中，每当时间事件执行器运行时，通过遍历整个链表查找出已到达的时间事件，并调用响应的事件处理器。

事件的调度与执行

服务器需要不断监听文件事件的套接字才能得到待处理的文件事件，但是不能一直监听，否则时间事件无法在规定的时间内执行，因此监听时间应该根据距离现在最近的时间事件来决定。

事件调度与执行由 aeProcessEvents 函数负责，伪代码如下：

def aeProcessEvents():

    ## 获取到达时间离当前时间最接近的时间事件
    time_event = aeSearchNearestTimer()

    ## 计算最接近的时间事件距离到达还有多少毫秒
    remaind_ms = time_event.when - unix_ts_now()

    ## 如果事件已到达，那么 remaind_ms 的值可能为负数，将它设为 0
    if remaind_ms < 0:
        remaind_ms = 0

    ## 根据 remaind_ms 的值，创建 timeval
    timeval = create_timeval_with_ms(remaind_ms)

    ## 阻塞并等待文件事件产生，最大阻塞时间由传入的 timeval 决定
    aeApiPoll(timeval)

    ## 处理所有已产生的文件事件
    procesFileEvents()

    ## 处理所有已到达的时间事件
    processTimeEvents()

将 aeProcessEvents 函数置于一个循环里面，加上初始化和清理函数，就构成了 Redis 服务器的主函数，伪代码如下：

def main():

    ## 初始化服务器
    init_server()

    ## 一直处理事件，直到服务器关闭为止
    while server_is_not_shutdown():
        aeProcessEvents()

    ## 服务器关闭，执行清理操作
    clean_server()

从事件处理的角度来看，服务器运行流程如下：

参考资料

《Redis 设计与实现》

Redis 管道

发表于 2023-09-11 更新于 2024-01-27 分类于数据库， KV数据库， Redis 本文字数： 3k 阅读时长 ≈ 3 分钟

Redis 管道

关键词：Pipeline

Pipeline 简介

Redis 是一种基于 C/S 模型以及请求/响应协议的 TCP 服务。通常情况下，一个 Redis 命令的请求、响应遵循以下步骤：

客户端向服务端发送一个查询请求，并监听 Socket 返回（通常是以阻塞模式，等待服务端响应）。
服务端处理命令，并将结果返回给客户端。

显然，如果每个 Redis 命令都发起一次请求、响应，会很低效。因此，Redis 客户端提供了一种批量处理技术，即

管道技术（Pipeline）。Pipeline 的工作原理就是：将多个 Redis 命令一次性发送给服务端，服务端处理后，统一返回给客户端。由于减少了通信次数，自然提升了处理效率。

Pipeline 限制

在使用 Redis 管道技术时，要注意一些限制，避免踩坑：

Pipeline 不能保证原子性 - Pipeline 只是将客户端发送命令的方式改为批量发送，而服务端在接收到 Pipeline 发来的命令后，将其拆解为一条条命令，然后依然是串行执行。执行过程中，服务端有可能执行其他客户端的命令，所以无法保证原子性。如需保证原子性，可以考虑使用事务或 Lua 脚本。
Pipeline 不支持回滚 - Pipeline 没有事务的特性，如果待执行命令的前后存在依赖关系，请勿使用 Pipeline。
Pipeline 命令不宜过大 - 使用管道发送命令时，Redis Server 会将部分请求放到缓存队列中（占用内存），执行完毕后一次性发送结果。如果需要发送大量的命令，会占用大量的内存，因此应该按照合理数量分批次的处理。
Pipeline 不支持跨 slot 访问 - 由于 Pipeline 不支持跨 slot 访问，因此，在 Redis 集群模式下使用 Pipeline 时要确保访问的 key 都在同一 slot 中。

Pipeline 案例

主流的 Redis 客户端，一般都会支持管道技术。

【示例】Jedis 管道使用示例

public class Demo {

    public static void main(String[] args) {

        String host = "localhost";
        int port = 6379;
        Jedis jedis = new Jedis(host, port);

        String key = "pipeline:test";
        jedis.del(key);

        // -------- 方法1
        method1(jedis, key);

        //-------- 方法2
        method2(jedis, key);
    }

    private static void method2(Jedis jedis, String key) {
        System.out.println("-----方法2-----");
        jedis.del(key);//初始化
        Pipeline pipeline = jedis.pipelined();
        //需要先声明Response
        Response<Long> r1 = pipeline.incr(key);
        System.out.println("Pipeline发送请求");
        Response<Long> r2 = pipeline.incr(key);
        System.out.println("Pipeline发送请求");
        Response<Long> r3 = pipeline.incr(key);
        System.out.println("Pipeline发送请求");
        Response<Long> r4 = pipeline.incr(key);
        System.out.println("Pipeline发送请求");
        Response<Long> r5 = pipeline.incr(key);
        System.out.println("Pipeline发送请求");
        try {
            // 此时还未开始接收响应，所以此操作会出错
            r1.get();
        } catch (Exception e) {
            System.out.println(" <<< Pipeline error：还未开始接收响应  >>> ");
        }
        // 发送请求完成，开始接收响应
        System.out.println("发送请求完成，开始接收响应");
        pipeline.sync();
        System.out.println("Pipeline 接收响应 Response: " + r1.get());
        System.out.println("Pipeline 接收响应 Response: " + r2.get());
        System.out.println("Pipeline 接收响应 Response: " + r3.get());
        System.out.println("Pipeline 接收响应 Response: " + r4.get());
        System.out.println("Pipeline 接收响应 Response: " + r5.get());
        jedis.close();
    }

    private static void method1(Jedis jedis, String key) {
        Pipeline pipeline = jedis.pipelined();
        System.out.println("-----方法1-----");
        for (int i = 0; i < 5; i++) {
            pipeline.incr(key);
            System.out.println("Pipeline 发送请求");
        }
        // 发送请求完成，开始接收响应
        System.out.println("发送请求完成，开始接收响应");
        List<Object> responses = pipeline.syncAndReturnAll();
        if (responses == null || responses.isEmpty()) {
            jedis.close();
            throw new RuntimeException("Pipeline error: 没有接收到响应");
        }
        for (Object resp : responses) {
            System.out.println("Pipeline 接收响应 Response: " + resp.toString());
        }
        System.out.println();
    }

}

参考资料

Redis 发布订阅

发表于 2023-09-11 更新于 2024-01-27 分类于数据库， KV数据库， Redis 本文字数： 1.6k 阅读时长 ≈ 1 分钟

Redis 发布订阅

Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息。Redis 客户端可以订阅任意数量的频道。

Redis 有两种发布订阅模式

基于频道（Channel）的发布订阅

基于模式（Pattern）的发布订阅

关键词：订阅、SUBSCRIBE、PSUBSCRIBE、PUBLISH、观察者模式

观察者模式

Redis 发布订阅应用了设计模式中经典的“观察者模式”。

观察者模式（Observer）是一种行为设计模式，允许你定义一种订阅机制，可在对象事件发生时通知多个 “观察” 该对象的其他对象。

当一个对象状态的改变需要改变其他对象，或实际对象是事先未知的或动态变化的时，可使用观察者模式。
当应用中的一些对象必须观察其他对象时，可使用该模式。但仅能在有限时间内或特定情况下使用。

观察者模式

Redis 订阅模式

Redis 有两种发布订阅模式：

（1）基于频道（Channel）的发布订阅

服务器状态在 pubsub_channels 字典保存了所有频道的订阅关系： SUBSCRIBE 命令负责将客户端和被订阅的频道关联到这个字典里面，而 UNSUBSCRIBE 命令则负责解除客户端和被退订频道之间的关联。

【示例】订阅指定频道示例

打开客户端一，执行以下命令

> SUBSCRIBE first second
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "first"
3) (integer) 1
1) "subscribe"
2) "second"
3) (integer) 2

打开客户端二，执行以下命令

1 2	> PUBLISH second Hello 1) "1"

此时，客户端一会收到以下内容

1
2
3

1) "message"
2) "second"
3) "Hello"

（2）基于模式（Pattern）的发布订阅

服务器状态在 pubsub_patterns 链表保存了所有模式的订阅关系： PSUBSCRIBE 命令负责将客户端和被订阅的模式记录到这个链表中，而 UNSUBSCRIBE 命令则负责移除客户端和被退订模式在链表中的记录。

【示例】订阅符合指定模式的频道

打开客户端一，执行以下命令

> PSUBSCRIBE news.*
Reading messages... (press Ctrl-C to quit)
1) "psubscribe"
2) "news.*"
3) (integer) 1

打开客户端二，执行以下命令

1 2	> PUBLISH news.A Hello 1) "1"

打开客户端三，执行以下命令

1 2	> PUBLISH news.B World 1) "1"

此时，客户端一会收到以下内容

1) "pmessage"
2) "news.*"
3) "news.A"
4) "Hello"
1) "pmessage"
2) "news.*"
3) "news.B"
4) "World"

发布订阅命令

Redis 提供了以下与订阅发布有关的命令：

命令	描述
`SUBSCRIBE`	订阅指定频道
`UNSUBSCRIBE`	取消订阅指定频道
`PSUBSCRIBE`	订阅符合指定模式的频道
`PUNSUBSCRIBE`	取消订阅符合指定模式的频道
`PUBLISH`	发送信息到指定的频道
`PUBSUB`	查看发布订阅状态

参考资料

《Redis 设计与实现》

《HBase A NoSQL database》笔记

发表于 2023-09-05 更新于 2024-01-27 分类于笔记，分布式，分布式存储本文字数： 1.2k 阅读时长 ≈ 1 分钟

《HBase: A NoSQL database》笔记

简介

HBase 是一种 NoSQL 数据库，它是Java版本的 Google’s Big Table 实现，它原本是 Hadoop 的子项目，现在已独立出来，并成为 apache 的顶级项目。

HBase 的设计目标是用于存储大规模数据集。HBase 是列式数据库，与传统行式数据库相比，其非常适合用于存储稀疏性的数据。

HBase 是基于 HDFS 实现的。

HBase 和历史

HBase 关键特性：

水平扩展
分区容错性
支持并行处理
支持 HDFS 和 MapReduce
近实时查询
适用于存储大规模数据集
适用于存储稀疏型数据（宽表）
表的动态负载均衡
对于大规模的查询，支持块缓存和布隆过滤器

HBase 发展历史

2007 - Mike Cafarella 发布 BigTable 的开源实现——HBase

2008 ~ 2010 - HBase 成为 Apache 顶级项目。

HBase 数据结构和架构

HBase 表可以用于 MapReduce 任务的输入、输出对象。

HBase 由行、列族、列、时间戳组成。

HBase 表会被分成多个分区，每个分区会定义起始key、结束key。它们被存于 HDFS 文件中。

HBase 的架构通常为一个 master server，多个 region server，以及 ZooKeeper 集群。

master server
- 在 ZooKeeper 的帮助下，为分区分配 region server，控制 region server 的负载均衡。
- 负责 schema 的变更
- 管理和监控 Hadoop 集群
region server
- region server 负责处理来自客户端的 CRUD 操作
- region server 包括内存存储和 HFile
- region server 运行在 HDFS 的数据节点上
- region server 有四个核心组件：Block cache（读缓存）、MemStore（写缓存）、WAL、HFile（存储行数据，键值对结构）
Zookeeper
- 当 region server 宕机并重新工作时，HBase 会使用 ZooKeeper 作为协调工具，对其进行恢复
- Zookeeper 是客户端和 master server 的中心，它维护着 master server 和 region server 注册的元数据信息。例如：有多少有效的 region server；任意 region server 持有哪些 data node
- ZooKeeper 可以用于追踪服务器错误

HBase 和大数据

HBase 相比于其他 NoSQL，最显著的优势在于，它属于 Hadoop 生态体系中的重要一环，被广泛用于大数据领域。但是，近些年，有 MongoDB、Cassandra 等一些数据库挑战着其地位。

HBase 的应用

Facebook 的消息平台使用 HBase 存储数据，每月产生约 13.5 亿条信息。

HBase 还被用于存储各种海量操作数据。

HBase 的挑战和限制

HBase 采用主从架构，一旦 master server 不可用，需要很长时间才能恢复。

HBase 不支持二级索引。

参考资料

HBase: A NoSQL Database

《The Log-Structured Merge-Tree (LSM-Tree)》笔记

发表于 2023-09-05 更新于 2024-01-27 分类于笔记，分布式，分布式存储本文字数： 350 阅读时长 ≈ 1 分钟

《The Log-Structured Merge-Tree (LSM-Tree)》笔记

LSM 被广泛应用于很多以文件结构存储数据的数据库，如：HBase, Cassandra, LevelDB, SQLite。

LSM 的设计目标：通过顺序写来提高写操作吞吐量，替代传统的 B+ 树或 ISAM。

参考资料

原文
[The Log-Structured-Merge-Tree](chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://www.cs.umb.
edu/~poneil/lsmtree.pdf)
扩展阅读
Log Structured Merge Trees(LSM) 原理
Log Structured Merge Tree

Redis 过期删除和内存淘汰

发表于 2023-08-23 更新于 2024-01-27 分类于数据库， KV数据库， Redis 本文字数： 3.5k 阅读时长 ≈ 3 分钟

Redis 过期删除和内存淘汰

关键词：定时删除、惰性删除、定期删除、LRU、LFU

Redis 过期删除

Redis 可以为每个键设置过期时间，当键过期时，会自动删除该键。

设置键的生存时间或过期时间

Redis 中，和键的生存时间相关的命令如下所示：

命令	描述
`EXPIRE`	设置 key 的过期时间，单位为秒
`PEXPIRE`	设置 key 的过期时间，单位为毫秒
`EXPIREAT`	设置 key 的过期时间为指定的秒级时间戳
`PEXPIREAT`	设置 key 的过期时间为指定的毫秒级时间戳
`TTL`	返回 key 的剩余生存时间，单位为秒
`PTTL`	返回 key 的剩余生存时间，单位为毫秒
`PERSIST`	移除 key 的过期时间，key 将持久保持

【示例】EXPIRE、TTL 操作

> set key value
OK
# 设置 key 的生存时间为 60s
> expire key 60
(integer) 1
# 查看 key 的剩余生存时间
> ttl key
(integer) 58
# 60s 之内
> get key
"value"
# 60s 之外
> get key
(nil)

【示例】EXPIREAT、TTL 操作

> set key value
OK
# 设置 key 的生存时间为 1692419299
> expireat key 1692419299
(integer) 1
# 查看 key 的剩余生存时间
> ttl key
(integer) 9948
# 1692419299 之前
> get key
"value"
# 1692419299 之后
> get key
(nil)

如何保存过期时间

在 Redis 中，redisDb 结构的 expires 字典保存了数据库中所有键的过期时间，这个字典称为过期字典：

过期字典的键是一个指针，这个指针指向某个键对象
过期字典的值是一个 long long 类型的整数，这个整数保存了键的过期时间——一个毫秒精度的 UNIX 时间戳。

typedef struct redisDb {

    // 数据库键空间，保存着数据库中的所有键值对
    dict *dict;

    // 键的过期时间，字典的键为键，字典的值为过期事件 UNIX 时间戳
    dict *expires;

    // ...
} redisDb;

下图是一个带有过期字典的示例：

当执行 EXPIRE、PEXPIRE、EXPIREAT、PEXPIREAT 命令，Redis 都会将其转为 PEXPIREAT 形式的时间戳，然后维护在 expires 字典中。

过期键的判定

过期键的判定流程如下：

检查指定 key 是否存在于过期字典；如果存在，则取得 key 的过期时间。
检查当前时间戳是否大于 key 的过期时间：如果是，key 已过期；反之，key 未过期。

过期删除策略

定时删除 - 在设置 key 的过期时间的同时，创建一个定时器，让定时器在 key 的过期时间来临时，立即执行对 key 的删除操作。
- 优点 - 保证过期 key 被尽可能快的删除，释放内存。
- 缺点 - 如果过期 key 较多，可能会占用相当一部分的 CPU，从而影响服务器的吞吐量和响应时延。
惰性删除 - 放任 key 过期不管，但是每次访问 key 时，都检查 key 是否过期，如果过期的话，就删除该 key ；如果没有过期，就返回该 key。
- 优点 - 占用 CPU 最少。程序只会在读写键时，对当前键进行过期检查，因此不会有额外的 CPU 开销。
- 缺点 - 过期的 key 可能因为没有被访问，而一直无法释放，造成内存的浪费，有内存泄漏的风险。
定期删除 - 每隔一段时间，程序就对数据库进行一次检查，删除里面的过期 key 。至于要删除多少过期 key ，以及要检查多少个数据库，则由算法决定。定期删除是前两种策略的一种折中方案。定期删除策略的难点是删除操作执行的时长和频率。
- 执行太频或执行时间过长，就会出现和定时删除相同的问题；
- 执行太少或执行时间过短，就会出现和惰性删除相同的问题；

Redis 的过期删除策略

Redis 同时采用了惰性删除和定期删除策略，以此在合理使用 CPU 和内存之间取得平衡。

Redis 定期删除策略的实现 - 由 redis.c/activeExpireCycle 函数实现，每当 Redis 周期性执行 redis.c/serverCron 函数时，activeExpireCycle 函数就会被调用。activeExpireCycle 函数会在规定时间内，遍历各个数据库，从 expires 字典中随机检查一部分键的过期时间，并删除过期的键。

Redis 惰性删除策略的实现 - 由 db.c/expireIfNeeded 函数实现，所有读写命令在执行之前都会调用 expireIfNeeded 函数对输入键进行检查：如果输入键已过期，将输入键从数据库中删除；否则，什么也不做。

AOF、RDB 和复制对过期键的处理

生成 RDB 文件 - 执行 SAVE 命令或者 BGSAVE 命令，所产生的新 RDB 文件“不会包含已经过期的键”。
载入 RDB 文件 - 主服务器“不会载入已过期的键”；从服务器会载入“会载入已过期的键”。
生成 AOF 文件 - 当一个过期键未被删除时，不会影响 AOF 文件；当一个过期键被删除之后，服务器会追加一条 DEL 命令到现有 AOF 文件的末尾，显式地删除过期键。
重写 AOF 文件 - 执行 BGREWRITEAOF 命令所产生的重写 AOF 文件“不会包含已经过期的键”。
复制 - 当主服务器删除一个过期键之后，它会向所有从服务器发送一条 DEL 命令，显式地删除过期键。从服务器即使发现过期键，也不会自作主张地删除它，而是等待主节点发来 DEL 命令，这种统一、中心化的过期键删除策略可以保证主从服务器数据的一致性。
当 Redis 命令对数据库进行修改之后，服务器会根据配置，向客户端发送数据库通知。

Redis 内存淘汰

Redis 内存淘汰要点

失效时间 - 作为一种定期清理无效数据的重要机制，在 Redis 提供的诸多命令中，EXPIRE、EXPIREAT、PEXPIRE、PEXPIREAT 以及 SETEX 和 PSETEX 均可以用来设置一条键值对的失效时间。而一条键值对一旦被关联了失效时间就会在到期后自动删除（或者说变得无法访问更为准确）。
最大缓存 - Redis 允许通过 maxmemory 参数来设置内存最大值。当内存达设定的阀值，就会触发内存淘汰。
内存淘汰 - 内存淘汰是为了更好的利用内存——清理部分缓存，以此换取内存的利用率，即尽量保证 Redis 缓存中存储的是热点数据。
非精准的 LRU - 实际上 Redis 实现的 LRU 并不是可靠的 LRU，也就是名义上我们使用 LRU 算法淘汰键，但是实际上被淘汰的键并不一定是真正的最久没用的。

Redis 内存淘汰策略

内存淘汰只是 Redis 提供的一个功能，为了更好地实现这个功能，必须为不同的应用场景提供不同的策略，内存淘汰策略讲的是为实现内存淘汰我们具体怎么做，要解决的问题包括淘汰键空间如何选择？在键空间中淘汰键如何选择？

Redis 提供了下面几种内存淘汰策略供用户选：

不淘汰
- noeviction - 当内存使用达到阈值的时候，所有引起申请内存的命令会报错。这是 Redis 默认的策略。
在过期键中进行淘汰
- volatile-random - 在设置了过期时间的键空间中，随机移除某个 key。
- volatile-ttl - 在设置了过期时间的键空间中，具有更早过期时间的 key 优先移除。
- volatile-lru - 在设置了过期时间的键空间中，优先移除最近未使用的 key。
- volatile-lfu （Redis 4.0 新增）- 淘汰所有设置了过期时间的键值中，最少使用的键值。
在所有键中进行淘汰
- allkeys-lru - 在主键空间中，优先移除最近未使用的 key。
- allkeys-random - 在主键空间中，随机移除某个 key。
- allkeys-lfu (Redis 4.0 新增) - 淘汰整个键值中最少使用的键值。

如何选择淘汰策略

如果数据呈现幂等分布，也就是一部分数据访问频率高，一部分数据访问频率低，则使用 allkeys-lru 或 allkeys-lfu。
如果数据呈现平均分布，也就是所有的数据访问频率都相同，则使用 allkeys-random。
若 Redis 既用于缓存，也用于持久化存储时，适用 volatile-lru 、volatile-lfu、volatile-random。但是，这种情况下，也可以部署两个 Redis 集群来达到同样目的。
为 key 设置过期时间实际上会消耗更多的内存。因此，如果条件允许，建议使用 allkeys-lru 或 allkeys-lfu，从而更高效的使用内存。

参考资料

《Redis 设计与实现》

Redis 数据结构

发表于 2023-08-23 更新于 2024-01-27 分类于数据库， KV数据库， Redis 本文字数： 14k 阅读时长 ≈ 12 分钟

Redis 数据结构

关键词：对象、SDS、链表、字典、跳表、整数集合、压缩列表

SDS

SDS 简介

SDS 是 Simple Dynamic String 的缩写，即简单动态字符串。Redis 为 SDS 做了一些优化，以替代 C 字符串来表示字符串内容。此外，SDS 还被 Redis 用作缓冲区（buffer），如：AOF 模块中的 AOF 缓冲区；客户端状态中的输入缓冲区。

SDS 相比 C 字符串，具有以下优势：

C 字符串	SDS
获取字符串长度的复杂度为 O(N) 。	获取字符串长度的复杂度为 O(1) 。
API 是不安全的，可能会造成缓冲区溢出。	API 是安全的，不会造成缓冲区溢出。
修改字符串长度 `N` 次必然需要执行 `N` 次内存重分配。	修改字符串长度 `N` 次最多需要执行 `N` 次内存重分配。
只能保存文本数据。	可以保存文本或者二进制数据。
可以使用所有 `<string.h>` 库中的函数。	可以使用一部分 `<string.h>` 库中的函数。

SDS 实现

每个 sds.h/sdshdr 结构表示一个 SDS 值：

struct sdshdr {

    // 记录 buf 数组中已使用字节的数量
    // 等于 SDS 所保存字符串的长度
    int len;

    // 记录 buf 数组中未使用字节的数量
    int free;

    // 字节数组，用于保存字符串
    char buf[];

};

SDS 遵循 C 字符串以空字符结尾的惯例，保存空字符的 1 字节空间不计算在 SDS 的 len 属性里面，并且为空字符分配额外的 1 字节空间，以及添加空字符到字符串末尾等操作都是由 SDS 函数自动完成的，所以这个空字符对于 SDS 的使用者来说是完全透明的。

SDS 特性

SDS 与 C 字符串相比，做了一些优化，具有以下优势：

常数复杂度获取字符串长度

C 字符串 - 因为 C 字符串并不记录自身的长度信息，所以为了获取一个 C 字符串的长度，程序必须遍历整个字符串，对遇到的每个字符进行计数，直到遇到代表字符串结尾的空字符为止，这个操作的复杂度为 O(N) 。
SDS - 因为 SDS 在 len 属性中记录了 SDS 本身的长度，所以获取一个 SDS 长度的复杂度仅为 O(1) 。设置和更新 SDS 长度的工作是由 SDS 的 API 在执行时自动完成的，使用 SDS 无须进行任何手动修改长度的工作。

杜绝缓冲区溢出

C 字符串 - C 字符串不记录自身长度带来的另一个问题是容易造成缓冲区溢出（buffer overflow）。
SDS - 当 SDS API 需要对 SDS 进行修改时， API 会先检查 SDS 的空间是否满足修改所需的要求，如果不满足的话， API 会自动将 SDS 的空间扩展至执行修改所需的大小，然后才执行实际的修改操作，所以使用 SDS 既不需要手动修改 SDS 的空间大小，也不会出现前面所说的缓冲区溢出问题。

减少修改字符串长度时所需的内存重分配次数

C 字符串 - 对于一个包含了 N 个字符的 C 字符串来说，这个 C 字符串的底层实现总是一个 N+1 个字符长的数组（额外的一个字符空间用于保存空字符）。因为 C 字符串的长度和底层数组的长度之间存在着这种关联性，所以每次增长或者缩短一个 C 字符串，程序都总要对保存这个 C 字符串的数组进行一次内存重分配操作。
- 增长字符串时，如果没有内存重分配，就会产生缓冲区溢出。
- 缩减字符串是，如果没有内存重分配，就会产生内存泄露。
SDS - 因为内存重分配涉及复杂的算法，并且可能需要执行系统调用，所以它通常是一个比较耗时的操作。SDS 通过未使用空间解除了字符串长度和底层数组长度之间的关联：在 SDS 中， buf 数组的长度不一定就是字符数量加一，数组里面可以包含未使用的字节，而这些字节的数量就由 SDS 的 free 属性记录。通过未使用空间， SDS 实现了空间预分配和惰性空间释放两种优化策略。
- 空间预分配 - 空间预分配用于优化 SDS 的字符串增长操作。当 SDS 的 API 对一个 SDS 进行修改，并且需要对 SDS 进行空间扩展的时候，程序不仅会为 SDS 分配修改所必须要的空间，还会为 SDS 分配额外的未使用空间。通过空间预分配， SDS 将连续增长 N 次字符串所需的内存重分配次数从必定 N 次降低为最多 N 次。
- 惰性空间 - 惰性空间释放用于优化 SDS 的字符串缩短操作。当 SDS 的 API 需要缩短 SDS 保存的字符串时，程序并不立即使用内存重分配来回收缩短后多出来的字节，而是使用 free 属性将这些字节的数量记录起来，并等待将来使用。通过惰性空间释放策略， SDS 避免了缩短字符串时所需的内存重分配操作，并为将来可能有的增长操作提供了优化。

二进制安全

C 字符串 - C 字符串中的字符必须符合某种编码（比如 ASCII），并且除了字符串的末尾之外，字符串里面不能包含空字符，否则最先被程序读入的空字符将被误认为是字符串结尾 —— 这些限制使得 C 字符串只能保存文本数据，而不能保存像图片、音频、视频、压缩文件这样的二进制数据。
SDS - SDS 的 API 都是二进制安全的（binary-safe）：所有 SDS API 都会以处理二进制的方式来处理 SDS 存放在 buf 数组里的数据，程序不会对其中的数据做任何限制、过滤、或者假设 —— 数据在写入时是什么样的，它被读取时就是什么样。通过使用二进制安全的 SDS ，使得 Redis 不仅可以保存文本数据，还可以保存任意格式的二进制数据。

兼容部分 C 字符串函数

虽然 SDS 的 API 都是二进制安全的，但也会遵循 C 字符串惯例，将保存的数据的末尾设置为空字符，并且总会在为 buf 数组分配空间时多分配一个字节来容纳这个空字符，这是为了让那些保存文本数据的 SDS 可以重用一部分 <string.h> 库定义的函数。因此，SDS 可以兼容部分 C 字符串函数。

链表

链表简介

链表被广泛用于实现 Redis 的各种功能，比如 List 键，订阅与发布，慢查询，监视器等。此外，Redis 服务器本身还使用链表来保存多个客户端的状态信息，以及使用链表来构建客户端输出缓冲区（output buffer）。

由于 C 语言没有内置的链表，因此 Redis 自实现了一个链表：Redis 的链表实现其实就是一个双链表。

每个链表使用一个 list 结构来表示，这个结构带有表头节点指针、表尾节点指针、以及链表长度等信息。
因为链表表头节点的前置节点和表尾节点的后置节点都指向 NULL，所以 Redis 的链表实现是无环链表。
通过为链表设置不同的类型特定函数，Redis 的链表可以用于保存各种不同类型的值。

链表实现

每个链表节点由一个 adlist.h/listNode 结构来表示，每个节点都有一个指向前置节点和后置节点的指针，所以 Redis 的链表实现是双链表。

typedef struct listNode {

    // 前置节点
    struct listNode *prev;

    // 后置节点
    struct listNode *next;

    // 节点的值
    void *value;

} listNode;

多个 listNode 可以通过 prev 和 next 指针组成双链表。

虽然仅仅使用多个 listNode 结构就可以组成链表，但使用 adlist.h/list 来持有链表的话，操作起来会更方便：

typedef struct list {

    // 表头节点
    listNode *head;

    // 表尾节点
    listNode *tail;

    // 链表所包含的节点数量
    unsigned long len;

    // 节点值复制函数
    void *(*dup)(void *ptr);

    // 节点值释放函数
    void (*free)(void *ptr);

    // 节点值对比函数
    int (*match)(void *ptr, void *key);

} list;

list 结构为链表提供了表头指针 head 、表尾指针 tail ，以及链表长度计数器 len ，而 dup 、 free 和 match 成员则是用于实现多态链表所需的类型特定函数：

dup 函数 - 用于复制链表节点所保存的值；
free 函数 - 用于释放链表节点所保存的值；
match 函数 - 用于对比链表节点所保存的值和另一个输入值是否相等。

字典

字典简介

字典是一种用于保存键值对（key-value pair）的抽象数据结构。字典中的每个键都是独一无二的，程序可以在字典中根据键查找与之关联的值，或者通过键来更新值，又或者根据键来删除整个键值对，等等。

由于 C 语言没有内置的链表，因此 Redis 自实现了一个字典。

字典被广泛用于实现 Redis 的各种功能，其中包括数据库和 Hash 键。

字典实现

Redis 的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典中的一个键值对。

Redis 字典所使用的哈希表由 dict.h/dictht 结构定义：

typedef struct dictht {

    // 哈希表数组
    dictEntry **table;

    // 哈希表大小
    unsigned long size;

    // 哈希表大小掩码，用于计算索引值
    // 总是等于 size - 1
    unsigned long sizemask;

    // 该哈希表已有节点的数量
    unsigned long used;

} dictht;

table 属性是一个数组，数组中的每个元素都是一个指向 dict.h/dictEntry 结构的指针，每个 dictEntry 结构保存着一个键值对。
size 属性记录了哈希表的大小，也即是 table 数组的大小，而 used 属性则记录了哈希表目前已有节点（键值对）的数量。
sizemask 属性的值总是等于 size - 1 ，这个属性和哈希值一起决定一个键应该被放到 table 数组的哪个索引上面。

哈希表节点使用 dictEntry 结构表示，每个 dictEntry 结构都保存着一个键值对：

typedef struct dictEntry {

    // 键
    void *key;

    // 值
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
    } v;

    // 指向下个哈希表节点，形成链表
    struct dictEntry *next;

} dictEntry;

key 属性保存着键值对中的键，而 v 属性则保存着键值对中的值，其中键值对的值可以是一个指针，或者是一个 uint64_t 整数，又或者是一个 int64_t 整数。
next 属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接在一次，以此来解决键冲突（collision）的问题。

Redis 中的字典由 dict.h/dict 结构表示：

typedef struct dict {

    // 类型特定函数
    dictType *type;

    // 私有数据
    void *privdata;

    // 哈希表
    dictht ht[2];

    // rehash 索引
    // 当 rehash 不在进行时，值为 -1
    int rehashidx; /* rehashing not in progress if rehashidx == -1 */

} dict;

type 属性和 privdata 属性是针对不同类型的键值对，为创建多态字典而设置的：

type 属性是一个指向 dictType 结构的指针，每个 dictType 结构保存了一簇用于操作特定类型键值对的函数， Redis 会为用途不同的字典设置不同的类型特定函数。
而 privdata 属性则保存了需要传给那些类型特定函数的可选参数。
ht 属性是一个包含两个项的数组，数组中的每个项都是一个 dictht 哈希表，一般情况下，字典只使用 ht[0] 哈希表， ht[1] 哈希表只会在对 ht[0] 哈希表进行 rehash 时使用。
rehashidx 属性记录了 rehash 目前的进度，如果目前没有在进行 rehash ，那么它的值为 -1 。

哈希算法

当字典被用作数据库的底层实现，或者哈希键的底层实现时， Redis 使用 MurmurHash2 算法来计算键的哈希值。

Redis 计算哈希值和索引值的方法如下：

# 使用字典设置的哈希函数，计算键 key 的哈希值
hash = dict->type->hashFunction(key);

# 使用哈希表的 sizemask 属性和哈希值，计算出索引值
# 根据情况不同， ht[x] 可以是 ht[0] 或者 ht[1]
index = hash & dict->ht[x].sizemask;

哈希冲突

当有两个或以上数量的键被分配到了哈希表数组的同一个索引上面时，我们称这些键发生了冲突（collision）。

Redis 使用链地址法（separate chaining）来解决哈希冲突：每个哈希表节点都有一个 next 指针，多个哈希表节点可以用 next 指针构成一个单向链表，被分配到同一个索引上的多个节点可以用这个单向链表连接起来，这就解决了键冲突的问题。

rehash

rehash 的步骤

为字典的 ht[1] 哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及 ht[0] 当前包含的键值对数量（也即是 ht[0].used 属性的值）。
将保存在 ht[0] 中的所有键值对 rehash 到 ht[1] 上面： rehash 指的是重新计算键的哈希值和索引值，然后将键值对放置到 ht[1] 哈希表的指定位置上。
当 ht[0] 包含的所有键值对都迁移到了 ht[1] 之后（ht[0] 变为空表），释放 ht[0] ，将 ht[1] 设置为 ht[0] ，并在 ht[1] 新创建一个空白哈希表，为下一次 rehash 做准备。

rehash 的条件

当以下条件中的任意一个被满足时，程序会自动开始对哈希表执行扩展操作：

服务器目前没有在执行 BGSAVE 命令或者 BGREWRITEAOF 命令，并且哈希表的负载因子大于等于 1 ；
服务器目前正在执行 BGSAVE 命令或者 BGREWRITEAOF 命令，并且哈希表的负载因子大于等于 5 ；

其中哈希表的负载因子可以通过公式计算得出：

1 2	# 负载因子 = 哈希表已保存节点数量 / 哈希表大小 load_factor = ht[0].used / ht[0].size

渐进式 rehash

渐进式 rehash 的详细步骤：

为 ht[1] 分配空间，让字典同时持有 ht[0] 和 ht[1] 两个哈希表。
在字典中维持一个索引计数器变量 rehashidx ，并将它的值设置为 0 ，表示 rehash 工作正式开始。
在 rehash 进行期间，每次对字典执行添加、删除、查找或者更新操作时，程序除了执行指定的操作以外，还会顺带将 ht[0] 哈希表在 rehashidx 索引上的所有键值对 rehash 到 ht[1] ，当 rehash 工作完成之后，程序将 rehashidx 属性的值增一。
随着字典操作的不断执行，最终在某个时间点上， ht[0] 的所有键值对都会被 rehash 至 ht[1] ，这时程序将 rehashidx 属性的值设为 -1 ，表示 rehash 操作已完成。

跳表

跳表简介

跳表（skiplist）是一种有序数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。

跳表支持平均 O(log N) 最坏 O(N) 复杂度的节点查找，还可以通过顺序性操作来批量处理节点。

在大部分情况下，跳表的效率可以和平衡树相媲美，并且因为跳表的实现比平衡树要来得更为简单，所以有不少程序都使用跳表来代替平衡树。

Redis 使用跳表作为有序集合键的底层实现之一：如果一个有序集合包含的元素数量比较多，又或者有序集合中元素的成员（member）是比较长的字符串时， Redis 就会使用跳表来作为有序集合键的底层实现。

此外，Redis 还在集群节点中用跳表作为内部数据结构。

跳表实现

Redis 的跳表实现由 zskiplist 和 zskiplistNode 两个结构组成，其中 zskiplist 用于保存跳表信息（比如表头节点、表尾节点、长度），而 zskiplistNode 则用于表示跳表节点。

zskiplist 结构的定义如下：

typedef struct zskiplist {

    // 表头节点和表尾节点
    struct zskiplistNode *header, *tail;

    // 表中节点的数量
    unsigned long length;

    // 表中层数最大的节点的层数
    int level;

} zskiplist;

header 和 tail 指针分别指向跳表的表头和表尾节点，通过这两个指针，程序定位表头节点和表尾节点的复杂度为 O(1) 。
通过使用 length 属性来记录节点的数量，程序可以在 O(1) 复杂度内返回跳表的长度。
level 属性则用于在 O(1) 复杂度内获取跳表中层高最大的那个节点的层数量，注意表头节点的层高并不计算在内。每个跳表节点的层高都是 1 至 32 之间的随机数。

跳表节点的实现由 redis.h/zskiplistNode 结构定义：

typedef struct zskiplistNode {

    // 后退指针
    struct zskiplistNode *backward;

    // 分值
    double score;

    // 成员对象
    robj *obj;

    // 层
    struct zskiplistLevel {

        // 前进指针
        struct zskiplistNode *forward;

        // 跨度
        unsigned int span;

    } level[];

} zskiplistNode;

层（level）：每个层都带有两个属性：前进指针和跨度。前进指针用于访问位于表尾方向的其他节点，而跨度则记录了前进指针所指向节点和当前节点的距离。在上面的图片中，连线上带有数字的箭头就代表前进指针，而那个数字就是跨度。当程序从表头向表尾进行遍历时，访问会沿着层的前进指针进行。
后退（backward）指针：它指向位于当前节点的前一个节点。后退指针在程序从表尾向表头遍历时使用。
分值（score）：在跳表中，节点按各自所保存的分值从小到大排列。在同一个跳表中，多个节点可以包含相同的分值，但每个节点的成员对象必须是唯一的。跳表中的节点按照分值大小进行排序，当分值相同时，节点按照成员对象的大小进行排序。
成员对象（obj）：各个节点中的 o1 、 o2 和 o3 是节点所保存的成员对象。

整数集合

整数集合简介

整数集合（intset）是集合键的底层实现之一。当一个集合只包含整数值元素，并且这个集合的元素数量不多时， Redis 就会使用整数集合作为集合键的底层实现。

整数集合的底层实现为数组，这个数组以有序、无重复的方式保存集合元素，在有需要时，程序会根据新添加元素的类型，改变这个数组的类型。

升级操作为整数集合带来了操作上的灵活性，并且尽可能地节约了内存。

整数集合只支持升级操作，不支持降级操作。

整数集合实现

整数集合是 Redis 用于保存整数值的集合抽象数据结构，它可以保存类型为 int16_t 、 int32_t 或者 int64_t 的整数值，并且保证集合中不会出现重复元素。

每个 intset.h/intset 结构表示一个整数集合：

typedef struct intset {

    // 编码方式
    uint32_t encoding;

    // 集合包含的元素数量
    uint32_t length;

    // 保存元素的数组
    int8_t contents[];

} intset;

contents 数组是整数集合的底层实现：整数集合的每个元素都是 contents 数组的一个数组项（item），各个项在数组中按值的大小从小到大有序地排列，并且数组中不包含任何重复项。
length 属性记录了整数集合包含的元素数量，也即是 contents 数组的长度。
虽然 intset 结构将 contents 属性声明为 int8_t 类型的数组，但实际上 contents 数组并不保存任何 int8_t 类型的值 —— contents 数组的真正类型取决于 encoding 属性的值：
- 如果 encoding 属性的值为 INTSET_ENC_INT16 ，那么 contents 就是一个 int16_t 类型的数组，数组里的每个项都是一个 int16_t 类型的整数值（最小值为 -32,768 ，最大值为 32,767 ）。
- 如果 encoding 属性的值为 INTSET_ENC_INT32 ，那么 contents 就是一个 int32_t 类型的数组，数组里的每个项都是一个 int32_t 类型的整数值（最小值为 -2,147,483,648 ，最大值为 2,147,483,647 ）。
- 如果 encoding 属性的值为 INTSET_ENC_INT64 ，那么 contents 就是一个 int64_t 类型的数组，数组里的每个项都是一个 int64_t 类型的整数值（最小值为 -9,223,372,036,854,775,808 ，最大值为 9,223,372,036,854,775,807 ）。

整数集合升级

每当我们要将一个新元素添加到整数集合里面，并且新元素的类型比整数集合现有所有元素的类型都要长时，整数集合需要先进行升级（upgrade），然后才能将新元素添加到整数集合里面。

升级整数集合并添加新元素共分为三步进行：

根据新元素的类型，扩展整数集合底层数组的空间大小，并为新元素分配空间。
将底层数组现有的所有元素都转换成与新元素相同的类型，并将类型转换后的元素放置到正确的位上，而且在放置元素的过程中，需要继续维持底层数组的有序性质不变。
将新元素添加到底层数组里面。

因为每次向整数集合添加新元素都可能会引起升级，而每次升级都需要对底层数组中已有的所有元素进行类型转换，所以向整数集合添加新元素的时间复杂度为 O(N) 。

压缩列表

压缩列表简介

压缩列表是一种为节约内存而开发的顺序型数据结构。

压缩列表（ziplist）被用作列表键和哈希键的底层实现之一。

当一个列表键只包含少量列表项，并且每个列表项要么就是小整数值，要么就是长度比较短的字符串，那么 Redis 就会使用压缩列表来做列表键的底层实现。
当一个哈希键只包含少量键值对，并且每个键值对的键和值要么就是小整数值，要么就是长度比较短的字符串，那么 Redis 就会使用压缩列表来做哈希键的底层实现。

压缩列表可以包含多个节点，每个节点可以保存一个字节数组或者整数值。

添加新节点到压缩列表，或者从压缩列表中删除节点，可能会引发连锁更新操作，但这种操作出现的几率并不高。

压缩列表实现

压缩列表各个组成部分的详细说明

属性	类型	长度	用途
`zlbytes`	`uint32_t`	`4` 字节	记录整个压缩列表占用的内存字节数：在对压缩列表进行内存重分配，或者计算 `zlend` 的位置时使用。
`zltail`	`uint32_t`	`4` 字节	记录压缩列表表尾节点距离压缩列表的起始地址有多少字节：通过这个偏移量，程序无须遍历整个压缩列表就可以确定表尾节点的地址。
`zllen`	`uint16_t`	`2` 字节	记录了压缩列表包含的节点数量：当这个属性的值小于 `UINT16_MAX` （`65535`）时，这个属性的值就是压缩列表包含节点的数量；当这个值等于 `UINT16_MAX` 时，节点的真实数量需要遍历整个压缩列表才能计算得出。
`entryX`	列表节点	不定	压缩列表包含的各个节点，节点的长度由节点保存的内容决定。
`zlend`	`uint8_t`	`1` 字节	特殊值 `0xFF` （十进制 `255` ），用于标记压缩列表的末端。

对象

Redis 并没有直接使用这些数据结构来实现键值对数据库，而是基于这些数据结构创建了一个对象系统，这个系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象，每种对象都用到了至少一种我们前面所介绍的数据结构。

对象简介

Redis 数据库中的每个键值对的键和值都是一个对象。

Redis 共有字符串、列表、哈希、集合、有序集合五种类型的对象，每种类型的对象至少都有两种或以上的编码方式，不同的编码可以在不同的使用场景上优化对象的使用效率。

服务器在执行某些命令之前，会先检查给定键的类型能否执行指定的命令，而检查一个键的类型就是检查键的值对象的类型。

基于引用计数技术的内存回收机制 - Redis 的对象系统带有引用计数实现的内存回收机制，当一个对象不再被使用时，该对象所占用的内存就会被自动释放。

基于引用计数技术的对象共享机制 - Redis 会共享值为 0 到 9999 的字符串对象。

计算数据库键的空转时长 - 对象会记录自己的最后一次被访问的时间，这个时间可以用于计算对象的空转时间。

对象的类型

Redis 使用对象来表示数据库中的键和值。每次当我们在 Redis 的数据库中新创建一个键值对时，我们至少会创建两个对象，一个对象用作键值对的键（键对象），另一个对象用作键值对的值（值对象）。

Redis 中的每个对象都由一个 redisObject 结构表示，该结构中和保存数据有关的三个属性分别是 type 属性、 encoding 属性和 ptr 属性：

typedef struct redisObject {

    // 类型
    unsigned type:4;

    // 编码
    unsigned encoding:4;

    // 指向底层实现数据结构的指针
    void *ptr;

    // ...

} robj;

对象的 type 属性记录了对象的类型，有以下类型：

对象	对象 `type` 属性的值	TYPE 命令的输出
字符串对象	`REDIS_STRING`	`"string"`
列表对象	`REDIS_LIST`	`"list"`
哈希对象	`REDIS_HASH`	`"hash"`
集合对象	`REDIS_SET`	`"set"`
有序集合对象	`REDIS_ZSET`	`"zset"`

Redis 数据库保存的键值对来说，键总是一个字符串对象，而值则可以是字符串对象、列表对象、哈希对象、集合对象或者有序集合对象的其中一种。

【示例】通过 TYPE 命令查看数据库键的值对象的类型

# 键为字符串对象，值为字符串对象
> SET msg "hello world"
OK
> TYPE msg
string

# 键为字符串对象，值为列表对象
> RPUSH numbers 1 3 5
(integer) 6
> TYPE numbers
list

# 键为字符串对象，值为哈希对象
> HMSET profile name Tome age 25 career Programmer
OK
> TYPE profile
hash

# 键为字符串对象，值为集合对象
> SADD fruits apple banana cherry
(integer) 3
> TYPE fruits
set

# 键为字符串对象，值为有序集合对象
> ZADD price 8.5 apple 5.0 banana 6.0 cherry
(integer) 3
> TYPE price
zset

对象的编码

对象的 ptr 指针指向对象的底层实现数据结构，而这些数据结构由对象的 encoding 属性决定。

encoding 属性记录了对象所使用的编码，也即是说这个对象使用了什么数据结构作为对象的底层实现。

Redis 中每种类型的对象都至少使用了两种不同的编码，不同的编码可以在不同的使用场景上优化对象的使用效率。

Redis 支持的编码如下所示：

类型	编码	对象	OBJECT ENCODING 命令输出
`REDIS_STRING`	`REDIS_ENCODING_INT`	使用整数值实现的字符串对象。	“int”
`REDIS_STRING`	`REDIS_ENCODING_EMBSTR`	使用 `embstr` 编码的简单动态字符串实现的字符串对象。	“embstr”
`REDIS_STRING`	`REDIS_ENCODING_RAW`	使用简单动态字符串实现的字符串对象。	“raw”
`REDIS_LIST`	`REDIS_ENCODING_ZIPLIST`	使用压缩列表实现的列表对象。	“ziplist”
`REDIS_LIST`	`REDIS_ENCODING_LINKEDLIST`	使用双端链表实现的列表对象。	“linkedlist”
`REDIS_HASH`	`REDIS_ENCODING_ZIPLIST`	使用压缩列表实现的哈希对象。	“ziplist”
`REDIS_HASH`	`REDIS_ENCODING_HT`	使用字典实现的哈希对象。	“hashtable”
`REDIS_SET`	`REDIS_ENCODING_INTSET`	使用整数集合实现的集合对象。	“intset”
`REDIS_SET`	`REDIS_ENCODING_HT`	使用字典实现的集合对象。	“hashtable”
`REDIS_ZSET`	`REDIS_ENCODING_ZIPLIST`	使用压缩列表实现的有序集合对象。	“ziplist”
`REDIS_ZSET`	`REDIS_ENCODING_SKIPLIST`	使用跳表和字典实现的有序集合对象。	“skiplist”

【示例】使用 OBJECT ENCODING 命令可以查看数据库键的值对象的编码

> SET msg "hello wrold"
OK
> OBJECT ENCODING msg
"embstr"

> SET story "long long long long long long ago ..."
OK
> OBJECT ENCODING story
"raw"

> SADD numbers 1 3 5
(integer) 3
> OBJECT ENCODING numbers
"intset"

> SADD numbers "seven"
(integer) 1
> OBJECT ENCODING numbers
"hashtable"

类型检查与命令多态

Redis 中用于操作键的命令基本上可以分为两种类型。

多态命令 - 可以对任何类型的键执行。如 DEL、 EXPIRE 、 RENAME 、 TYPE 、 OBJECT 等命令。
特定类型命令
- SET 、 GET 、 APPEND 、 STRLEN 等命令只能对字符串键执行；
- HDEL 、 HSET 、 HGET 、 HLEN 等命令只能对哈希键执行；
- RPUSH 、 LPOP 、 LINSERT 、 LLEN 等命令只能对列表键执行；
- SADD 、 SPOP 、 SINTER 、 SCARD 等命令只能对集合键执行；
- ZADD 、 ZCARD 、 ZRANK 、 ZSCORE 等命令只能对有序集合键执行；

为了确保只有指定类型的键可以执行某些特定的命令，Redis 在执行一个类型特定的命令之前， Redis 会先检查输入键的类型是否正确，然后再决定是否执行给定的命令。类型特定命令所进行的类型检查是通过 redisObject 结构的 type 属性来实现的：

在执行一个类型特定命令之前，服务器会先检查输入数据库键的值对象是否为执行命令所需的类型，如果是的话，服务器就对键执行指定的命令；
否则，服务器将拒绝执行命令，并向客户端返回一个类型错误。

Redis 除了会根据值对象的类型来判断键是否能够执行指定命令之外，还会根据值对象的编码方式，选择正确的命令实现代码来执行命令。

内存回收

由于 C 语言不支持内存回收，Redis 内部实现了一套基于引用计数的内存回收机制。

每个对象的引用计数信息由 redisObject 结构的 refcount 属性记录：

typedef struct redisObject {

    // ...

    // 引用计数
    int refcount;

    // ...

} robj;

对象的引用计数信息会随着对象的使用状态而不断变化：

在创建一个新对象时，引用计数的值会被初始化为 1 ；
当对象被一个新程序使用时，它的引用计数值会被增一；
当对象不再被一个程序使用时，它的引用计数值会被减一；
当对象的引用计数值变为 0 时，对象所占用的内存会被释放。

对象共享

在 Redis 中，让多个键共享同一个值对象需要执行以下两个步骤：

将数据库键的值指针指向一个现有的值对象；
将被共享的值对象的引用计数增一。

共享对象机制对于节约内存非常有帮助，数据库中保存的相同值对象越多，对象共享机制就能节约越多的内存。

Redis 会在初始化服务器时，共享值为 0 到 9999 的字符串对象。

对象的空转时长

redisObject 的 lru 属性记录了对象最后一次被命令程序访问的时间：

typedef struct redisObject {

    // ...

    unsigned lru:22;

    // ...

} robj;

OBJECT IDLETIME 命令可以打印出给定键的空转时长，这一空转时长就是通过将当前时间减去键的值对象的 lru 时间计算得出的：

> SET msg "hello world"
OK

# 等待一小段时间
> OBJECT IDLETIME msg
(integer) 20

# 等待一阵子
> OBJECT IDLETIME msg
(integer) 180

# 访问 msg 键的值
> GET msg
"hello world"

# 键处于活跃状态，空转时长为 0
> OBJECT IDLETIME msg
(integer) 0

注意

OBJECT IDLETIME 命令的实现是特殊的，这个命令在访问键的值对象时，不会修改值对象的 lru 属性。

除了可以被 OBJECT IDLETIME 命令打印出来之外，键的空转时长还有另外一项作用：如果服务器打开了 maxmemory 选项，并且服务器用于回收内存的算法为 volatile-lru 或者 allkeys-lru ，那么当服务器占用的内存数超过了 maxmemory 选项所设置的上限值时，空转时长较高的那部分键会优先被服务器释放，从而回收内存。

参考资料

《Redis 设计与实现》

Linux 命令 Cheat Sheet

常见命令分类

基础

日常使用

文件及数据处理

系统调试

单行脚本

冷门但有用

仅限 OS X 系统

仅限 Windows 系统

在 Winodws 下获取 Unix 工具

实用 Windows 命令行工具

Cygwin 技巧

更多资源

免责声明

授权条款

数据库系统概论

数据库核心术语

数据

数据库

数据库管理系统

数据库系统

OLTP 和 OLAP

数据模型

概念模型

逻辑模型

函数依赖

范式

第一范式 (1NF)

第二范式 (2NF)

第三范式 (3NF)

反范式

ER 图

参考资料

Mysql 高可用

复制

复制如何工作

主备配置

主库上的操作

备库上的操作

复制的原理

读写分离

参考资料

Redis 事件

文件事件

时间事件

事件的调度与执行

参考资料

Redis 管道

Pipeline 简介

Pipeline 限制

Pipeline 案例

参考资料

Redis 发布订阅

观察者模式

Redis 订阅模式

发布订阅命令

参考资料

《HBase: A NoSQL database》笔记

简介

HBase 和历史

HBase 数据结构和架构

HBase 和大数据

HBase 的应用

HBase 的挑战和限制

参考资料

《The Log-Structured Merge-Tree (LSM-Tree)》笔记

参考资料

Redis 过期删除和内存淘汰

Redis 过期删除

设置键的生存时间或过期时间

如何保存过期时间

过期键的判定

过期删除策略

Redis 的过期删除策略

AOF、RDB 和复制对过期键的处理

Redis 内存淘汰

Redis 内存淘汰要点

Redis 内存淘汰策略

如何选择淘汰策略