幕雪

unicode编码表是什么、在哪里、如何查看与使用


Unicode编码表：它的本质与作用

当谈到Unicode编码表时，我们并不是指一张可以拿在手里的物理表格，而更准确地说是指Unicode标准的核心部分——它定义了世界上绝大多数文字、符号、表情等抽象字符，并为每一个字符分配了一个独一无二的数字，这个数字被称为码位（Code Point）。

可以把Unicode编码表理解为一个巨大的字符目录。在这个目录里：

  • 每一个字符（比如字母 ‘A’，汉字 ‘中’，或者表情符号 ‘😂’）都被赋予了一个唯一的身份号码。
  • 这个身份号码就是它的码位。码位通常用十六进制表示，前面加上 “U+”，例如：
    • 拉丁字母 ‘A’ 的码位是 U+0041。
    • 汉字 ‘中’ 的码位是 U+4E2D。
    • 表情符号 ‘😂’ 的码位是 U+1F602。

为什么我们需要这样的表？

在Unicode出现之前，不同的国家和地区使用着各种互不兼容的字符编码标准（比如中国的GBK、日本的Shift_JIS、欧洲的各种ISO-8859系列等）。这导致了严重的“乱码”问题：用一种编码创建的文本，用另一种编码打开时就会显示成一堆无法识别的符号。

Unicode编码表的核心作用就是提供一个统一的、全球通用的字符集。它像一座桥梁，连接了所有的文字系统，确保无论文本是用中文、英文、俄文还是阿拉伯文书写，也无论包含数学符号、表情符号还是古老的文字，都能被正确地表示和处理，从而解决了跨语言、跨平台的文本交换问题。

在哪里找到Unicode编码表的信息？

正如前面提到的，Unicode编码表不是一个单一的可下载文件，而是Unicode标准文档中定义的内容。要获取最官方、最详细的Unicode编码表信息，应该访问Unicode联盟（Unicode Consortium）的官方网站：

unicode.org

在这个网站上，你可以找到：

  • 官方码位图表 (Code Charts): 这是最直接体现“表”概念的部分。它们是PDF格式的文件，按照码位范围（称为“块”或“Blocks”）组织，列出了每个码位对应的字符图形、字符名称以及相关的属性信息。例如，你可以找到专门的中文、日文、韩文的码位图，也可以找到表情符号、数学符号的图表。
  • Unicode数据库 (Unicode Character Database – UCD): 这是一个包含所有字符及其属性的文本文件集合，供软件开发者使用。它比图表更详细，包含字符的各种特性信息，而不仅仅是图形和名称。
  • 标准文档和技术报告: 解释了Unicode的设计原理、各种编码形式（UTF-8, UTF-16, UTF-32）的细节、文本处理规则（如排序、大小写转换、换行等）。

除了官方网站，你也可以通过一些在线工具和资源来查找特定字符的码位信息：

  • 许多网站提供了Unicode码位查询功能，你可以输入字符来查找其码位，或者输入码位来查看对应的字符。
  • 操作系统自带的字符映射表工具（如Windows的“字符映射表”，macOS的“字符显示程序”或“字体册”）也可以用来浏览系统支持的字符和它们的码位。
  • 编程开发环境中，通常有内置的工具或库函数来处理Unicode字符和码位。

Unicode编码表有多大？它是如何组织的？

Unicode编码表设计的码位空间非常庞大，远超过目前已知的字符总数，为将来的扩展预留了空间。

  • 理论上，Unicode的码位范围是从 U+0000 到 U+10FFFF。
  • 这个范围总共包含了 1,114,112 个可能的码位。
  • 截至最新的Unicode版本，已经分配给字符的码位数量大约在十万左右，涵盖了十四万多个字符（因为有些码位用于组合字符，一个字符可能由多个码位组成）。

为了便于管理和组织这庞大的码位空间，Unicode将其结构化为以下层次：

Planes（平面）

整个1.1 million的码位空间被划分为17个“平面”。每个平面包含65,536（216）个码位。

  • 平面 0（Plane 0）：基本多文种平面 (Basic Multilingual Plane – BMP)
    这是最重要的平面，码位范围从 U+0000 到 U+FFFF。它包含了绝大多数日常使用的字符，包括：

    • 拉丁字母、希腊字母、西里尔字母等欧洲文字。
    • 各种符号、标点符号、数字。
    • 大量的汉字、日文假名、韩文字母等东亚文字。
    • 许多其他常用文字系统。

    历史原因，很多软件和系统起初只支持BMP。

  • 平面 1 到 平面 16（Plane 1 to Plane 16）：补充平面 (Supplementary Planes)
    这些平面包含了BMP中未能容纳的字符，例如：

    • 古老的文字（如埃及象形文字）。
    • 不常用的汉字和日文、韩文。
    • 数学符号、音乐符号、表情符号（Emojis）。
    • 专业符号等。

Blocks（块）

在每个平面内部，连续的码位范围被组织成更小的单元，称为“块”。每个块通常包含一组相关的字符，例如：

  • “基本拉丁语”块 (Basic Latin): U+0000 – U+007F (就是ASCII字符集)
  • “CJK统一汉字”块 (CJK Unified Ideographs): U+4E00 – U+9FFF (包含了大量常用汉字)
  • “表情符号”块 (Emoticons): U+1F600 – U+1F64F
  • “西里尔字母”块 (Cyrillic): U+0400 – U+04FF

码位图表通常就是按照这些“块”来组织的，方便用户查找特定类型的字符。

Code Point 如何转换为字节？以UTF-8为例

Unicode编码表定义的是码位，但计算机存储和传输文本时处理的是字节序列。将码位转换为字节序列的过程称为编码（Encoding）。Unicode定义了几种标准的编码形式，其中最常用和最重要的是UTF-8。

UTF-8 (Unicode Transformation Format – 8-bit) 是一种变长编码，它根据码位的大小使用不同数量的字节来表示一个字符。这使得UTF-8在表示ASCII字符时非常高效（只用1个字节），同时也能表示所有其他Unicode字符（使用2、3或4个字节）。

UTF-8的编码规则如下：

  • 码位范围 U+0000 到 U+007F (128个字符，即ASCII字符) 使用 1个字节 表示。
    字节值与码位值相同，最高位为0。例如，码位 U+0041 (‘A’) 转换为字节 0x41。
  • 码位范围 U+0080 到 U+07FF 使用 2个字节 表示。
    第一个字节以 110 开头，第二个字节以 10 开头。
  • 码位范围 U+0800 到 U+FFFF (包括基本多文种平面的绝大多数字符) 使用 3个字节 表示。
    第一个字节以 1110 开头，后续两个字节以 10 开头。例如，码位 U+4E2D (‘中’) 转换为字节序列 0xE4 0xB8 0xAD。
  • 码位范围 U+10000 到 U+10FFFF (补充平面中的字符，如表情符号) 使用 4个字节 表示。
    第一个字节以 11110 开头，后续三个字节以 10 开头。例如，码位 U+1F602 (‘😂’) 转换为字节序列 0xF0 0x9F 0x98 0x82。

注意：UTF-8的巧妙之处在于，单字节表示的ASCII字符（0xxxxxxx）与多字节序列的起始字节（110xxxxx, 1110xxxx, 11110xxx）以及后续字节（10xxxxxx）完全不冲突。这使得UTF-8具有很好的自同步性，也向下兼容ASCII。

除了UTF-8，还有其他Unicode编码形式：

  • UTF-16: 使用2个或4个字节表示一个字符。BMP中的字符使用2个字节，补充平面中的字符使用4个字节（通过代理对 surrogate pairs）。在一些操作系统和编程语言内部（如Java、JavaScript）常用UTF-16表示字符串。
  • UTF-32: 使用固定的4个字节表示一个字符。优点是查找特定字符的码位或计算字符数量简单，缺点是空间效率低，尤其是对于主要包含ASCII字符的文本。

在互联网和跨平台数据交换中，UTF-8因其高效性和兼容性，已成为最主流的Unicode编码形式。

如何在实际中应用Unicode编码表？

了解Unicode编码表的结构和编码形式对于处理文本数据至关重要，尤其是在开发、数据处理、网页制作等领域。

在程序设计中

  • 大多数现代编程语言（如Python, Java, C#, JavaScript, Go）都内置了对Unicode的良好支持。字符串类型通常被设计为存储Unicode码位序列（内部表示可能是UTF-8, UTF-16 或其他），而不是原始字节。
  • 进行文件读写时，需要指定正确的编码（如UTF-8），以便将文件的字节序列正确地解码为字符，或将内存中的字符序列正确地编码为字节写入文件。
  • 在网络通信中，也需要约定使用哪种编码来传输文本数据（例如，HTTP协议头会指明内容的编码）。

在文件存储中

  • 保存文本文件时，可以选择编码格式。UTF-8因其通用性和对ASCII的兼容性而成为首选。带有BOM（Byte Order Mark）的UTF-8文件会在文件开头加入特定的字节序列（EF BB BF），用于标识文件编码。
  • 对于仅包含ASCII字符的文件，UTF-8文件与纯ASCII文件完全相同。

在数据库中

  • 创建数据库或数据表时，需要设置字符集为支持Unicode的类型，如MySQL中的 utf8mb4（这是MySQL中完整支持所有Unicode码位，包括4字节表情符号的字符集，而 utf8 只支持最多3字节的码位）。
  • 确保应用程序连接数据库时也使用正确的字符集设置。

在网页制作中

  • 在HTML文档的 <head> 部分通常会通过 <meta charset="utf-8"> 标签声明文档的编码，指示浏览器如何解释网页的字节流。
  • 可以使用HTML实体来表示特定字符，尤其是一些难以直接输入的特殊符号或在当前编码下可能显示有问题的字符。例如，码位 U+00A9 (© 版权符号) 可以用 &#169; (十进制码位) 或 &#x00A9; (十六进制码位) 表示。

通过系统工具

  • 使用操作系统的字符映射表工具可以方便地查找、复制各种字符，并查看它们的码位信息。
  • 输入法（IME）在输入中文、日文、韩文或特殊符号时，实际上就是在根据用户的输入（拼音、部首、笔画等）查找Unicode编码表中的对应字符，并输出其码位序列（然后由系统按当前编码转换为字节序列显示）。

总之，Unicode编码表是现代计算处理文本的基础。虽然我们日常使用中可能直接面对的是字符本身，但在系统底层、编程实现和数据交换时，对其码位和编码形式的理解是确保文本能被正确存储、传输和显示的根本。


unicode编码表