字符编码是什么？Unicode 和 ASCII 的核心区别一次讲透

字符编码，就是给每个字符分配一个唯一编号的规则。ASCII 只用 1 字节覆盖英文，装不下中文；Unicode 给全世界的字符都编了号，而 UTF-8 是 Unicode 最常用的存储方式，并且兼容 ASCII。你平时看到的中文乱码，多半就是编码和解码用的规则对不上。

本文基于通用字符集现状梳理，先从「为什么会有乱码」讲起，再分别拆解 ASCII、Unicode 和 UTF-8 各自在解决什么问题，最后给出日常写代码、建网页时怎么选编码的实用建议。看完你不仅能说清 Unicode 和 ASCII 的区别，还能自己排查大部分乱码问题。今天这篇文章，编程狮就把这块讲透。

一、先说清楚：字符编码到底在解决什么问题

计算机只认 0 和 1，它本来不认识「A」也不认识「中」。所谓字符编码，就是一张「字符 → 数字」的对照表：约定好字母 A 对应 65、汉字「中」对应某个数字，计算机存的就是这些数字，显示时再按同一张表翻回字符。

正因为这种编号映射是计算机处理文字的唯一方式，字符编码才成为所有上层应用的地基——网页、数据库、文件，底层都绕不开它。一旦存和读用的不是同一张表，麻烦就来了。比如你用 A 表把「中」存成了数字 20013，别人却用 B 表去读，B 表里 20013 可能对应一个日文字或者干脆没有对应——屏幕上就出现一团看不懂的符号，这就是乱码。

关于字符、编码这些基础概念，编程词典里有更系统的对照，遇到陌生术语可以随时翻。

一个贴近生活的比喻：字符编码像两本「姓名 ↔ 学号」的花名册。老师按甲花名册把「张三」记成学号 5，发奖时却拿乙花名册查学号 5，乙册里 5 号是「李四」，于是张三领不到自己的奖。乱码的本质，就是存和取用了不同的「花名册」。

严格说，ASCII、GBK、Unicode 都属于字符编码标准，也就是大家约定好的那张对照表。乱码频发的年代，正是因为各家标准不统一：你用 GBK 存、我用 Big5 读，对不上是常态。Unicode 出现的意义，正是用一套全球通用的编码标准取代各自为政的局面。

💡 小提示：排查乱码的第一反应，永远是确认「写文件、读文件、显示页面」三处用的是不是同一个编码，而不是去改内容本身。

二、ASCII：用 0 到 127 给英文字符编号

ASCII 是最早、也最基础的字符编码。它用 7 位二进制（也就是 0 到 127 这 128 个编号）来表示字符：65 是 A、97 是 a、48 是数字 0，再加上常见标点和控制符。

A -> 65
a -> 97
0 -> 48

因为只用到 1 个字节里的低 7 位，ASCII 在英文世界完全够用，而且和后来的很多编码都能兼容。但它有个硬伤：128 个位置根本装不下中文、日文、阿拉伯文这些海量字符。于是各国各搞各的扩展，中国大陆有 GBK、港澳台常用 Big5，彼此还不互通——这就是早期跨语言乱码泛滥的根源。

ASCII 在今天依然活着，原因是它太简单、太底层。后面要讲的 UTF-8，在设计上就保证：一个纯英文的 ASCII 文本，用 UTF-8 存出来的字节和当年用 ASCII 存的一模一样。

ASCII 的 0 到 31 这 32 个编号留给了控制字符，比如换行、制表符，它们不显示字形、只控制设备行为；从 32 开始才是空格、标点、数字和字母这些可见字符。后来有人把最高位也用上，扩展到 256 个，即扩展 ASCII，才勉强塞进西欧语言，但依然和中文世界用的 GBK 对不上号。这也是为什么纯 ASCII 文本最不容易乱码。

三、Unicode：给全世界的字符一个唯一编号

Unicode 的思路很直接：不管哪种语言、哪个符号，包括 emoji，全部分到一个巨大的编号空间里，每个字符拿一个全球唯一的号码，叫码点（code point）。比如汉字「中」的码点是 U+4E2D，字母 A 依然是 U+0041。

它不是「另一种编码」这么简单，而是一张覆盖全世界的「总花名册」。只要大家都认 Unicode 的码点，中文、英文、emoji 就能在同一个文件里和平共存，不再需要为每个语言单独配一本册子。

A   -> U+0041
中   -> U+4E2D
😀   -> U+1F600

用 Python 能很直观地看到这种对应关系，比如 "中".encode("unicode_escape") 会告诉你它的码点。想动手试这些例子，可以先过一遍 Python3 教程里的字符串章节，把字符串和编码的关系理顺。

这里有个容易混的点：Unicode 只规定了「字符对应哪个编号」，并没有规定「这个编号在硬盘上怎么存成字节」。负责「怎么存」的，是下一节要讲的 UTF-8 这类具体方案。

Unicode 的码点空间非常庞大，常用字符集中在基础多文种平面，更罕见的字符放在更高平面并用代理对表示。也正因为空间足够大，新出现的 emoji 才能不断被收编——你发现表情符号年年变多，背后就是 Unicode 联盟在持续扩充码点。

四、UTF-8 与 ASCII 的关系，以及日常怎么选

UTF-8 是 Unicode 的一种实现方式，也就是把码点变成字节序列的具体规则。它最聪明的地方是变长：英文字母仍用 1 字节（和 ASCII 完全一致），中文通常用 3 字节，少数生僻字符或 emoji 用 4 字节。这样英文为主的文本几乎不占额外空间，又兼顾了全球字符。

维度	ASCII	Unicode（码点）	UTF-8（存储）
解决什么	英文字符编号	全球字符统一编号	把编号存成字节
容量	128 个	百万级	跟随 Unicode
占用空间	固定 1 字节	只是编号，不存盘	变长 1-4 字节

日常怎么选，结论很明确：新项目一律用 UTF-8，几乎没有例外。写网页时，在头部声明 <meta charset="utf-8"> 告诉浏览器用 UTF-8 解码，中文才不会变成乱码；建数据库、写文件也优先指定 UTF-8。关于网页头部声明的细节，HTML 教程里有更完整的说明。

⚠️ 注意：UTF-8 和 UTF-16、GBK 不是一回事。如果一份文件明明是 GBK 存的，你却用 UTF-8 去读，依然会乱码——关键始终是「存取编码一致」，而不是「用了 UTF-8 就万事大吉」。

落到具体写代码，指定编码要养成习惯。比如用 Python 读文本时显式写明 encoding 等于 utf-8，比依赖系统默认更稳；建数据库时字符集选 utf8mb4，能完整存下 emoji。很多人以为乱码是玄学，其实往往只是某一步悄悄用了别的编码标准。

总结

字符编码，本质是「字符 ↔ 数字」的对照规则。ASCII 用 1 字节覆盖英文，容量太小；Unicode 给全球字符编了唯一码点，解决的是「编号统一」；UTF-8 则是 Unicode 最常用的存储方式，变长且兼容 ASCII。

要点带走：

ASCII 只管英文，128 个位置装不下中文；
Unicode 管「编什么号」，UTF-8 管「怎么存成字节」；
新项目统一用 UTF-8，且保证读写用的是同一种编码。

下一步，把文件读写、网络传输里的编码设置一起理顺，乱码问题基本就能清零。

延伸学习

想把计算机基础这块系统补齐，可以按这个顺序来：

想系统补底层原理，编程基础与数据库方向整理了从基础到进阶的学习路径；
想边学边练，编程课程里有配套实战可以上手。

常见问题

Q：Unicode 和 UTF-8 到底谁包含谁？
A：Unicode 是编号标准，UTF-8 是存储方案，不存在谁包含谁。更准确的说法是：UTF-8 实现了 Unicode，把 Unicode 的码点变成字节存进文件。

Q：为什么我的中文有时候变成一串问号？
A：问号通常是「用 UTF-8 读了一份 GBK 存的文本」的典型表现。解决办法是确认源文件真实编码，并用匹配的编码去读，而不是盲目转码。

Q：emoji 在编码里占几个字节？
A：在 UTF-8 里，绝大多数 emoji 占 4 个字节。它们有独立的 Unicode 码点（比如 😀 是 U+1F600），和普通汉字（通常 3 字节）的存储长度不同。