欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

ASCII、Unicode和UTF-8编码的区别

程序员文章站 2022-07-01 15:42:09
ASCII、Unicode和UTF 8编码的区别 摘要总结: ASCII的编码是128个字符 GB2312编码用来把中文编进去的,日本把日文编进Shift_JIS里... Unicode是为了解决各国乱码的,但浪费存储空间 UTF 8编码把一个Unicode字符根据不同的数字大小编码成1 6字节,英 ......

ASCII、Unicode和UTF-8编码的区别

摘要总结:

ASCII的编码是128个字符
GB2312编码用来把中文编进去的,日本把日文编进Shift_JIS里...
Unicode是为了解决各国乱码的,但浪费存储空间
UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6字节,英文字符是1个字节,汉字通常是3个字节,生僻字符是4-6个字节

常用编码介绍一览表:

编码 作用 所占字节数
ASCII 表示英语及西欧语言 1bytes
GB2312 国家简体中文字符集,兼容ASCII 2bytes
Unicode 国家标准组织统一标准字符集 2bytes
GBK GB2312的扩展字符集,支持繁体字,兼容GB2312 2bytes
UTF-8 不定长编码 1-3bytes

具体解释127个字母被编码到计算机中,也就是大小写英文字母、数字和一些符号,这个编码表被成为ASCII编码,比如大小字母A代表65,小写字母a代表97。

但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去。

你可以想到的是,全世界有上百种语言,日本把日本编到Shift_JIS里,韩国把韩文编到Euc-kr里,各国有各国的标准,就不可避免的出现了冲突,结果就是:在多语混合的文本中,显示出来会乱码。

因此,Unicode应运而生,Unicode把所有语言都统一到一套编码里,这样就不会出现问题了。

Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。

新的问题又出现了:如果统一换成Unicode编码,乱码的问题就消失了,但是,如果写的文章里都是英文的话,Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就不划算了。

所以,本着节约的精神,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。

UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文占用1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间。

UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。