字符在内存中最终的表示形式是什么?是某种字符编码还是码位(Code Point)?

知乎 · · 2668 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

根据我的了解,编码中有三个核心概念:
1. 字符集(Character Set),可以说是一个抽象概念,字符的合集
2. 码位(Code Point),将抽象的字符集中每一个字符映射到一个整数
3. 字符编码(Encoding),按照某种编码规则用二进制来表示一个字符

我对码位这个概念理解的不是很清楚,Code point中说:

The notion of a code point is used for abstraction, to distinguish both:

  • the number from an encoding as a sequence of bits, and
  • the abstract character from a particular graphical representation (glyph).

This is because one may wish to make these distinctions:

  • encode a particular code space in different ways, or
  • display a character via different glyphs.

说Code Point是用于抽象,但Java中依然可以使用codePointAt方法来获取实际的整数值

    String str = "JAVA";
    System.out.println("String = " + str);
        
    // codepoint at index 1
    int retval = str.codePointAt(1);
        
    // prints character at index1 in string
    System.out.println("Character(unicode point) = " + retval);


用Java的String来举例子,引用自深入分析 Java 中的中文编码问题

String str = “I am 君山”;

 

String 内部的char 数组的值为 49 20 61 6d 20 541b 5c71

请问这char数组的值是码位吗,还是说是JVM使用的UTF16的编码?

字符在内存中最终的表示形式是什么?是不是和具体编程语言相关?

 

 

作者:weakielin
链接:https://www.zhihu.com/question/30241947/answer/47385874
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

在现代编码模型里要知道一个字符如何映射成计算机里比特,需要经过如下几个步骤。

 

  1. 知道一个系统需要支持哪些字符,这些字符的集合被称为字符表(Character repertoire)
  2. 给字符表里的抽象字符编上一个数字,也就是字符集合到一个整数集合的映射。这种映射称为编码字符集(CCS:Coded Character Set),unicode是属于这一层的概念,跟计算机里的什么进制啊没有任何关系,它是完全数学的抽象的。
  3. 将CCS里字符对应的整数转换成有限长度的比特值,便于以后计算机使用一定长度的二进制形式表示该整数。这个对应关系被称为字符编码表(CEF:Character Encoding Form)UTF-8, UTF-16都属于这层。
  4. 对于CEF得到的比特值具体如何在计算机中进行存储,传输。因为存在大端小端的问题,这就会跟具体的操作系统相关了。这种解决方案称为字符编码方案(CES:Character Encoding Scheme)。

 

平常我们所说的编码都在第三步的时候完成了,都没有涉及到CES。

以上摘自(http://blog.jobbole.com/39309/

unicode只是一种抽象概念,使用一个数字来表示字符集中的一个字符,相当于规定了unicode字符集中那一百多万个字符和数字的映射,代码点就相当于这个字符对应着的数字了。Java中采用UTF-16编码方式对unicode进行表示(unicode是一种抽象概念,只确定了字符和码位的映射关系,不管编码),就是字符串的编码是utf-16,题主的例子中很清楚了。

注意char类型16位,单个char肯定无法表示这一百多万个码位的,一但字符串中出现了char无法表示的码位(字符)的时候,这时候就用utf-16进行编码,用多个char表示这个码位,相应字符串的length方法也比字符要多(length是char数组的长度),用charat方法也不一定能获得那个字符,而要用codepointat方法获得那个位置所在的字符的unicode码位,我记得还有一个codepointsize方法,可以获得具体的(码位)字符数。

再次强调一下,这个码位表示的是一个整数,是unicode编码里规定的某个字符想对应的整数。

所幸大多数常用字符都能用一个char类型表示,所以一般length方法都能确定字符串中字符的个数,但这个方式看起来不是那么可靠,所以不是处理英文的地方,算字符数量的时候,还是考虑不要用length了吧。

以上。

手机码字,求指正错误。

2668 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传