欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

程序员文章站 2022-07-08 10:02:46
...

最近在学python3一直遇到这个错误,在网上查了很多,说是windows系统的问题云云。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @Time:2018/5/4 17:11
# @Author: wardseptember
# @File: GenWordCLoud.py
import jieba
import wordcloud
#f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8',errors='ignore')
f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='utf-8')
ftxt=f.read()
f.close()
lx=jieba.lcut(ftxt)
txt=" ".join(lx)
w=wordcloud.WordCloud( font_path = "C:/Windows/Fonts/msyh.ttc",width=1000,height=700,background_color='white',\
                      )
w.generate(txt)
w.to_file('test.png')

此程序执行之后出现错误,说是无法转成utf-8。

解决方法:
将utf-8改成gbk

f=open("关于实施乡村振兴战略的意见.txt",'r+',encoding='gbk')

运行程序结果如下,不再报错。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

utf-8与gbk的区别与联系:
字符均使用双字节来表示,只不过为区分中文,将其最高位都定成1。
至于UTF-8编码则是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24位(三个字节)来编码。对于英文字符较多的论坛则用UTF-8节省空间。
GBK包含全部中文字符;UTF-8则包含全世界所有国家需要用到的字符。
GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准(好像还不是国家标准)
UTF-8编码的文字可以在各国各种支持UTF8字符集的浏览器上显示。
比如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,而无需他们下载IE的中文语言支持包。 所以,对于英文比较多的论坛 ,使用GBK则每个字符占用2个字节,而使用UTF-8英文却只占一个字节。
UTF8是国际编码,它的通用性比较好,外国人也可以浏览论坛,GBK是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大

相关标签: python3 gbk utf8