修复中文无法解码问题之python库Ftfy
admin
2024-01-29 00:12:54

安装

pip install ftfy

举例

下面是ftfy所能做的一些例子

​ tfy可以修复mojibake(编码混合),通过检测显然是UTF-8但被解码为其他字符的字符的模式:

>>> import ftfy
>>> ftfy.fix_text('✔ No problems')
'✔ No problems'

​ 这听起来不可能吗? 这真的不是。UTF-8是一种设计良好的编码,当它被误用时很明显,一串mojibake通常包含我们需要恢复原始字符串的所有信息。

Ftfy可以同时修复多层mojibake

>>> ftfy.fix_text('The Mona Lisa doesn’t have eyebrows.')
"The Mona Lisa doesn't have eyebrows."

它可以修复已经在上面应用了curly quotes应用在它的顶部,直到这些引号没有卷曲时,才能对其进行一致的解码:

>>> ftfy.fix_text("l’humanité")
"l'humanité"

ftfy可以修复mojibake,它将包含字符U+A0 (non-breaking space),但U+A0被转换为ASCII空格,然后与下面的另一个空格组合:

>>> ftfy.fix_text('Ã\xa0 perturber la réflexion')
'à perturber la réflexion'
>>> ftfy.fix_text('à perturber la réflexion')
'à perturber la réflexion'

ftfy还可以解码HTML实体出现在HTML之外,甚至在实体已被错误大写的情况下:

>>> # by the HTML 5 standard, only 'PÉREZ' is acceptable
>>> ftfy.fix_text('PÉREZ')
'PÉREZ'

​ 这些修复并不适用于所有情况,因为ftfy有一个强烈的目标,即避免误报——它永远不应该将正确解码的文本更改为其他内容。

​ 下面的文本可以在Windows-1252中编码,并以UTF-8解码,它将解码为MARQUɅ。 然而,原来的文本已经是合理的,所以它是不变的。

>>> ftfy.fix_text('IL Y MARQUÉ…')
'IL Y MARQUÉ…'

​ 以上的例子都是出自Fity文档中,我这边仅仅只是将其翻译了下,作为案例给大家参考下,具体的大家可以参考下面的文档。

ftfy: fixes text for you


欢迎关注公众号:【时光python之旅】 (在这里你能学到我的所见、所闻、所思、所学)

相关内容

热门资讯

富维股份:进一步扩大非一汽集团... 富维股份(600742)12月22日披露的投资者关系活动记录表显示,公司于12月18日接待了吉林省文...
拉尼娜状态确认,对四川冬天影响... 川观新闻记者 陈婷“赤道中东太平洋已经进入拉尼娜状态。”国家气候中心的监测结果引发网友关注。由于20...
25万求复婚才知儿子非亲生,妻... 12月22日报道,@津云新闻 记者从中国裁判文书网获悉,山西省孝义市人民法院审结的一起家庭纠纷。男子...
诺比侃(2635)香港公开发售... 诺比侃人工智能科技(成都)股份有限公司(以下简称“诺比侃”)公布全球发售结果,最终确定发行价为每股8...
祥源文旅(600576.SH)... 格隆汇12月22日丨祥源文旅(维权)(600576.SH)公布,公司于2025年12月22日收到公司...