随着机器翻译系统的广泛应用，其中的公平性问题日益突显，也就是说，系统在处理不同语言、性别、种族、文化等受保护属性时，可能表现出偏见或不公正。中国科学院软件研究所天基综合信息系统全国重点实验室特别研究助理孙泽宇聚焦可信人工智能的公平性问题，提出了首个旨在检测机器翻译系统公平性的框架FairMT，近日相关论文被软件工程顶级期刊ACM Transactions on Software Engineering and Methodology (TOSEM)接收。
研究人员介绍，现有的几种关于自然语言处理公平性的测试方法主要是利用任务分类，通过输入中变更与公平相关的词汇来检测输出类别的差异。但当前并没有专门为机器翻译任务设计的公平性测试方法，主要挑战在于机器翻译输出的句子是序列而非单一类别，自动检测两个序列之间的公平性问题，目前仍是个难题。
为应对这一挑战，研究团队提出的FairMT框架首先遵循蜕变关系，通过模板化方法变更涉及公平性的相关词汇，将源内容和更改内容作为一组输入。随即使用基于神经网络的语义相似性度量来评估输入所对应的翻译结果，将得分低于预定义阈值的测试案例报告为具有潜在公平性问题的内容。最后，FairMT用额外的蜕变关系判断输入中与公平性无关的内容，通过变异这些内容再度生成测试输入进行语义相似性度量，最终确认是否存在公平性问题。
研究团队已在谷歌翻译、T5和Transformer上使用FairMT方法进行测试，分别检测到最多832、1984和2627个公平性问题。进一步的人工评估也证实了检测结果的有效性。研究团队还发现，常用自动化翻译质量衡量指标BLEU分数与公平性的相似性度量存在正相关关系，可以证明公平性问题的解决有助于提升翻译质量。
相关论文信息：https://dl.acm.org/doi/pdf/10.1145/3664608
12月13-14日，第15届中美绿色能源论坛在南京召开。论坛由中国电机工程学会、美中绿色能源促进会主办，以“碳中和实现路径与 2023年12月11日，自然科学基金委信息科学部在北京召开“海洋移动信息网络理论与关键技术”专项项目评审会。自然科学基金 教育、科技、人才三者相互促进、相辅相成。如何构建符合人才成长规律的教育评价机制，让更多优秀的科技人才脱颖而出？如何 法国政府近日推出“2030国家生物多样性战略”，包括40项措施和200项行动，旨在保护和恢复生态系统、减少对生物多样性的 编者按 世界在变，变化中不断积蓄着突破的力量。局势纵横看似山重水复，历史规律昭示未来终将柳暗花明。2023年与我们挥 问：据媒体报道，一名中国留学生在美国犹他州疑似遭遇绑架。中国使馆能否证实此事并介绍情况？ 答：中国驻美国大使馆高度重视 。本文链接：机器翻译有“偏见”，如何检测发现？http://www.sushuapos.com/show-11-10091-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 香港特区政府医卫局局长：积极考虑建设香港第三所医学院
下一篇： 科学家在大模型少样本域适应方面取得进展