广东省人民政府首页 > 要闻动态 > 广东要闻

攻下号称最难的WMT2019中英翻译任务!百度机器翻译团队登顶

来源: 南方日报网络版     时间: 2019-08-19 14:28:47
【字体:

8『月』1『日』『,』WMT2019『国』『际』『机』『器』『翻』『译』『大』『赛』『研』『讨』『会』『在』『意』『大』『利』『佛』『罗』『伦』『萨』『召』『开』『。』『本』『届』『大』『赛』『,』『百』『度』『机』『器』『翻』『译』『团』『队』『在』『中』『文』-『英』『文』『翻』『译』『任』『务』『上』『获』『得』『冠』『军』『。』

img_pic_1564735276_0.png

『图』1  『人』『工』『评』『价』『结』『果』

WMT『全』『称』『是』Workshop on Machine Translation『,』『是』『业』『界』『公』『认』『的』『国』『际』『顶』『级』『机』『器』『翻』『译』『比』『赛』『之』『一』『,』『其』『中』『中』『文』-『英』『文』『翻』『译』『任』『务』『是』『历』『年』『参』『赛』『队』『伍』『最』『多』『、』『竞』『争』『最』『为』『激』『烈』『的』『机』『器』『翻』『译』『任』『务』『之』『一』『。』『今』『年』『中』『英』『方』『向』『参』『赛』『队』『伍』『有』『来』『自』『微』『软』『、』『字』『节』『跳』『动』『、』『金』『山』『、』『爱』『丁』『堡』『大』『学』『、』『东』『北』『大』『学』『、』『日』『本』『情』『报』『通』『信』『研』『究』『院』『等』『国』『内』『外』『知』『名』『机』『器』『翻』『译』『团』『队』『。』『本』『届』『大』『赛』『,』『百』『度』『翻』『译』『团』『队』『凭』『借』『在』『数』『据』『处』『理』『、』『模』『型』『架』『构』『、』『数』『据』『增』『强』『、』『模』『型』『集』『成』『等』『方』『面』『的』『创』『新』『性』『突』『破』『,』『最』『终』『力』『压』『群』『雄』『,』『取』『得』『第』『一』『。』

『本』『次』『大』『会』『的』『评』『审』『专』『家』『对』『于』『百』『度』『参』『评』『系』『统』『给』『予』『高』『度』『评』『价』『,』『“』This is a very solid system paper describing a strong system in the shared evaluation『”』『,』『“』The techniques employed are cutting-edge『”』『。』『本』『文』『对』『主』『要』『技』『术』『进』『行』『介』『绍』『。』

img_pic_1564735276_1.jpg

『图』2 『百』『度』『翻』『译』『参』『赛』『系』『统』『架』『构』『图』

『如』『上』『图』『所』『示』『,』『数』『据』『处』『理』『模』『块』『通』『过』『数』『据』『筛』『选』『、』『噪』『音』『去』『除』『、』『数』『据』『增』『强』『等』『,』『产』『生』『训』『练』『数』『据』『;』『对』『于』『翻』『译』『模』『型』『,』『从』『预』『训』『练』『、』『网』『络』『结』『构』『等』『方』『面』『进』『行』『改』『进』『,』『使』『模』『型』『学』『到』『更』『多』『维』『度』『、』『更』『深』『层』『次』『的』『信』『息』『。』『在』『训』『练』『和』『模』『型』『集』『成』『阶』『段』『,』『凭』『借』『百』『度』『强』『大』『的』『机』『器』『学』『习』『平』『台』『和』『海』『量』『的』『计』『算』『资』『源』『,』『从』『上』『百』『个』『模』『型』『中』『选』『择』『不』『同』『的』『模』『型』『组』『合』『集』『成』『。』『最』『终』『,』『结』『合』『统』『计』『特』『征』『和』『深』『度』『学』『习』『模』『型』『的』『特』『征』『,』『通』『过』Re-ranking『算』『法』『从』『多』『个』『译』『文』『候』『选』『中』『选』『择』『最』『优』『的』『翻』『译』『结』『果』『。』

『接』『下』『来』『将』『从』『数』『据』『预』『处』『理』『、』『翻』『译』『模』『型』『改』『进』『、』『训』『练』『数』『据』『增』『强』『、』『模』『型』『集』『成』『和』『重』『排』『序』『等』『方』『面』『介』『绍』『百』『度』『翻』『译』『团』『队』『的』『参』『赛』『系』『统』『。』

『一』『、』『数』『据』『处』『理』

『神』『经』『网』『络』『翻』『译』『模』『型』『对』『训』『练』『数』『据』『尤』『为』『敏』『感』『,』『不』『仅』『要』『求』『数』『据』『规』『模』『大』『,』『还』『要』『求』『数』『据』『质』『量』『高』『。』『因』『此』『,』『数』『据』『处』『理』『对』『于』『提』『升』『翻』『译』『质』『量』『至』『关』『重』『要』『。』『针』『对』『组』『委』『会』『提』『供』『的』『双』『语』『数』『据』『,』『通』『过』fast_align『进』『行』『数』『据』『清』『洗』『,』fast_align『可』『以』『衡』『量』『两』『个』『句』『子』『互』『为』『翻』『译』『的』『概』『率』『,』『从』『而』『根』『据』『翻』『译』『概』『率』『去』『除』『低』『质』『数』『据』『。』『以』『翻』『译』『自』『动』『评』『价』『指』『标』BLEU『衡』『量』『,』『清』『洗』『后』『的』『数』『据』『训』『练』『模』『型』『提』『高』『了』1.1『个』『百』『分』『点』『。』

『相』『比』『双』『语』『数』『据』『,』『主』『办』『方』『提』『供』『了』『更』『多』『的』『单』『语』『数』『据』『。』『采』『用』Back Translation『技』『术』『利』『用』『英』『语』『单』『语』『数』『据』『提』『升』『模』『型』『的』『翻』『译』『质』『量』『。』『具』『体』『做』『法』『是』『,』『先』『用』『中』『英』『双』『语』『数』『据』『训』『练』『一』『个』『英』『中』『的』『翻』『译』『系』『统』『,』『由』『英』『中』『模』『型』『将』『英』『文』『句』『子』『翻』『译』『成』『对』『应』『的』『中』『文』『句』『子』『,』『将』『模』『型』『生』『成』『的』『中』『文』『句』『子』『和』『英』『文』『句』『子』『组』『合』『成』『双』『语』『句』『对』『,』『并』『和』『真』『实』『的』『中』『英』『双』『语』『句』『对』『混』『合』『作』『为』『中』『英』『模』『型』『的』『训』『练』『数』『据』『。』『此』『技』『术』『可』『以』『提』『升』『翻』『译』『质』『量』(BLEU)0.8『个』『百』『分』『点』『。』

『二』『、』『翻』『译』『模』『型』

『目』『前』『,』『主』『流』『的』『神』『经』『网』『络』『翻』『译』『模』『型』『是』Transformer『,』『根』『据』『模』『型』『参』『数』『的』『大』『小』『可』『以』『分』『成』base Transformer『和』big Transformer『。』『其』『中』『,』big Transformer『具』『有』『更』『多』『的』『参』『数』『和』『更』『好』『的』『翻』『译』『效』『果』『。』『在』『本』『次』『比』『赛』『中』『,』『我』『们』『基』『于』Transformer『模』『型』『,』『创』『新』『性』『地』『提』『出』『了』『三』『种』『改』『进』『的』『模』『型』『,』『显』『著』『提』『升』『了』『翻』『译』『质』『量』『,』『成』『为』『比』『赛』『决』『胜』『的』『关』『键』『点』『之』『一』『。』『此』『次』『改』『进』『的』『模』『型』『包』『括』『:』

Pre-trained Transformer: 『在』『大』『规』『模』『单』『语』『语』『料』『上』『训』『练』『语』『言』『模』『型』『,』『并』『以』『此』『作』『为』『翻』『译』『模』『型』『的』『编』『码』『器』『。』

Deeper Transformer: 『加』『深』『编』『码』『器』『的』『层』『数』『,』『提』『取』『更』『多』『维』『度』『特』『征』『。』

Bigger Transformer: 『增』『大』『前』『向』『网』『络』『的』『隐』『藏』『节』『点』『。』 

img_pic_1564735276_2.jpg

『图』3 『改』『进』『的』『翻』『译』『模』『型』

Pre-trained Transformer

『最』『近』『的』『研』『究』『表』『明』『,』『在』『大』『规』『模』『语』『料』『上』『训』『练』『的』『语』『言』『模』『型』『,』『对』『其』『下』『游』『任』『务』『有』『很』『显』『著』『的』『提』『升』『。』『我』『们』『在』『中』『文』『数』『据』『上』『训』『练』『出』『一』『个』24『层』『的』Transformer『语』『言』『模』『型』『,』『采』『用』『自』『编』『码』『的』『训』『练』『方』『法』『,』『即』『随』『机』『将』『句』『子』『中』『的』『词』『变』『为』masked『标』『签』『,』『并』『经』『过』24『层』『的』Transformer『进』『行』『编』『码』『,』『最』『后』『预』『测』masked『位』『置』『的』『实』『际』『的』『词』『。』『以』『预』『训』『练』『的』『语』『言』『模』『型』『作』『为』『翻』『译』『模』『型』『的』『编』『码』『器』『,』『在』『中』『英』『双』『语』『数』『据』『上』『继』『续』『训』『练』『翻』『译』『模』『型』『。』『在』『使』『用』『双』『语』『数』『据』『训』『练』『阶』『段』『,』『预』『训』『练』『语』『言』『模』『型』『(』『编』『码』『器』『)』『的』『参』『数』『在』『前』10000『步』『保』『持』『不』『变』『,』『只』『更』『新』『解』『码』『器』『的』『参』『数』『,』『之』『后』『编』『码』『器』『和』『解』『码』『器』『都』『会』『更』『新』『参』『数』『。』

Pre-trained Transformer『相』『比』『标』『准』『的』big Transformer『拥』『有』『更』『深』『的』encoder『(』『从』6『层』『扩』『展』『到』24『层』『)』『,』『并』『且』『经』『过』『在』『超』『大』『规』『模』『的』『中』『文』『单』『语』『数』『据』『上』『预』『训』『练』『,』『可』『以』『对』『源』『语』『言』『(』『中』『文』『)』『句』『子』『提』『取』『更』『多』『的』『有』『效』『特』『征』『,』『从』『而』『有』『效』『的』『提』『高』『模』『型』『的』『翻』『译』『质』『量』『。』『从』『自』『动』『评』『价』『指』『标』BLEU『上』『看』『,』Pre-trained Transformer『相』『比』big Transformer『,』『显』『著』『提』『升』『了』1『个』『百』『分』『点』『。』

Deeper Transformer

『更』『深』『的』『编』『码』『器』『可』『以』『提』『取』『更』『多』『的』『特』『征』『,』『但』『是』『对』『于』『翻』『译』『模』『型』『的』『训』『练』『而』『言』『,』『仅』『加』『深』『编』『码』『器』『的』『层』『数』『,』『通』『常』『会』『遇』『到』『梯』『度』『消』『失』『的』『问』『题』『,』『导』『致』『模』『型』『无』『法』『正』『常』『收』『敛』『。』『我』『们』『提』『出』Deeper Transformer, 『在』『更』『深』『的』『编』『码』『器』『中』『,』『通』『过』『增』『加』『残』『差』『连』『接』『,』『即』『前』『面』『所』『有』『层』『都』『作』『为』『下』『一』『层』『的』『输』『入』『,』『避』『免』『了』『梯』『度』『消』『失』『,』『实』『现』『了』『端』『到』『端』『的』『翻』『译』『训』『练』『。』『标』『准』『的』base Transformer『和』big Transformer『模』『型』『,』『编』『码』『器』『和』『解』『码』『器』『都』『是』6『层』『的』『。』『而』『对』『于』『采』『用』deeper Transformer『的』『模』『型』, base Transformer『的』『编』『码』『器』『可』『以』『扩』『展』『到』30『层』『,』big Transformer『的』『编』『码』『器』『可』『以』『扩』『展』『到』15『层』『。』

Deeper Transformer『相』『比』『标』『准』『的』big Transformer『性』『能』『提』『升』『较』『少』『,』『但』『是』『在』『模』『型』『集』『成』『阶』『段』『,』『加』『入』Deeper Transformer『可』『以』『显』『著』『提』『升』『整』『个』『系』『统』『的』『翻』『译』『质』『量』『,』『在』『本』『文』『后』『面』『的』『模』『型』『集』『成』『部』『分』『会』『有』『更』『详』『细』『的』『介』『绍』『。』

Bigger Transformer

『此』『外』『,』『我』『们』『提』『出』『了』Bigger Transformer『,』『在』『宽』『度』『的』『维』『度』『上』『增』『强』『模』『型』『。』『探』『索』『了』『增』『大』『前』『向』『网』『络』『节』『点』『和』『隐』『藏』『层』『节』『点』『对』『翻』『译』『质』『量』『的』『影』『响』『,』『发』『现』『增』『大』『前』『向』『网』『络』『节』『点』『可』『以』『显』『著』『提』『升』『翻』『译』『质』『量』『。』Bigger Transformer『的』『前』『向』『网』『络』『节』『点』『数』『是』15000『,』『而』『标』『准』『的』big Transformer『的』『前』『向』『网』『络』『节』『点』『数』『是』4096『。』『但』『是』『,』『更』『多』『的』『参』『数』『更』『容』『易』『在』『训』『练』『过』『程』『中』『出』『现』『过』『拟』『合』『问』『题』『。』 『通』『过』『增』『大』dropout『的』『比』『率』『和』label smoothing『的』『参』『数』『避』『免』『了』『过』『拟』『合』『。』『相』『比』big Transformer, Bigger Transformer『提』『升』『了』0.8 BLEU『。』

『三』『、』『数』『据』『增』『强』

『对』『于』『单』『语』『数』『据』『,』『采』『用』『联』『合』『训』『练』『方』『法』『增』『强』back translation『生』『成』『的』『译』『文』『,』『构』『造』『更』『高』『质』『量』『的』『“』『伪』『”』『双』『语』『数』『据』『。』『首』『先』『使』『用』『中』『英』『双』『语』『数』『据』『分』『别』『训』『练』『中』『英』『和』『英』『中』『翻』『译』『模』『型』『,』『中』『英』『模』『型』『将』『中』『文』『单』『语』『数』『据』『翻』『译』『成』『英』『文』『,』『英』『中』『模』『型』『将』『英』『文』『单』『语』『数』『据』『翻』『译』『成』『中』『文』『。』『中』『英』『模』『型』『在』『英』『中』『模』『型』『产』『生』『的』『“』『伪』『”』『的』『双』『语』『数』『据』『上』『继』『续』『训』『练』『,』『英』『中』『模』『型』『在』『中』『英』『模』『型』『生』『成』『的』『“』『伪』『”』『的』『双』『语』『数』『据』『上』『继』『续』『训』『练』『,』『中』『英』『和』『英』『中』『模』『型』『的』『性』『能』『都』『得』『到』『提』『升』『。』『在』『下』『一』『轮』『中』『,』『翻』『译』『效』『果』『更』『好』『的』『中』『英』『、』『英』『中』『模』『型』『可』『以』『生』『成』『质』『量』『更』『高』『的』『伪』『数』『据』『,』『用』『来』『进』『一』『步』『提』『升』『翻』『译』『模』『型』『。』

『对』『于』『双』『语』『数』『据』『的』『目』『标』『端』『(』『英』『文』『)』『,』『通』『过』『英』-『中』『翻』『译』『模』『型』『生』『成』『源』『端』『(』『中』『文』『)』『译』『文』『,』『将』『“』『生』『成』『”』『的』『中』『文』『和』『“』『真』『实』『”』『的』『英』『文』『作』『为』『增』『强』『的』『数』『据』『混』『入』『双』『语』『数』『据』『共』『同』『训』『练』『中』『英』『模』『型』『。』

img_pic_1564735276_3.jpg

『图』4 『联』『合』『训』『练』『流』『程』『图』

『对』『于』『双』『语』『数』『据』『的』『源』『端』『(』『中』『文』『)』『,』『采』『用』『知』『识』『蒸』『馏』『的』『方』『法』『,』『以』R2L『翻』『译』『模』『型』(『从』『右』『到』『左』『的』『翻』『译』『顺』『序』)『和』『异』『构』『模』『型』(『不』『同』『结』『构』『的』『模』『型』)『作』『为』『“』Teacher『”』, 『生』『成』『目』『标』『端』『(』『英』『文』『)』『译』『文』『,』『再』『将』『“』『真』『实』『”』『的』『中』『文』『和』『“』『生』『成』『”』『的』『英』『文』『作』『为』『增』『强』『数』『据』『,』『指』『导』『模』『型』『学』『习』『更』『多』『的』『知』『识』『。』R2L『翻』『译』『模』『型』『作』『为』『“』Teacher『”』『,』『由』『于』『翻』『译』『模』『型』『解』『码』『的』『特』『性』『,』『生』『成』『的』『英』『文』『译』『文』『的』『后』『部』『分』『翻』『译』『的』『通』『常』『比』『前』『部』『分』『更』『好』『,』『通』『过』『知』『识』『蒸』『馏』『方』『法』『可』『以』『让』『翻』『译』『模』『型』『(』L2R『)』『学』『习』『到』『更』『多』『的』『句』『子』『后』『部』『信』『息』『。』『不』『同』『结』『构』『的』『翻』『译』『模』『型』『具』『有』『不』『同』『的』『翻』『译』『特』『性』『,』『例』『如』『,』Deeper Transformer『和』Bigger Transformer『可』『以』『作』『为』Pre-trained Transformer『的』『“』Teacher『”』『,』『指』『导』Pre-trained Transformer『学』『习』Deeper Transformer『和』Bigger Transformer『的』『特』『性』『。』『如』『下』『图』『所』『示』『,』D『’』『表』『示』『模』『型』『生』『成』『的』『双』『语』『句』『对』『,』『多』『个』『不』『同』『的』D『’』『组』『合』『作』『为』『模』『型』『的』『训』『练』『语』『料』『。』 

img_pic_1564735276_4.jpg

『图』5 『知』『识』『蒸』『馏』『流』『程』『图』

『多』『种』『数』『据』『增』『强』『方』『法』『,』『不』『仅』『可』『以』『增』『强』『模』『型』『的』『鲁』『棒』『性』『,』『还』『指』『导』『模』『型』『学』『习』『其』『他』『模』『型』『特』『有』『的』『知』『识』『,』『从』『而』『进』『一』『步』『提』『升』『翻』『译』『效』『果』『。』

『四』『、』『模』『型』『集』『成』

『模』『型』『集』『成』『解』『码』『可』『以』『显』『著』『提』『升』『翻』『译』『效』『果』『。』『我』『们』『使』『用』『不』『同』『的』『模』『型』『,』『在』『不』『同』『的』『数』『据』『上』『采』『用』『不』『同』『的』『策』『略』『训』『练』『出』『上』『百』『个』『翻』『译』『模』『型』『,』『以』『探』『索』『不』『同』『的』『模』『型』『集』『成』『对』『翻』『译』『质』『量』『的』『影』『响』『。』『经』『过』『大』『量』『的』『实』『验』『发』『现』『,』『相』『同』『结』『构』『的』『模』『型』『进』『行』『集』『成』『,』『即』『使』『性』『能』『都』『很』『强』『,』『但』『是』『集』『成』『的』『翻』『译』『效』『果』『收』『益』『较』『小』『;』『而』『集』『成』『不』『同』『结』『构』『的』『模』『型』『,』『翻』『译』『的』『效』『果』『得』『到』『了』『非』『常』『显』『著』『的』『提』『升』『,』『相』『比』『最』『强』『的』『单』『系』『统』『提』『升』『了』1.4 BLEU『。』

『五』『、』『重』『排』『序』

『集』『成』『模』『型』『生』『成』k『个』『候』『选』『译』『文』『,』『通』『过』k-best MIRA『算』『法』『学』『习』『各』『个』『特』『征』『的』『权』『重』『,』『从』『而』『对』『候』『选』『译』『文』『进』『一』『步』『排』『序』『,』『选』『择』『最』『好』『的』『译』『文』『。』『设』『计』『了』4『种』『特』『征』『,』『可』『以』『有』『效』『的』『提』『高』『翻』『译』『质』『量』『:』

1.『翻』『译』『模』『型』『特』『征』『:』『集』『成』『模』『型』『生』『成』『译』『文』『的』『得』『分』『和』R2L『模』『型』『对』『译』『文』『的』『打』『分』『。』

2.『语』『言』『模』『型』『特』『征』『:』『多』『个』『语』『言』『模』『型』『和』『后』『向』『语』『言』『模』『型』『对』『译』『文』『的』『打』『分』『。』

3.『长』『度』『特』『征』『:』『译』『文』『和』『原』『文』『的』『长』『度』『比』『和』『长』『度』『差』『。』

4.『加』『权』『投』『票』『特』『征』『:』『计』『算』『每』『个』『译』『文』『和』『其』『他』『候』『选』『译』『文』『的』BLEU『,』『并』『计』『算』『其』『平』『均』『值』『。』

『通』『过』『以』『上』『技』『术』『创』『新』『,』『相』『比』『于』『基』『线』『系』『统』『,』『我』『们』『获』『得』『了』6-7『个』『百』『分』『点』『的』『大』『幅』『提』『升』『。』『作』『为』『国』『内』『最』『早』『的』『互』『联』『网』『机』『器』『翻』『译』『系』『统』『之』『一』『,』『百』『度』『翻』『译』『在』『技』『术』『和』『产』『品』『上』『一』『直』『处』『于』『业』『界』『领』『先』『。』『早』『在』2015『年』『,』『百』『度』『翻』『译』『就』『发』『布』『了』『全』『球』『首』『个』『神』『经』『网』『络』『翻』『译』『系』『统』『,』『并』『于』『同』『年』『获』『得』『国』『家』『科』『技』『进』『步』『二』『等』『奖』『。』『通』『过』『不』『断』『的』『技』『术』『创』『新』『,』『翻』『译』『质』『量』『保』『持』『业』『界』『领』『先』『。』『在』『刚』『刚』『过』『去』『的』『百』『度』『开』『发』『者』『大』『会』『上』『,』『发』『布』『了』『业』『界』『首』『个』『端』『到』『端』『的』『同』『传』『翻』『译』『小』『程』『序』『,』『为』『用』『户』『提』『供』『沉』『浸』『式』『同』『传』『体』『验』『。』『随』『着』『技』『术』『的』『不』『断』『进』『步』『与』『发』『展』『,』『机』『器』『翻』『译』『将』『在』『跨』『越』『语』『言』『鸿』『沟』『中』『发』『挥』『越』『来』『越』『大』『的』『作』『用』『。』

『百』『度』『自』『然』『语』『言』『处』『理』『(』Natural Language Processing『,』NLP『)』『以』『『』『理』『解』『语』『言』『,』『拥』『有』『智』『能』『,』『改』『变』『世』『界』『』』『为』『使』『命』『,』『研』『发』『自』『然』『语』『言』『处』『理』『核』『心』『技』『术』『,』『打』『造』『领』『先』『的』『技』『术』『平』『台』『和』『创』『新』『产』『品』『,』『服』『务』『全』『球』『用』『户』『,』『让』『复』『杂』『的』『世』『界』『更』『简』『单』『。』

 

相关文章

版权所有:南方新闻网 粤ICP备05070829 网站标识码4400000131
主办:南方新闻网 协办:广东省经济和信息化委员会 承办:南方新闻网
建议使用1024×768分辨率 IE7.0以上版本浏览器