索尼黑科技——鷹眼的可視化技術(shù)如何顛覆體育賽事的欣賞方式

    “建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂(lè)公司”索尼，始終以人為本，在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代，索尼黑科技正式確立了3R戰(zhàn)略（真實(shí)（Reality）、實(shí)時(shí)（Real-time）和遠(yuǎn)程（Remote），致力于為內(nèi)容創(chuàng)作賦能，共同開(kāi)創(chuàng)前所未有的娛樂(lè)表達(dá)方式。 “索尼黑科技”專(zhuān)欄將定期為您介紹最具代表性的索尼技術(shù)創(chuàng)新成果，探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來(lái)的是——索尼旗下鷹眼創(chuàng)新公司的可視化技術(shù)。

    在專(zhuān)業(yè)體育競(jìng)技中，總有一些因?yàn)閯?dòng)作速度過(guò)快或過(guò)于復(fù)雜而無(wú)法用肉眼追蹤的時(shí)刻。本期的#索尼黑科技#專(zhuān)欄將通過(guò)獨(dú)家采訪全面起底索尼旗下的鷹眼創(chuàng)新公司（Hawk-Eye Innovations），看它的可視化技術(shù)如何幫助裁判員做出判斷，并令體育競(jìng)技更加安全、公平、可靠和精彩。

    受訪人資料：

    讓裁判員們無(wú)法判斷的時(shí)刻清晰顯現(xiàn)

    Q：首先，請(qǐng)您介紹一下鷹眼的技術(shù)及其應(yīng)用的領(lǐng)域。

    Edward Hawke：鷹眼提供的兩項(xiàng)主要技術(shù)是球體跟蹤和同步多角度回放技術(shù)（SMART）支持的視頻回放。球類(lèi)追蹤技術(shù)已被整合到各種服務(wù)中，如電子司線技術(shù)（ELC）以及球門(mén)線技術(shù)（GLT），SMART視頻回放已被足球視頻助理裁判（VARs）和橄欖球電視比賽官員（TMOs）采用。

    Q：鷹眼服務(wù)發(fā)展的背后有什么故事嗎？

    山本太郎：鷹眼創(chuàng)新公司成立于2001年，由鷹眼公司的創(chuàng)始人保羅-霍金斯制定了基于導(dǎo)彈跟蹤技術(shù)的球類(lèi)追蹤理念。最初開(kāi)發(fā)這項(xiàng)技術(shù)是為了讓觀眾更愉快的觀看板球運(yùn)動(dòng)，但很快就擴(kuò)展到其他各種球類(lèi)運(yùn)動(dòng)中，如網(wǎng)球、足球、羽毛球和排球。我們開(kāi)展業(yè)務(wù)的愿景仍然是讓觀眾更好地欣賞體育賽事。2006年，在國(guó)際網(wǎng)球比賽中引入新的挑戰(zhàn)規(guī)則后，鷹眼才真正進(jìn)入了全球視野。這一規(guī)則允許每個(gè)球員在一場(chǎng)比賽中最多質(zhì)疑三次裁判員的判斷。如果因?yàn)橘|(zhì)疑被叫停，球的軌跡和落點(diǎn)將通過(guò)安裝在球場(chǎng)周?chē)�的多臺(tái)攝像機(jī)拍攝的視頻資料進(jìn)行分析，并在短短幾秒鐘內(nèi)通過(guò)計(jì)算機(jī)圖形（CG）在會(huì)場(chǎng)的屏幕上進(jìn)行回放。這項(xiàng)技術(shù)可以準(zhǔn)確地分析網(wǎng)球中高速球的軌跡，這當(dāng)然會(huì)使比賽更加公平，但也可能會(huì)嚴(yán)重影響比賽進(jìn)行。

    Mathew Richards：球類(lèi)追蹤技術(shù)有兩個(gè)主要組成部分——光學(xué) 2D 視覺(jué)處理（尋找球的中心）和 3D 三角測(cè)量（模擬球的飛行時(shí)間）。 通常，這會(huì)使用 8 到 12 臺(tái)以高達(dá)每秒 340 幀的幀速率運(yùn)行的攝像機(jī)。 捕獲的數(shù)據(jù)被輸入中央控制系統(tǒng)，該系統(tǒng)可以提供各種實(shí)時(shí)服務(wù)，包括裁判解決方案、直播效果支持和數(shù)據(jù)流。

    Q：SMART技術(shù)的使用是如何推廣的？

    Mathew Richards：為了使視頻平臺(tái)能夠同時(shí)渲染和提供多個(gè)不同的視頻流，我們開(kāi)發(fā)了一種技術(shù)，可以以高達(dá)每秒 340 幀的速度實(shí)時(shí)編碼視頻，同時(shí)將畫(huà)質(zhì)退化率降到最低，并編碼多種分辨率，使輸出設(shè)備可以基于每幀選擇最佳視頻大小。因此，裁判員、醫(yī)務(wù)人員和廣播公司可以同時(shí)從任何角度獲取他們想要的視頻片段，這就是SMART Replay。

    帶來(lái)巨大的創(chuàng)新是鷹眼的優(yōu)勢(shì)

    Q：有哪些因素促成了鷹眼在體育界的廣泛應(yīng)用與成功發(fā)展？

    Mathew Richards：鷹眼在提供球體和球員追蹤服務(wù)方面擁有20多年的經(jīng)驗(yàn)，我們的主要優(yōu)勢(shì)之一是我們能夠不斷創(chuàng)新和完善我們的方法。球類(lèi)追蹤在2001年首次被用作板球的廣播效果支持，現(xiàn)在我們已經(jīng)為球體和球員的追蹤開(kāi)發(fā)了最先進(jìn)的機(jī)器學(xué)習(xí)算法。我們目前正在擴(kuò)大其使用范圍，不僅追蹤人，而且還能追蹤球棒（拍）和汽車(chē)等物體。

    Edward Hawke：鷹眼也非常重視與使用者之間的溝通交流。我們密切參與了足球視頻助理裁判的初始階段，利用我們?cè)诓门屑夹g(shù)方面的專(zhuān)業(yè)知識(shí)來(lái)幫助利益相關(guān)者，建立對(duì)比賽結(jié)果產(chǎn)生最大影響并對(duì)比賽過(guò)程破壞最小的規(guī)則與程序。目的是確保更公平的結(jié)果，同時(shí)保持球迷的高度參與和享受。

    山本太郎：索尼的廣播技術(shù)被廣泛應(yīng)用于各種體育賽事，由于鷹眼的一些員工總是出現(xiàn)在這些體育場(chǎng)館，我們?cè)谔峁┲С值耐瑫r(shí)能夠獲得反饋，使鷹眼能夠?yàn)槊宽?xiàng)運(yùn)動(dòng)開(kāi)發(fā)與提供更好的解決方案。鷹眼的另一個(gè)優(yōu)勢(shì)是我們始終在一線，一年365天傾聽(tīng)意見(jiàn)，我們相信我們所積累的專(zhuān)業(yè)知識(shí)是能夠引領(lǐng)這個(gè)行業(yè)的原因之一。

    在裁判以外的領(lǐng)域?yàn)轶w育運(yùn)動(dòng)提供支持

    Q：我了解到你們目前正在開(kāi)設(shè)新的服務(wù)？

    山本太郎：是的。 為了取消場(chǎng)內(nèi)的司線裁判,鷹眼的實(shí)時(shí)司線系統(tǒng) (Hawk-Eye Live)現(xiàn)已在多個(gè)國(guó)際網(wǎng)球賽事中使用。 這有效避免了對(duì)裁判員的質(zhì)疑過(guò)程，縮短和提高了比賽效率，讓球員的注意力高度集中在比賽本身。鷹眼不會(huì)取代裁判長(zhǎng)或裁判員，它只是一項(xiàng)旨在支持他們的服務(wù)，但我們相信它可以代替司線裁判員做出決定，以降低新冠疫情的傳播。 網(wǎng)球比賽中最多可部署 9 名司線裁判員，但通過(guò)鷹眼的司線技術(shù)可以減少球場(chǎng)上的人以確保社交距離。在2020年美國(guó)網(wǎng)球公開(kāi)賽中，13個(gè)球場(chǎng)中有11個(gè)使用了Hawk-Eye Live。

    Edward Hawke：隨著新冠疫情的爆發(fā)，鷹眼已經(jīng)開(kāi)始為新的體育內(nèi)容制作流程以提供遠(yuǎn)程回放服務(wù)，允許回放操作員在家里使用該系統(tǒng)進(jìn)行現(xiàn)場(chǎng)直播剪輯。我們?yōu)楦郀柗虮荣愰_(kāi)發(fā)了一個(gè)系統(tǒng)，將官方數(shù)據(jù)鏈接到視頻源，并自動(dòng)標(biāo)記哪個(gè)高爾夫球手在哪個(gè)球洞，使操作員能夠快速跳轉(zhuǎn)到他們想要回放的視頻資料。 這個(gè)系統(tǒng)，加上運(yùn)營(yíng)商現(xiàn)在可以在家中通過(guò) 10Mbps 消費(fèi)級(jí)互聯(lián)網(wǎng)連接提供廣播重播的事實(shí)，極大地改變了行業(yè)的工作流程。

    Q：最后，你能告訴我們你的未來(lái)前景嗎？

    山本太郎：鷹眼的服務(wù)目前被用于20多種運(yùn)動(dòng)，除了球類(lèi)運(yùn)動(dòng)，它們還被用于田徑、賽馬，甚至是賽車(chē)運(yùn)動(dòng)。球類(lèi)追蹤技術(shù)已經(jīng)開(kāi)始應(yīng)用于球隊(duì)的戰(zhàn)略分析和選才，在電視和視頻中提供比賽的多角度觀看體驗(yàn)也在考慮之中，顯然，鷹眼具有未來(lái)發(fā)展?jié)摿�。體育總能帶給人們無(wú)限感動(dòng)，而通過(guò)技術(shù)感動(dòng)人正是我們的使命。利用索尼的技術(shù)能力，我們將繼續(xù)提供觀看和享受體育的新方式，激發(fā)人們的熱情和感動(dòng)。

    鷹眼創(chuàng)新公司簡(jiǎn)介

    自 2001 年以來(lái)，鷹眼創(chuàng)新公司一直處于體育裁判和廣播支持技術(shù)的前沿。鷹眼的視覺(jué)處理、視頻回放和創(chuàng)意圖形技術(shù)使體育運(yùn)動(dòng)更加公平、安全、智能化，同時(shí)更具吸引力。該公司是索尼體育創(chuàng)新集團(tuán)的重要組成部分，其共同使命是為體育界提供一流的裁判、廣播和數(shù)字解決方案。

    鷹眼創(chuàng)新公司的技術(shù)被應(yīng)用在哪些體育領(lǐng)域？

    網(wǎng)球領(lǐng)域 電子司線技術(shù) (ELC)

    即使頂級(jí)網(wǎng)球選手的發(fā)球速度超過(guò) 200 公里/小時(shí)，鷹眼的追蹤功能也可以準(zhǔn)確判斷球是否越線。 該系統(tǒng)不僅具有令人難以置信的誤差小于 2 毫米的精準(zhǔn)度，還可以通過(guò)處理追蹤數(shù)據(jù)在短短的幾秒鐘內(nèi)制作出 CG 回放。 球員對(duì)裁判員的質(zhì)疑會(huì)極大影響比賽的進(jìn)行，但是通過(guò)CG 回放讓每個(gè)人都能看到虛擬回放，包括在家里觀看的人，使比賽變得更加公平。 此外，圖形回放片段可以作為數(shù)字廣告素材出售給贊助商，為賽事組織者創(chuàng)造更多商機(jī)。

    足球 球門(mén)線技術(shù) (GLT)

    從裁判和追蹤的角度來(lái)看，足球是一項(xiàng)需要克服多重挑戰(zhàn)的運(yùn)動(dòng)。例如，裁判需要實(shí)時(shí)判斷球是否越過(guò)球門(mén)線，以及實(shí)時(shí)以更高的幀率和分辨率進(jìn)行視頻處理。與此前的球體追蹤技術(shù)相比，該技術(shù)實(shí)現(xiàn)最大的突破是追蹤球體運(yùn)動(dòng)，球體追蹤中最困難的挑戰(zhàn)之一是被遮擋，如此將很難模擬球體飛行（因?yàn)槭亻T(mén)員可能將球帶過(guò)線）。再加上嘈雜場(chǎng)景的問(wèn)題，球可能會(huì)被球員遮擋，使得裁判員對(duì)門(mén)球的追蹤變得極其困難。為了解決所有這些問(wèn)題，鷹眼工程團(tuán)隊(duì)與索尼合作，創(chuàng)新了獨(dú)特的球體模式識(shí)別和方向建模算法，在只有部分球體可見(jiàn)時(shí)也能確定球在圖像中的位置。

    足球 視頻助理裁判(VAR)

    鷹眼獨(dú)特的解決問(wèn)題能力也深深扎根于VAR技術(shù)中，這是鷹眼在國(guó)際足球賽事中提供了最前沿的技術(shù)。將VAR作為一個(gè)概念引入足球賽事的最初契機(jī)是提高溝通效率。在比賽中，裁判和視頻助理裁判必須不斷地使用對(duì)講機(jī)相互溝通，共同決定何時(shí)是停止比賽的最佳時(shí)機(jī)。鷹眼解決了這一低效率問(wèn)題，不僅建立了具有多個(gè)攝像機(jī)的系統(tǒng)，以確保判斷的適當(dāng)角度，而且還為使用該系統(tǒng)的裁判提供培訓(xùn)，此外還支持裁判培訓(xùn)系統(tǒng)的資格和認(rèn)證。

    橄欖球 電視比賽官員(TMO)

    鷹眼還為橄欖球TMO提供視頻判斷的輔助工具，在橄欖球比賽中，進(jìn)攻性的阻擋和激烈的沖撞并不罕見(jiàn)。根據(jù)比賽情況，來(lái)自30多臺(tái)攝像機(jī)的畫(huà)面可能會(huì)被匯總，輸入服務(wù)器，進(jìn)行同步，然后顯示在操作屏幕上。裁判員想要詳細(xì)檢查和判斷可以拖放畫(huà)面提取靜止圖像，并且可以流暢地進(jìn)行縮放和慢動(dòng)作等操作。裁判員們可以檢查是否有阻擋犯規(guī)，或是否有達(dá)陣得分的情況。橄欖球比賽中的醫(yī)務(wù)人員可以使用平板電腦來(lái)檢查球員受傷的位置和方式，這有助于實(shí)現(xiàn)更精準(zhǔn)的治療。在提高比賽安全性的同時(shí)，更好的治療也能讓球員更快恢復(fù)，為球隊(duì)帶來(lái)巨大的戰(zhàn)略和經(jīng)濟(jì)利益。

    棒球 視頻判決支持系統(tǒng)

    在美國(guó)職業(yè)棒球大聯(lián)盟 (MLB) 中，有一個(gè)挑戰(zhàn)系統(tǒng)，允許球隊(duì)經(jīng)理質(zhì)疑裁判員判斷的準(zhǔn)確性。 通過(guò)鷹眼的 SMART 技術(shù)查看視頻回放，經(jīng)理可以決定是否質(zhì)疑裁判。 鷹眼的追蹤系統(tǒng)已經(jīng)引入 30 個(gè)美國(guó)職業(yè)棒球大聯(lián)盟球場(chǎng)。

    棒球 比賽分析服務(wù)

    在2020年賽季，美國(guó)職業(yè)棒球大聯(lián)盟也采用了鷹眼的運(yùn)動(dòng)追蹤平臺(tái)進(jìn)行比賽分析。鷹眼的視覺(jué)處理技術(shù)和光學(xué)追蹤系統(tǒng)被用來(lái)捕捉整個(gè)體育場(chǎng)內(nèi)的球體和球員的運(yùn)動(dòng)，并以毫米級(jí)的精確度對(duì)數(shù)據(jù)進(jìn)行分析。通過(guò)對(duì)12臺(tái)高分辨率、高幀率的攝像機(jī)所拍攝的圖像進(jìn)行同步和分析，可以跟蹤球員的三維軀干模型。這使得實(shí)時(shí)分析球員的姿勢(shì)和動(dòng)作成為可能，從而對(duì)每場(chǎng)比賽進(jìn)行更精確的評(píng)估，包括投手/擊球手的發(fā)力，球和球棒的跟蹤，以及外野手和跑手的動(dòng)作。根據(jù)多年的合同，該服務(wù)可在所有30個(gè)美國(guó)職業(yè)棒球大聯(lián)盟球場(chǎng)和多個(gè)訓(xùn)練設(shè)施中使用。這些數(shù)據(jù)也將反映在美國(guó)職業(yè)棒球大聯(lián)盟的Statcast系統(tǒng)中，因此它也被使用于比賽轉(zhuǎn)播，并允許球迷在美國(guó)職業(yè)棒球大聯(lián)盟官方網(wǎng)站上查看實(shí)際數(shù)據(jù)。