2026 북중미 월드컵은 인공지능(AI)이 스포츠 방송 제작 전반에 활용된 이른바 '인공지능 월드컵'의 무대가 되고 있다. KBS는 자체 개발한 'AI 전술노트'를 현지·국내 생중계와 하이라이트 프로그램에 투입해 전술 해설과 장면 분석, 제작 효율화를 지원하고 있다. 'AI 전술노트'는 해설위원이 직접 조작하는 전술도식, 광학 문자 인식(Optical Character Recognition, 이하 OCR) 기반 선수명단 자동 등록, 생성형 인공지능 인페인팅(Inpainting) 기반 퀵 클립 캡처(Quick Clip Capture), 비전-언어 모델(Vision-Language Model, 이하 VLM) 기반 하이라이트 장면 탐색 기능을 통합한 방송 제작 도구다. 본 고에서는 그 기술 구성과 현장 적용 성과를 소개하고, 실시간 재생 중심 미디어 환경에서 방송사 인공지능 기술 내재화의 전략적 의미를 짚어 본다.
실시간 중계 스포츠는 미디어 환경이 아무리 변해도 시청자를 '지금 이 순간'으로 불러 모으는 거의 유일한 콘텐츠다. 주문형(Video On Demand, 이하 VOD) 소비가 일상이 된 시대에도 스포츠 경기만큼은 결과를 알고 보는 것과 실시간으로 지켜보는 것의 가치가 전혀 다르기 때문이다. 글로벌 OTT 사업자들이 앞다투어 스포츠 생중계에 투자하는 것도 같은 이유에서다. 넷플릭스(Netflix)는 프로레슬링 등 실시간 스포츠 이벤트를 정규 편성하기 시작했고, 애플(Apple)과 아마존(Amazon)도 주요 프로 리그의 중계권을 확보하며 전통적으로 방송사의 영역이던 스포츠 중계 시장에 본격 진입했다. 실시간 중계 중심으로 미디어 패러다임이 재편되는 가운데, 스포츠 중계는 그 경쟁의 최전선에 위치해 있다.
이러한 환경에서 2026 북중미 월드컵이 열리고 있다. 미국·캐나다·멕시코 3개국 공동 개최로 치러지는 이번 대회는 본선 참가국이 48개국으로 늘고 경기 수도 104경기에 달하는 역대 최대 규모다. 경기 수가 늘어난 만큼 중계와 하이라이트 제작의 부담 역시 사상 최대가 됐다. 동시에 이번 월드컵은 인공지능이 스포츠 방송 제작 과정에 본격적으로 활용되는 이른바 '인공지능 월드컵' 무대이기도 하다. 전술 설명부터 장면 분석, 하이라이트 클립 제작까지 중계 제작의 곳곳에 인공지능 기술이 스며들고 있다. 특히 경기 화면 자체는 모든 중계 방송사가 동일한 국제신호(International Signal, IS)를 사용하기 때문에, 중계의 차별성은 결국 해설과 전력 분석의 깊이에서 판가름 난다. 인공지능이 그 차별화의 핵심 도구로 떠오른 것이다.
KBS는 이번 월드컵을 앞두고 자체 개발한 'AI 전술노트'를 현지·국내 생중계와 하이라이트 프로그램에 투입했다. 'AI 전술노트'는 단순한 전자 전술판이 아니라, 생성형 인공지능 영상 처리 기술과 영상 이해 모델을 방송 제작 흐름에 맞게 통합한 방송 제작 도구다. 본고에서는 KBS의 대형 스포츠 이벤트 인공지능 중계 기술 개발 경험을 바탕으로 'AI 전술노트'의 기술 구성과 현장 적용 사례를 소개하고, 이러한 기술이 중계 제작 방식과 시청 경험, 그리고 방송사의 플랫폼 전략에 갖는 의미를 짚어 본다.
'AI 전술노트'는 어느 날 갑자기 등장한 것이 아니다. KBS 미디어기술연구부는 스포츠 종목별로 경기 이해를 돕는 방송 보조 도구를 꾸준히 개발해 왔다. 컬링 경기의 전략을 시각화한 '컬링노트'를 시작으로 펜싱, 수영 등으로 적용 종목을 넓혀 왔고, 이번에 그 흐름을 축구로 확장한 것이 'AI 전술노트'다. 배경에는 뚜렷한 문제의식이 있었다. 해설위원의 전술적 통찰을 시각화하는 전술 분석 그래픽은 그동안 고가의 외산 상용 솔루션에 의존하거나 여러 단계의 수작업 후반작업을 거쳐야 해서, 프리뷰·하이라이트 제작의 빠른 리듬을 따라가기 어려웠다. 이를 자체 기술로 해결하는 것이 프로젝트의 출발점이었다.
특히 2024 파리 올림픽은 중요한 전환점이었다. 연구진은 수영과 펜싱 생중계를 위한 인공지능 방송 보조 시스템을 개발해 실제 올림픽 중계에 투입했다. 방송 화면을 직접 수집·라벨링해 구축한 데이터셋으로 학습한 모델이 수영 하이앵글(High Angle) 화면을 자동 인식해 레인별 국기 그래픽 배치를 보조하고, 펜싱에서는 동전보다 작은 득점 시그널 램프를 실시간으로 분류해 화면에 확대 표시했다. 그래픽 삽입·제거의 최종 판단은 사람이 내리는 휴먼 인 더 루프(human-in-the-loop) 구조로 설계해, 빠른 화면 전환 속에서도 편집 판단의 권한을 사람에게 남겼다.
파리 올림픽 운영을 거치며 세 가지 원칙이 정립됐다. 첫째, 생방송 도구는 무엇보다 송출 안정성이 우선이다. 둘째, 인공지능은 제작진과 해설자의 판단을 대체하는 것이 아니라 반복 작업을 줄여 사람이 본연의 역할에 집중하게 하는 데 쓴다. 셋째, 현장에서 바로 쓸 수 있는 도구여야 한다. 이 원칙들은 'AI 전술노트' 설계에 그대로 적용됐다. 개발 체계 역시 파리 올림픽과 동일하게, 인공지능 모델과 추론 백엔드(Backend)를 담당하는 연구자와 운영 인터페이스·송출 시스템 개발 및 프로젝트 전반을 총괄하는 연구자가 짝을 이루는 소수 정예 구성으로 진행됐다. 대규모 조직이 아니어도 방송 현장에 실제로 투입되는 인공지능 시스템을 만들 수 있음을 보여 준 사례이기도 하다.
'AI 전술노트'는 설명은 더 직관적으로, 장면 탐색은 더 빠르게, 하이라이트 제작은 더 효율적으로 하겠다는 세 가지 목표 아래 개발됐다. 시스템은 중계석이나 스튜디오에 놓이는 운영 컴퓨터와 그 위에서 동작하는 인공지능 추론 엔진, 경기 영상을 분석하는 클라우드 파이프라인, 그리고 방송 시스템과 연결되는 송출 모듈로 구성된다. 해설위원과 제작진은 태블릿과 펜 입력으로 화면을 직접 조작한다. 그림 1은 전체 시스템의 구성과 처리 흐름을 나타낸 것이다.
설계 과정에서 가장 공을 들인 부분은 생방송 무결성이다. 생방송 중에는 어떤 조작이나 내부 오류가 발생하더라도 송출 화면이 끊기지 않도록 편집 화면과 송출 화면을 분리하고, 송출 경로에 자동 복구 장치와 상시 신호 재전송 구조를 두었다. 또한, 영상 처리 인공지능 추론은 클라우드가 아닌 현장 컴퓨터에서 직접 수행되도록 모델을 경량화·최적화해, 네트워크가 불안정한 현장 환경에서도 안정적으로 동작하도록 했다. 실제로 모든 기능은 현장 노트북 한 대에서 구동되도록 설계되어, 인터넷이 불안정한 해외 현지 환경에서도 국내와 동일한 품질의 제작이 가능했다. 표 1은 'AI 전술노트'의 주요 기능 구성을 정리한 것이다.
| 기능 | 주요 내용 | 적용 기술 |
|---|---|---|
| 전술도식 | 포메이션 배치·이동, 드로잉, 저장·호출, 교체 선수 투입 | 실시간 렌더링, 펜 입력 |
| 선수명단 자동 등록 | 선수명단 이미지에서 이름·등번호 자동 인식·등록 | OCR(광학 문자 인식) |
| 퀵 클립 캡처 | 정지 장면에서 선수 분리·재배치, 원근 보정 드로잉 | 객체 검출·분할, 생성형 AI 인페인팅, 카메라 캘리브레이션 |
| 인공지능 하이라이트 분석 | 경기 영상에서 골·파울 등 주요 장면 자동 탐지·타임라인화 | 영상-언어 모델(VLM) |
| 방송 송출 연동 | 중계 부조정실 연동, 원격지 저지연 전송 | SDI 출력, SRT 스트리밍 |
전술도식은 'AI 전술노트'의 기본 기능이다. 양 팀 선수들을 경기장 그래픽 위에 배치하고, 해설위원이 직접 선수를 움직여 가며 전술을 설명할 수 있다. 공격 방향은 화살표로, 수비라인은 선으로, 주목할 공간은 박스로 강조하는 드로잉 도구가 함께 제공된다. 미리 만들어 둔 포메이션을 저장해 두었다가 라인업 발표, 교체 이후의 변화, 특정 상황에서의 움직임 등 필요한 순간에 즉시 불러올 수 있고, 선발 선수를 경기장 밖으로 내보내고 교체 선수를 드래그해 투입하는 조작도 지원한다.
주목할 점은 이 도구의 사용 주체가 그래픽 담당자가 아니라 해설위원 자신이라는 것이다. 기존 중계 그래픽이 제작진에게 요청해 만들어 받는 것이었다면, 전술도식은 해설위원이 말하는 속도에 맞춰 화면이 따라오는 '직접 조작형' 도구다. 그림 2는 실제 운영 화면이다.
전술도식을 사용하려면 먼저 선수명단이 준비돼야 한다. 그런데 48개국이 참가하는 이번 월드컵에서 각 팀이 26명씩 선수를 등록한다고 하면 다뤄야 할 선수 정보는 1,200명이 넘는다. 이름과 등 번호, 포지션을 하나씩 입력하는 일은 방송 준비 과정에서 결코 가벼운 작업이 아니다.
'AI 전술노트'는 제작진이 준비한 선수명단 이미지를 올리면 OCR로 이름과 등 번호를 자동 인식해 등록하는 기능을 제공한다. 운영자는 인식 결과를 검수만 하면 된다. 단순해 보이지만 대회 규모가 커질수록 효과가 뚜렷해지는 기능으로, 제작진의 명단 구성 시간을 줄이고 해설진이 포메이션 준비 자체에 집중할 수 있게 한다. 그림 3은 선수명단 관리 화면이다.
퀵 클립 캡처는 'AI 전술노트'의 기술적 핵심이다. 전술도식이 가상의 전술판 위에서 이뤄지는 설명이라면, 퀵 클립 캡처는 실제 경기 화면 자체를 전술판처럼 다루면서 그 위에 실시간으로 전술 그래픽을 생성하는 기능이다. 스포츠 중계 그래픽은 보통 방송 전에 미리 제작해 두거나 정해진 템플릿에 맞춰 준비하는 경우가 많지만, 퀵 클립 캡처는 경기 장면을 보다가 필요한 순간에 정지 화면을 잡아 바로 화살표를 긋고, 수비 라인을 표시하고, 빈 공간을 강조할 수 있다.
가장 큰 특징은 생성형 인공지능 영상 처리 기술을 활용해 정지된 경기 화면 속 선수를 움직이듯 표현할 수 있다는 점이다. 내부 파이프라인은 세 단계로 동작한다. 먼저 객체 검출·분할 인공지능 모델이 화면 속 선수를 픽셀 단위로 정밀하게 분리한다. 이어 생성형 인공지능 인페인팅 모델이 선수가 서 있던 자리를 주변의 잔디와 관중석 질감으로 자연스럽게 복원한다. 이렇게 배경에서 분리된 선수는 한 장의 스티커처럼 화면 위에서 자유롭게 옮길 수 있다. 해설자가 가정하는 상황을 실제 경기 화면 위에서 시각적으로 보여줄 수 있게 되는 것이다.
또 하나의 축은 카메라 캘리브레이션(Calibration)이다. 경기장 라인 정보를 바탕으로 중계 카메라와 잔디 평면 사이의 기하 관계(Homography)를 자동 추정하는 인공지능 모델을 적용해, 화면 위에 그리는 화살표·박스·원 같은 도형이 경기장 바닥에 실제로 그려진 것처럼 원근이 보정되어 나타난다.
이 모든 인공지능 추론은 현장 운영 컴퓨터에서 직접 수행된다. 각 모델을 온디바이스 환경에 맞게 변환·최적화해 정지 장면 하나를 수 초 안에 처리하며, 덕분에 해설의 흐름이 끊기지 않는 반응성을 확보했다. 득점 장면, 압박 전환, 수비 조직의 변화처럼 즉시 설명이 필요한 순간에 그래픽을 그 자리에서 만들어 쓰는 것이 퀵 클립 캡처의 본질이다. 그림 4는 퀵 클립 캡처의 실제 운영 화면이다.
퀵 클립 캡처는 녹화된 영상뿐 아니라 진행 중인 방송에서도 동작한다. 중계 신호를 입력받는 동안 필요한 순간의 장면을 실시간으로 캡처해 곧바로 클립으로 만들 수 있고, 특정 시점을 기준으로 앞뒤 구간을 잘라 저장하는 클립 생성 기능도 갖췄다. 여기에 경기 일정에 맞춘 예약 녹화 등 편의 기능을 더해, 제작진이 방송 중에도 별도의 준비 없이 장면 분석과 클립 제작을 이어 갈 수 있도록 했다.
월드컵처럼 경기 수가 많은 대회에서는 필요한 장면을 다시 찾는 데에도 적지 않은 시간이 든다. 'AI 전술노트'에 경기 전체 영상을 올리면, 영상을 이해하는 VLM 기반의 클라우드 분석 파이프라인이 골, 슈팅, 파울, 카드 등 주요 이벤트를 자동으로 탐지해 타임라인 위에 표시해 준다.
제작진이나 해설진은 타임라인에서 필요한 장면을 클릭해 바로 열어 보고, 그 장면을 곧바로 퀵 클립 캡처의 소재로 활용할 수 있다. 전체 영상을 되감아 뒤지는 대신 인공지능이 찾아 놓은 장면에서 출발하는 것이다. 장면 탐색이라는 반복 작업을 인공지능이 흡수하면서 중계·하이라이트 프로그램의 제작 준비 시간을 줄이는 데 기여하고 있다. 그림 5는 인공지능 색인 기능이 적용된 실제 운영 화면이다.
방송 도구는 방송 시스템과 연결되어야 비로소 완성된다. 'AI 전술노트'는 SDI(Serial Digital Interface) 신호 출력과 SRT(Secure Reliable Transport) 실시간 재생을 모두 지원해 중계 부조정실과 직접 연동된다. 운영자가 보는 편집 화면과 실제 송출 화면을 분리해, 편집 중의 조작이나 일시적 오류가 생방송 화면에 노출되지 않도록 설계했다. 그림 6은 프로그램의 송출 경로 설정 화면이다.
특히 이번 월드컵은 현지에 별도의 방송센터가 마련되지 않아 현지 신호를 실시간으로 한국까지 전송하는 데 어려움이 있었다. 빠듯한 대회 준비 일정 탓에 기존 방식의 전용회선을 확보하기도 어려운 상황이었다. KBS는 제작기술 부서와의 협업 아래 SRT 기반 저지연 전송 시스템을 자체 구축해, 제한된 현지 인터넷 환경만으로 멕시코 현지와 서울 사이의 전송 지연을 1~2초 수준으로 줄였다. 그 결과 현지 중계석에서 'AI 전술노트'를 생방송에 직접 활용하면서 방송 품질의 영상을 끊김 없이 국내로 전송할 수 있었다. 중계 부조정실뿐 아니라 원격지 생방송 환경까지 고려한 반응성과 안정성은 개발 단계부터 최우선 요구사항이었다.
'AI 전술노트'는 이번 월드컵에서 대한민국 대표팀의 첫 경기부터 실전에 투입됐다. 현지 해설위원이 현지 중계석에서 생방송 중에 직접 'AI 전술노트'를 조작하며, 포메이션 화면에서 선수를 움직여 전술 흐름을 짚고 경기 상황을 예측하는 데 활용했다. 해설자가 스스로 도구를 다루며 설명한다는 점에서, 제작진이 그래픽을 '만들어 주던' 기존 중계와는 다른 장면이 만들어졌다.
생중계뿐만이 아니다. 'AI 전술노트'는 사전 전력 분석 코너, 그리고 평일 저녁 KBS 2TV 하이라이트 프로그램 <북중미 월드컵 NOW>의 하이라이트 분석 코너까지 대회 기간 내내 서로 다른 제작 환경을 관통하며 활용되었다. 전술도식으로 예상 라인업과 양 팀의 전술 맞대결을 짚고, 퀵 클립 캡처로 실제 경기 장면에서 왜 골이 나왔는지, 수비가 어디서 흔들렸는지, 어떤 선수가 공간을 만들었는지를 심층 분석하는 식이다. 이렇게 제작된 분석 코너는 유튜브 클립으로도 확장되어 디지털 플랫폼에서도 시청자를 만나고 있다. 그림 7은 실제 중계방송 화면이다.
수작업으로는 수 시간이 걸리던 장면 분해·합성 작업을 현장에서 짧은 시간 안에 처리할 수 있게 되면서 제작 효율이 크게 높아졌고, 대회 전 기간 방송 사고 없이 운영되며 생방송 도구로서의 안정성도 확인됐다.
'AI 전술노트'의 경험은 중계 제작 방식이 변화하는 방향을 보여준다. 핵심은 '사전 제작'에서 '현장 생성'으로의 이동이다. 방송 전에 만들어 둔 그래픽을 정해진 순서로 내보내는 방식에서, 경기의 흐름에 반응해 필요한 그래픽을 그 자리에서 만들어 쓰는 방식으로 무게중심이 옮겨 가고 있다. 이 변화를 가능하게 하는 것이 인공지능이다. 선수 분리, 배경 복원, 명단 입력, 장면 검색 같은 반복 작업을 인공지능이 흡수하고, 사람은 어떤 장면을 어떻게 설명할지의 판단에 집중한다. 파리 올림픽에서 확인한 휴먼 인 더 루프 원칙은 축구에서도 유효했다. 인공지능이 화면을 만들지만, 무엇을 보여줄지 결정하는 것은 여전히 해설자와 제작진이다.
또 하나 강조하고 싶은 것은 기술 내재화의 가치다. 'AI 전술노트'는 외부 상용 솔루션을 도입한 것이 아니라 방송사 내부 연구 조직이 직접 개발했다. 그 덕분에 해설위원과 제작진의 요구를 대회 기간 중에도 즉시 반영할 수 있었고, 자사의 중계 제작시스템과 송출 인프라에 깊게 통합할 수 있었다. 생방송 제작기술이 방송사의 핵심 역량으로 부상하는 시대에 현장의 요구를 이해하는 조직이 기술을 직접 만들고 운용하는 역량은 그 자체가 경쟁 자산이다.
시청자 관점에서 이 기술은 해설의 '검증 가능성'을 높인다. 말로만 전달되던 가정이 실제 경기 화면 위에서 눈으로 확인되는 순간, 전술 해설은 주관적 의견에서 시각적으로 공유되는 분석으로 바뀐다. 이는 경기를 깊이 있게 즐기려는 시청자의 요구에 부응하는 것이면서, 중계 콘텐츠 자체의 밀도를 높이는 일이기도 하다. 나아가 이렇게 만들어진 분석 장면은 유튜브 클립처럼 방송 이후 숏폼·디지털 콘텐츠의 소재로 자연스럽게 이어진다. 생방송에서 생성된 콘텐츠가 플랫폼을 넘나들며 재활용되는 구조는 방송사가 OTT·디지털 플랫폼과 경쟁하는 환경에서 콘텐츠 생산성을 높이는 실질적인 수단이 된다.
글로벌 OTT가 막대한 자본으로 스포츠 중계권을 확보해 가는 경쟁은 앞으로 더 치열해질 것이다. 그러나 스포츠 중계의 경쟁력이 '누가 트는가'에서 '누가 더 잘 보여주고 잘 설명하는가'로 옮겨 갈수록, 수십 년간 축적된 방송사의 제작·해설 역량과 그것을 증폭하는 인공지능 도구의 결합이 차별화의 원천이 된다. KBS는 컬링에서 시작해 수영·펜싱을 거쳐 축구까지 이어 온 종목별 인공지능 중계 도구 경험을 바탕으로, 앞으로도 방송 현장에서 바로 쓰이는 기술, 방송을 더 쉽게 만들고 시청 경험을 더 생생하게 만드는 기술을 계속 개발해 나갈 것이다. 이번 월드컵의 'AI 전술노트'는 그 여정의 중간 결산이자, 생방송 중심 미디어 시대에 방송 기술이 나아갈 방향을 보여주는 하나의 이정표다.