AI가 GPU와 서버를 사용해 스포츠 광고 독점에 맞서 싸우는 방법

즉시 배포 가능한 GPU 서버 또는 전문가 수준의 NVIDIA Tesla H100/H100 80Gb 또는 RTX A5000/A4000 카드를 사용한 맞춤형 구성 의 서버를 임대하세요. 게임 RTX4090 카드 가 장착된 GPU 서버 도 사용할 수 있습니다.

오늘날 스포츠 이벤트에는 스크린 광고부터 경기장 광고판의 정적인 회사 로고에 이르기까지 광고가 넘쳐납니다. 전파는 브랜드와 광고법이 다른 여러 국가에 걸쳐 있습니다. AI와 AR 기술의 획기적인 발전 덕분에 경기 생중계 중에 각 관중에게 직접 표시되는 정보를 맞춤화하는 것이 가능해졌습니다.

스포츠 경기장에서의 광고는 처음에는 정적이었고 특정 도시의 특정 행사에 참석하는 사람들을 대상으로 했습니다. 나중에 LED 화면이 나타나 광고가 번갈아 표시되었습니다. 다음 진화는 광고판의 지점에 녹색 화면을 몇 초 동안 삽입하여 AI가 공간을 정의하고 고유한 텍스트를 삽입할 수 있도록 하는 것이었습니다.

요즘에는 무엇이든 무엇이든 바꿀 수 있습니다. 문제는 교체가 신중하고 현실적으로 이루어지도록 하는 것입니다. 이 시장의 주요 업체들은 특수 카메라를 사용합니다. 사진을 통해 위치 및 정렬 정보를 식별하는 특수 센서가 있다는 결론을 내릴 수 있습니다. 즉, 널리 사용되는 솔루션에는 여전히 목발이 내장되어 있습니다.

입력과 원본 방송이 전문 소프트웨어를 통해 온라인으로 처리되기 때문에 이 모든 작업에는 막대한 컴퓨팅 성능이 필요합니다. 즉, 컴퓨팅을 위한 서버가 카메라와 센서에 연결된다. 이 장비는 비싸고, 시장도 폐쇄되고, 기술도 폐쇄됐다. AI와 클라우드 GPU 서버가 구출되는 곳입니다.

비용이 많이 들고 정적이며 모든 사람에게 적합한 것은 아닙니다.

HOSTKEY에는 클라이언트라는 스타트업이 있습니다. PTF 연구실 는 다중 지역 모드에서 가상 광고를 구현하고 디지털 콘텐츠(예: 증강 현실)를 통합하기 위한 자체 기술을 개발했습니다. 그리고 그들의 솔루션은 광고를 비디오 스트림에 직접 원활하게 (그리고 뼈대 없이) 통합할 것을 약속합니다.

얼마 전 그들은 ODS(Open Data Science) 커뮤니티에서 HOSTKEY에 대한 정보를 보고 클라우드 용량이 필요할 때 우리에게 연락하여 우리의 서비스, 가격 및 사용 가능한 옵션의 유연한 라인업에 감사했습니다.

스타트업의 목표는 고귀하고 이해 가능하며 달성 가능합니다.

1. 값비싼 독점 장비와 복잡한 설정에서 벗어나 광고 배치와 프레임 구성 작업을 프레임 내 겹치는 사람과 사물을 고려하는 인공지능으로 전환합니다.
2. 그렇게 함으로써 상대적으로 작은 이벤트(예: 경기장 싸움 등)를 다루고 기술을 대중에게 가져올 수 있습니다.
3. 궁극적으로 스포츠 광고는 접근 가능하고 상대적으로 저렴해야 합니다.

또한 스타트업은 유연성 측면에서 거대 독점 기업이 제공하는 솔루션을 능가한다는 야심찬 목표를 세웠습니다. 예를 들어, 재생 중에 "가상 광고"를 표시하고 특정 각도뿐만 아니라 모든 카메라의 각도를 사용할 수 있습니다.

어떻게 작동하나요?

스포츠 행사장의 비디오 신호는 경기장 자체뿐만 아니라 클라우드에서도 컴퓨팅 성능을 사용하여 처리할 수 있습니다. 이를 통해 다양한 시장을 고려하여 유연한 로드 분배와 광고 적용 시기(방송 전 또는 방송 중)를 선택할 수 있습니다. 또한 클라우드 서비스를 사용하면 서버를 가져올 수 없는 위치에서도 광고를 사용할 수 있습니다(원칙적으로 더 편리함).

객체 분할은 U-Net의 신경망 아키텍처를 기반으로 합니다. 신경망은 객체의 위치를 파악하고 핵심 포인트를 비교하는 역할을 담당합니다. 그러나 작업은 간단하지 않기 때문에 모든 솔루션과 신경망을 사용하기 위해 재작업하고 훈련해야 했습니다. 광원, 그림자, 카메라 각도, 스폰서 로고와 겹치는 그리드, 선수와 심판의 신체 등 사진의 관점에서 문자 그대로 모든 것을 예측할 수 없는 무술 방송에서는 특히 어렵습니다.

신경망은 모든 곳에서 사용되지 않습니다. 때로는 문제를 해결하기 위해 독창성을 보여주고 간단한 알고리즘을 사용하는 것만으로도 충분합니다. 예를 들어, 추적 알고리즘은 신경망 방법과 선형 및 비선형 방정식 시스템을 결합합니다.

분할은 GPU의 상당 부분을 차지합니다. 프레임 안의 사람과 물체를 더 잘 감지하고 계획과 유형에 따른 분리가 구현될수록 프레임이 광고 오버레이를 더욱 자연스럽고 매력적으로 보이게 됩니다.

별도의 작업은 조명 및 그림자와 관련되어 있으며 장면을 렌더링할 때 증강 현실에서 고려해야 합니다. 그림자의 사실성은 그림의 "신뢰성"을 평가하는 핵심 요소입니다.

전통적으로 스포츠 신경망은 사람의 표시와 합성 모델을 사용하여 실제 방송에서 훈련되었습니다. 여기서 블렌더가 구출됩니다. 이 회사는 링, 선수 및 심판의 3D 모델을 구축하고 직각 및 분할 마스크 또는 훈련에 필요한 개체 및 카메라의 위치에서 실제 영상을 렌더링합니다. 실제 데이터의 마크업은 시간이 많이 걸리고 비용이 많이 들지만 특정 장소나 대회 유형에 대해서는 품질이 높습니다. 현실성이 떨어지는 합성 데이터는 훈련을 위한 더 많은 데이터를 제공합니다.

가장 큰 어려움은 장소가 다를 수 있다는 것입니다. 어떤 경우에는 로프가 달린 복싱 링이 될 것이고, 다른 경우에는 메쉬 벽이 있는 경기장이 될 것이며 각각은 분할에 어려움을 겪습니다.

카메라 추적 및 광고 위치는 장소의 3D 모델의 포인트 클라우드와 프레임의 실제 위치를 비교하여 결정됩니다. 이를 통해 혼란스러운 움직임이 있는 수동 카메라의 경우에도 위치를 결정할 수 있습니다. 2D에서 3D 프레임을 재구성(필요한 각도 결정)한 후 3D 엔진에서 광고를 직접 렌더링하고 비디오 방송 프레임과 결합합니다.

작업을 시작하기 전에 3D 장면을 구축해야 하며 실제로 프레임에 장소의 가상 복사본이 있으며 렌더 마스크를 통해 실제 사람과 물체를 그 안에 넣습니다. 복잡해 보이지만 적절한 성능과 최적화된 신경망을 사용하면 이러한 공중제비를 즉각적이고 원활하게 수행할 수 있습니다.

프로젝트에 GPU 컴퓨팅 및 서버 임대가 필요한 이유는 무엇입니까?

PTF Lab에는 자체 서버가 있지만(앞서 대회장 현장에서 사용할 가능성에 대해 언급했습니다), 서비스 제공업체의 엔지니어가 장비 가용성을 담당하고 회사에서 할당하므로 원격 리소스를 사용하는 것이 더 편리합니다. 이에 대한 리소스가 적습니다. 그리고 고객은 자신의 지갑과 비용 효율적인 옵션을 사용하여 투표하는 것이 항상 바람직합니다.

또한 기업이 요구하는 역량도 지속적으로 증가하고 있습니다. 필요한 경우 추가 임대를 통해 쉽게 확장할 수 있습니다(회사의 요구에 맞게 서버 구성을 변경하는 것까지 포함).

미래에는 스타트업에 많은 클라우드 용량이 필요할 수도 있습니다. 서비스 수요가 증가하거나 감소할 때 물리적 서버를 사고 파는 것보다 임대하는 것이 더 쉽습니다.

임대 서버 및 GPU 용량은 현재 다음 영역에서 사용되고 있습니다.

1. GPU를 통한 신경망 훈련(스포츠 방송에서 사람과 기타 물체의 분할, 3D 가상 카메라 추적)
2. 데이터 백업(이벤트, 데이터세트 등의 비디오)
3. 회사의 소프트웨어가 원격 서버에 배포되고 비디오 신호가 이를 통해 흐르는 비디오 테스트 클라우드 제작 작업의 직접적인 프로세스입니다. 입력 - 그래픽 없음, 출력 - 그래픽이 있는 하나 이상의 신호.

HOSTKEY의 자체 컴퓨팅 성능 외에도 스타트업은 현재 다음 GPU 구성을 활용하고 있습니다.

• AMD Ryzen 9 5950X 3.4GHz(16코어)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
• Xeon E3-1230 3.2GHz(4코어)/16Gb/2x12Tb HDD/PSU]
• AMD Ryzen 9 5950X 3.4GHz(16코어)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU+HDMI 에뮬레이터]
• AMD Ryzen 9 5950X 3.4GHz(16코어)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
• AMD EPYC 7402P 2.8GHz(24코어)/384Gb/2x1.92Tb U3 NVMe SSD/4xRTX 4090+2xPSU]

보시다시피 대부분의 GPU 솔루션은 RTX4090/3090을 기반으로 임대되지만 컴퓨팅 성능 요구 사항이 증가함에 따라 스타트업은 24시간 연속 실행 시 더 나은 안정성을 제공하는 보다 강력하고 전문적인 카드를 갖춘 서버에 대한 옵션을 원합니다. 7 작동. 3090의 경우 같은 A5000을 렌트하는 것이 더 저렴할 수도 있습니다.

PTF Lab은 여정의 시작 단계에 있지만 그 결과는 이미 유망하며 HOSTKEY에서는 특히 스포츠 증강 현실의 독점 극복 측면에서 성공과 성장을 기원합니다. 재치 있는 다윗은 항상 서투른 독점 골리앗을 물리칩니다.

PTF Lab 동료들에게 궁금한 점이 있으시면 댓글로 편하게 질문해주세요.

즉시 배포 가능한 GPU 서버 또는 전문가 수준의 NVIDIA Tesla H100/H100 80Gb 또는 RTX A5000/A4000 카드를 사용한 맞춤형 구성 의 서버를 임대하세요. 게임 RTX4090 카드 가 장착된 GPU 서버 도 사용할 수 있습니다.