HDR10+

2017년 4월 20일 삼성과 아마존 비디오를 주축으로 개발된 표준이자, 기존 HDR10의 단점을 보완한 표준.

디스플레이 장치의 진화에 따라 더 넓고 풍부한 명암(HDR) 및 색상 표현력(10-bit)을 가진 고품질의 디바이스들이 출현하고 있다. 이러한 새로운 디스플레이 기술을 효과적으로 활용하기 위한 노력의 일환으로 HDR(High Dynamic Range, 하이 다이내믹 레인지) 영상 전송을 위한 신규 기술 표준들이 등장하고 있는데, 그 중 기본이 되는 표준이 2015년 8월 27일에 발표된 HDR10 표준이다.

이러한 급속한 기술 발달의 부작용으로서 영상 제작, 배포 및 표시 장치 영역에서 각 사업 주체의 이해 관계가 충돌하면서 다양한 기술적 부정합이 나타나게 되었으며, 그 결과 HDR 분야에 대한 불필요한 시장의 오해가 발생하게 되었다. 특히 HDR 영상은 동일한 영상이라 할지라도 사용되는 재생 장치에 따라 출력 품질에 큰 편차가 존재하는데, 이는 HDR10의 근본적인 기술적인 제약 사항에 기인하는 측면이 있다.

HDR10+는 HDR10의 진보된 버전으로서 보다 다양한 디스플레이 장치에 대해 보다 일관성 있는 영상 품질을 제공하는 것을 목적으로 연구 되었다. #

기존 HDR10 기술은 메타데이터를 통해 알 수 있는 정보가 제한적이라는 근본적인 제약 사항이 존재하는 바, 서로 다른 특성의 디스플레이 장치에서 일관적인 느낌의 영상 출력을 기대하기 어렵다.

HDR10+는 씬별 최적화된 픽셀 통계 데이터를 기본 정보로 제공하고, 옵션 데이터로 씬별 최적화 된 레퍼런스 톤매핑 커브를 제공한다. 이러한 정보는 다양한 특성의 디스플레이 장치에서 원본 마스터 영상의 느낌을 일관되게 표시하는 과정에 활용된다. 또한, HDR10+ 에만 존재하는 고유한 특성 중 하나인 Knee Point 는 저계조 영역에 대해 원본의 밝기를 변환 없이 그대로 표시해야 하는 밝기 구간을 정의할 수 있도록 한다. 이를 통해 특정 밝기 구간의 암부 영상이 일반 디스플레이에서 마스터링 모니터와 똑 같은 밝기로 표시되도록 설정하고 싶은 경우, 이러한 동작을 강제할 수 있는 방법을 창작자에게 제공한다.

HDR10+ 지원 디스플레이는 영상 신호에 들어 있는 각각의 프레임들을 HDR10+ 메타데이터와 연계하여 처리한다. 이를 통해 해당 디스플레이 디바이스에 최적화 된 톤매핑 절차를 프레임별로 각각 적용할 수 있다. 다음은 시스템 구성의 한 예를 나타낸다.

톤매핑은 원영상의 최대 밝기가 디스플레이 장치의 최대 밝기 표현 능력을 넘어서는 경우에 수행된다. 일단 HDR10+ 영상이 디스플레이 장치로 전송되면, 디코더는 영상 신호와 HDR10+ 메타데이터를 추출한다. 추출된 각각의 데이터는 뒤 단의 비디오 파이프라인을 따라 흘러가면서 처리 된다. 만약 디스플레이 장치가 HDR10+ 메타데이터를 처리하지 못하면, HDR10+ 메타데이터는 버려 진다. 이러한 과정은 다른 ITU-T T.35 표준 기반 메타데이터의 처리 과정과 다르지 않으며, 이 때 디스플레이 장치는 HDR10 규격에 정해진 규정에 따라 영상 표시 절차를 제어하게 된다.

다이내믹 메타데이터 방식은 풍부하고, 정확하고, 깊은 심도의 영상미를 구현한다. 또한 이것은 다시 말해 영화나 드라마에서, 주인공들의 얼굴 표정과 주변 사물들이 또렷하게 보이고, 영상의 느낌이 보다 정확하고 실감나게 시청자에게 전달된다는 의미로 해석 가능하다.

다음은 기존의 HDR 기술과 대비하여 HDR10+ 을 통해 기대 되는 화질 측면의 사용자 이점 일부를 정리한 것이다.

좌측 이미지: HDR10+는 감마 커브 또는 S-커브 대비 보다 높은 자유도의 커브를 정의할 수 있다. 또한 하나의 영상에 대해 디스플레이 종류 별로 복수개의 커브를 정의할 필요가 없다. 예를 들어 마스터링 단계에서 설정된 암부의 디테일이 톤매핑 과정에서 종종 뭉개지는 경우가 발생하는데, 이것은 톤매핑 커브의 자유도가 낮은 것과 관련이 있다. 즉, 커브 형태에 대한 제어점 수가 적으면, 다양한 밝기 영역에 대한 톤매핑 규칙을 독립적으로 제어하는 것이 어려워 지게 된다. 이러한 커브 형태의 제약을 극복하기 위해 S-커브와 같이 자유도가 낮은 커브 기반의 톤매핑 기술 사용 시 창작자는 디스플레이별로 여러 벌의 커브를 정의하고 각각 검증해야 하는 어려움을 겪게 되는 경우가 발생할 수 있다.

우측 이미지: HDR10+는 원작자의 창작 의도를 최대한 왜곡 없이 전달한다. 특히 Knee Point 구간 내의 영상은 톤매핑을 하지 않고 원본 그대로 표시 되기 때문에 저계조 영상에 대해 원작자의 창작 의도와 느낌을 100% 왜곡 없이 전달할 수 있다.

좌측 이미지: 톤매핑 과정에서 밝기 변경될 때 색좌표 값의 변경이 수반된다. 이 때 적절한 색보정 절차가 없다면 색감의 왜곡이 발생할 수 있다.

우측 이미지: HDR10+는 톤매핑 수행 시 각각의 색 요소를 일관성 있게 조절하도록 구현함으로써, 상술한 색감 왜곡 문제를 방지하면서도 밝기 조정을 효과적으로 처리한다.

좌측 영상: 계단 현상은 톤 커브에 불연속이 존재할 경우 흔히 나타나는 문제이다. 톤 커브의 급격한 증감이나, 기울기 변화에 의해 이러한 계단 현상이 나타날 수 있다.

우측 영상: HDR10+의 톤매핑 커브는 연속적인 단조 증가 함수이면서, 그 기울기 또한 전 구간에 대해 연속적인 것이 수학적으로 증명되어 있다. 그 결과 씬 별 픽셀 통계치에 기반해서 만들어 지는 HDR10+ 톤매핑 커브는 계단 현상이 없고, 주요 밝기 영역에 대해 원본 영상의 느낌을 또렷이 전달하게 된다.

좌측 영상: 영상의 고휘도 성분은 톤매핑 과정에서 쉽게 뭉개질 수 있다. 넓은 영역에 걸쳐 있는 고휘도 구간의 픽셀들을 좁은 밝기 영역으로 과도하게 톤매핑 하게 되면, 이 구간에 존재하는 밝은 픽셀들은 뭉개지고 합쳐져 그 세부적인 내용이 사라지게 된다.

우측 영상: HDR10+ 메타데이터는 씬별 픽셀 통계를 기반으로 만들어 진다. 따라서 톤매핑 커브는 씬에 존재하는 가장 밝은 픽셀들의 밝기 값 및 분포까지도 감안하여 만들어 진다. 따라서 가장 밝은 구간에 존재하는 픽셀들도 시각적으로 최대한 서로 구분될 수 있도록 매핑되어 디스플레이 장치의 최대 밝기 바로 아래의 일정 구간에 서로 구분되어 표시될 수 있도록 제어 된다.

HDR10+ 메타데이터는 ITU-T T.35 표준에 따르며, 다른 종류의 HDR 기술(예: HDR10 고정식 메타데이터 등)을 위한 메타데이터와 하나의 파일에 공존할 수 있도록 설계되었다. 그 결과 HDR10+ 영상 데이터는 HDR10+ 비호환 장치에 대해 하위 호환성을 보장한다.

프로덕션 절차 및 장비와 무관하게 HDR10+는 최대 10,000 cd/m2 의 밝기와 8K 해상도 그리고 BT.2020 색공간을 지원한다. 또한 HDR10+ 메타데이터 규격은 픽셀 해상도와 독립적으로 SMPTE ST 2084 전달 함수를 기반으로 설계 되었기 때문에 단 하나의 해상도에 대해 메타데이터를 생성한 뒤 이것을 다른 해상도에 별도의 변환 없이 확장 적용할 수 있다.

HDR10+는 HEVC와 VP9 뿐 아니라 ITU-T T.35 메타데이터 규격을 만족하는 그 어떤 비디오 코덱에도 적용 가능하도록 설계 되었다.

HDR10+는 로열티가 없다. 영화사든, 영화 제작사든, 디스플레이 및 기타 장비 제조사든 Adopter 계약만 맺으면 누구에게나 무료로 제공되며, 표준 포스트 프러덕션 툴과 호환된다. HDR10+ 표준 기술은 영상의 특징을 기술하는 가변 메타데이터 기술과 이를 기반으로 구축되는 에코 시스템 기술을 통해 씬별 최적의 HDR 화질을 구현하기 위한 방법을 제공한다. HDR10+ 로고를 사용하기 위한 표준 규격은 HDR10+ Technologies LLC에 의해 정의되며 아래 예시로 든 제품 관련 업체들을 포함한 모든 사업자들에게 제공될 수 있다.

HDR10+는 HDR10 마스터 파일과 현존하는 HDR 포스트 프로덕션 및 배포 환경을 그대로 활용할 수 있게끔 설계 되었다.

VOD향 또는 오프라인 워크플로우에서 HDR10+ 메타데이터는 포스트 프로덕션 혹은 마스터링 단계에서 생성된다. HDR10+ 메타데이터 생성 과정은 아래 2 단계로 구성된다.

HDR10+ 메타데이터는 JSON 포맷으로 구성된 텍스트 파일의 형식으로 간단히 저장, 참조, 처리된다. 영상 파일에 삽입된 HDR10+ 메타데이터는 표준 툴을 통해 손쉽게 추출, 재삽입 및 가공될 수 있다.

스트리밍 서비스를 위해 영상 압축 혹은 트랜스코딩이 실시간으로 수행되는 서버 단에서도 HDR10+ 메타 데이터를 생성하는 것이 가능하다. 이러한 실시간 메타데이터 생성 과정을 “Live” 인코딩이라고 한다.

HDR10+ 메타데이터는 기본적으로 매 프레임마다 각각 정의되며(만약 하나의 씬에 2장 이상의 프레임이 포함되면 이들 각각의 프레임에는 동일한 값의 HDR10+ 메타데이터가 반복 적용된다.), 이러한 문법적 특성은 전술한 “Live” 인코딩을 고려한 것이다.

현재 HDR10+ 메타데이터를 실시간 생성하는 HEVC encoder장비와 동영상 촬영 중 실시간으로 HDR10+ 메타데이터를 생성하는 스마트폰 제품이 시장에 나와 있다. “Live” 인코더 장비가 HDR10+ 메타데이터를 자동으로 생성하도록 구성된 실시간 방송 환경에서 방송국은 HDR10+ 서비스를 위해 별도의 메타데이터 생성 작업을 수행할 필요가 없다.

HDR10+
HDR10+ 관련 컨소시움 연합인 HDR10+ Technologies LLC는 HDR10+ 기술의 라이센싱과 인증 프로그램 운영을 담당한다. HDR10+ Technologies LLC의 궁극적인 목적은 HDR10+ 기술을 통해 보다 나은 영상 시청 경험을 확산시키는 것이다. HDR10+ Technologies LLC는 기술 표준과 인증 시험 규격을 제정한다. 또한 HDR10+ Technologies LLC는 적합성 인증을 위해 특별히 허가된 제3의 사업자를 통한 인증 프로그램을 운영하고 있다.

영상 제작사, 영상 판매 사업자, 디스플레이 및 영상 유통 장비 제조사, 시스템 온 칩(SoC) 제조자, 영상 가공 툴 개발사를 포함하는 HDR 분야 이해 당사자는 누구든 HDR10+ 라이센싱 프로그램에 참여할 수 있다. HDR10+ Adopter 프로그램에 참여하고 있는 최신 업체 리스트는 아래 URL을 통해 확인 가능하며 https://hdr10plus.org/adopters/, 공식 인증받은 디바이스 리스트는 다음 링크를 통해 확인 가능하다. https://hdr10plus.org/certified-products/

또한, HDR10+ Adopter 프로그램 가입을 위한 절차는 (https://hdr10plus.org/registratioin)을 통해 진행할 수 있으며, 기타 HDR10+ 관련 추가 정보는 HDR10+ Technologies LLC 홈페이지인 ([email protected])을 통해 입수 가능하다.

본 문서의 영문판은 https://hdr10plus.org/wp-content/uploads/2019/08/HDR10_WhitePaper.pdf 에서 다운로드 받을 수 있다.