스트림 편집 (Editing Steam)

인코더 (encoder)에서 제공되는 TS-chunk 정보를 바탕으로 실시간으로 다른 버전의 full VOD 혹은 비디오 클립을 생산할 수 있습니다.
즉, 실시간 방송을 위해 입수되고 있는 (ingest) 스트림 (stream)의 일부 정보를 편집 환경으로 옮겨 제작 속도를 더 높이는 방법입니다.   
이 기능은 라이브 스트림의 input와 output을 완전히 컨트롤 할 수 있어야 하며 인코더에 대한 높은 컨설팅을 필요로 하지만
콘텐츠 소비 패턴이 다양해지고 주기가 점점 짧아지는 최근 환경에서는 빠른 유통 배포를 위해 유효하게 활용될 수 있습니다.   

(방송관점에서의 비디오 콘텐츠의 일반적인 관리 흐름입니다. ) 

미디어, 콘텐츠 방송 업계 역시 디지털 트랜스포매이션 (digital transformation) 이 매우 활발하게 진행되는 산업 분야이며 기존 특정 장소와 위치, 컴퓨팅 환경에서
진행되던 편집 작업은 이미 클라우드 기반 웹 편집기 (Web-NLE)로 마이그레이션 되고 있습니다.  HTML 5 기반 웹 편집에서도 오프라인과 동일하게 
프레임(frame)단위로 clipping/merging등의 편집 기능을 기본으로 요구합니다. 또한, 기존 NLE과의 콘텐츠 협업 체계를 위한 업/다운로드 연동 역시 중요해지고 있습니다. 

보통 동영상 편집기가 가지는 기본 기능은 다음과 같으며, 실시간 방송 혹은 스트림의 녹화(콘텐츠 생성단계) 에서 콘텐츠 편집 (재가공), 콘텐츠 변환(트랜스코딩),
콘텐츠 배포 송출의 워크플로우가 빠르게 정확하게 진행되어야 하며, 모든 단계가 일관성 있게 연결되어야 합니다. 

  • 동영상, 이미지 음원, 자막 편집 및 합성 

  • 실시간 동영상 및 기존 VOD 검색 선택.  

  • 클립 영상 생성 

  • 음원 변경 

  • 메타데이터 등록, 편집  

  • 편집 효과 임시 저장 

  • 썸네일 (thumbnail) 추출 

방송 스트림 녹화와 실시간 편집 

보통 실시간 라이브 스트림은 1분단위 고화질 TS-chunk 파일로 저장되면서 PGM (Program) 단위의 Full VOD 로 저장되며 유통 플랫폼에서 원본 콘텐츠 자산이 됩니다. 

  • 일부 duration과 frame 보정 작업이 더해질 수 있으며, 유통 원본 파일은 멀티 프로파일 (multi profile)로 트랜스코딩 됩니다. 

  • 해당 파일은 공중파 신호 품질 다음으로 영상 품질이 우수합니다. (메자닌 파일 -mezzanin file 이라고도 합니다. )  

  • 향후 클립 VOD의 소스가 되며,  Web NLE (Non-Linear Editing)에서 운영자에 의해 새로운 클립들을 생산하게 됩니다. 

    • 이외 썸네일 (thumbnail), 대표이미지 추출, 리사이징 (resizing), 크롭 (cropping) 등의 작업이 병행됩니다. 

이와 같은 워크플로우는 유통 플랫폼이 제공하는 API를 통해 편성.운영 로직을 만들어 루틴하게 적용할 수 있는데, 생산 속도 역시 라이브 스트림 단계의 장점 중 하나는 콘텐츠 생산속도 입니다. .  

  • 보통 입수되는 RTMP 스트림은 사전에 지정된 길이 (duration)에 따라 chunk된 파일로 저장됩니다. (왼쪽 이미지)

  • 이 정보들을 비디오 편집 UI로 전환하여 먹싱 (muxing) 할 경우 타임라인 기준 각 프레임별 이미지와 영상장면을 확인할 수 있습니다. (오른쪽 이미지) 

  • 특정 위치를 선택하여 실시간으로 편집하여 또 다른 용도의 콘텐츠를 만들 수 있습니다. 

보통 원본 VOD가 전부 업로드 되고 나서 편집이나 재가공 작업을 할 수도 있지만, 최근 트렌드는 본방송 이후 1시간 이내에 재방송 분이 
다른 유통 플랫폼으로 배포되는 것이 일반적입니다. 또한 본 방송 내에서 어떠한 이유로 인해 특정 장면을 삭제하거나 광고를 삽입하는 등의 
편집 작업이 필요한 상황도 발생합니다. 

이런 경우 본 방송의 인코딩이 완료되지 않은 시점에서 특정 구간을 편집할 수 있는 기능이 필요하며, TS 파일을 기반으로 On Air 방송 영상을 실시간으로 편집하여
MP4파일로 실시간 변환 저장합니다. 실시간 방송을 수신하는 인코더와 영상 편집 시스템간 연동이 매우 중요하며 모든 컴포넌트는 cloud, hybrid, on-premise 타입으로 
연동이 가능합니다

  1. On Air 방송 편집 대상을 검색하여 인코더에 요청.

  2. 실시간 인코딩 중인 스트림 내 특정 구간까지를 요청하며 해당시점까지의 TS파일정보를 제공받음.  

  3. 편집 작업 및 완료. 

  4. 편집 구간 클립영상 생성, 편집 후 트랜스코딩 없이 실시간으로 파일 변환. 

  5. Loomex와 통합 CMS에서 인코딩된 영상원본 프로그램과 편집 클립영상을 매핑, 연계함. 

이러한 라이브 스트림 편집 기능은 서비스 도입 시 컨설팅을 통해 DVR이나 타임머신 혹은 Live DVR 등의 시청자 용 기능으로 확대될 수 있습니다. 

실제 특정 구간을 제거하는 편집 작업이 ( 실제 광고를 제거하거나 다른 광고를 삽입하는 경우) TS -Chunk 단계에서 진행될 수도 있습니다.  
입수된 방송 스트림의 인코딩이 완료되지 않은 시점에서 송출된 구간 중 특정 영상, 광고를 편집하는 기능 역시 동영상 편집 단계에서 구현됩니다.
이 과정의 산출물은 본 방송 완료 후 트랜스코딩하는 과정 없이 해당 TS파일을 MP4로 실시간으로 변환하여 저장합니다.  이외에도, 

  • 영상의 특정 구간을 제거하거나 영상을 자르는 클리핑 (Clipping) 혹은 영상, 로고/이미지 등을 추가하는 합성 기능을 제공합니다. 

  • 프리미어 (Premier)와 같은 별도의 NLE (Non Linear Editing) 플랫폼 사용 없이 특정 구간을 바로 편집하여 다양한 유통 배포처에 송출할 수 있습니다. 

  • 영상에 삽입되어 있던 광고나 문제 장면들을 제거하거나 원하는 영상을 삽입하여 별도의 효과를 낼 수 있도록 지원합니다.