한국 MPEG 워크샵 오디오 관련 내용 정리
2009/12/22 14:06
지난 12월 초, 한국 MPEG 포럼에서
개최하는 워크샵이 있어 참석하였습니다.
오디오 코딩과 관련해서는 현재 진행중인 이슈가 2개가 있어
follow-up하는 의미에서 참석을 하였고요.
내부적으로 정리해놓은 내용이 있는데,
본 블로그에서는 오디오나 음성 코딩 부분만 다루니,
그 부분만 띄어서 써봅니다. :)
그 외에 video 코딩에 대한 설명들이 있어서 재미있게 들을 수 있었습니다.
그리고 시스템적인 입장에서도 접근할 부분이 많이 있어 보이네요.
결국 다양한 서비스를 창출하기 위해서는 시스템이나 포맷에서 지원해주어야 하는 부분이 있으니까요. 하지만 (여지껏 그랬고 지금도 그런 문제이지만) 가장 큰 문제는 시장을 만들어내지 못하면서 표준이 범람하는데 있지 않나 합니다. 게다가 큰 업체들은(예를 들면, 구글이나..) 구지 표준을 쓰기보다는 개별적인 솔루션을 개발하는 경우들도 많고요.
그리고 지금 슬슬 ffmpeg을 보고 있는데,
이 부분에 대해서 정리를 함 해볼까 합니다.
물론 사용법보단, 코덱개발 입장에서 전체적을 프로그램 구조를 보는 것이 주가 되겠지요. :)
그럼 또 다음에 뵙도록 하지요.
이제 트위터는 줄일 예정이니, 블로그에서 더 자주 볼 수 있을겁니다. :)
blog comments powered by Disqus
개최하는 워크샵이 있어 참석하였습니다.
오디오 코딩과 관련해서는 현재 진행중인 이슈가 2개가 있어
follow-up하는 의미에서 참석을 하였고요.
내부적으로 정리해놓은 내용이 있는데,
본 블로그에서는 오디오나 음성 코딩 부분만 다루니,
그 부분만 띄어서 써봅니다. :)
1-1 SAOC
MPS에 사용된 기술을 이용하여 object audio를 처리하는데 낮은 비트율에서 제공하기 위한 solution 제공을 목표로 개발이 되는 코덱.
물론 객체들이 방향성은 살아있지만, 완벽하게 분리되지 않음.
특히, 보컬이나 특정 음원을 지우는 것은 크게 문제가 되지 않지만,
보컬이나 특정 음원만 재생하는 경우 성능의 열화가 분명함.
이를 해결하기 위해 residual channel이라는 것을 만들어서,
이를 보상해주는 방식을 사용하고 있음.
(하지만 이 경우에 결국 비트율이 올라가는 문제점이 있어,
특별히 SAOC가 낮은 비트율에서 서비스 제공한다라는 장점을
역으로 감쇄시키는 부분임. 옵션이 있다는 정도가 장점)
알고리즘적으로는 MPS에서 사용된 기술이
그대로 사용하고 있기 때문에 기술적으로 추가된 부분은 없으며,
구조적으로 어떻게 configuration하였지가 이슈로 보임.
MPS에 사용된 기술을 이용하여 object audio를 처리하는데 낮은 비트율에서 제공하기 위한 solution 제공을 목표로 개발이 되는 코덱.
물론 객체들이 방향성은 살아있지만, 완벽하게 분리되지 않음.
특히, 보컬이나 특정 음원을 지우는 것은 크게 문제가 되지 않지만,
보컬이나 특정 음원만 재생하는 경우 성능의 열화가 분명함.
이를 해결하기 위해 residual channel이라는 것을 만들어서,
이를 보상해주는 방식을 사용하고 있음.
(하지만 이 경우에 결국 비트율이 올라가는 문제점이 있어,
특별히 SAOC가 낮은 비트율에서 서비스 제공한다라는 장점을
역으로 감쇄시키는 부분임. 옵션이 있다는 정도가 장점)
알고리즘적으로는 MPS에서 사용된 기술이
그대로 사용하고 있기 때문에 기술적으로 추가된 부분은 없으며,
구조적으로 어떻게 configuration하였지가 이슈로 보임.
1-2 USAC
음성과 오디오 신호를 동시에
잘 처리할 수 있는 통합된 코덱을 개발하는 것을 목적으로 함.
현재 baseline인 reference software는 release 된 상태이고,
성능 및 음질 향상을 위한 개발을 하고 있음.
실질적으로는 음성의 경우 AMR-WB+가,
오디오의 경우 AAC로 처리하는 방식을 따르고 있음.
즉, 음성의 경우 TCX 기법을 사용하며,
AAC의 경우 MDCT 도메인에서 처리하는 방식을 사용.
전처리단으로 MPS와 eSBR이 사용되어 있고,
core codec의 입력으로는 stereo or mono 채널을 사용함.
특히, core codec에서는 voiceage와 fraunhoffer에서
encoder 등을 완벽히 오픈하지 않아,
다른 업체에서 core codec의 성능 향상에 접근하지 못함.
삼성 및 기타 업체에서 품질 향상을 위해 contribution 한 부분은
MPS 나 eSBR과 같은 전/후처리 모듈에 대한 부분.
특히 삼성에서는 MPS 성능을 높이는 부분에서
기존에 ILD 및 ICC 와 함께 사용되는 parameter인
IPD와 OPD의 비트율을 반으로 줄임으로써
(실질적으로는 OPD를 ILD와 ICC에서 예측)
비트효율을 높여 음질을 향상시키는 방법으로 접근하고 있음.
(관련 논문 이미 published 된 것으로 보임, 언제 보긴 했는데;;)
AMR-WB+ 모듈에서는 기존의 방식과 달리 LPC 압축을 위해
AVQ 방식을 사용하고 있음.
(기존에는 ISF 방식으로 압축, (LSF)와 유사)
현재 논의 point로는 각 모듈이 transition될 때
overlap-add를 해야하는데,
이 부분과 관련하여 어떻게 처리를 하는 것이
음질 열화를 최소화할지를 고민하고 있음.
표준화 진행사항으로는 CD를 내년에 제출할 상태이고
2011년 초까지 FDIS를 제출할 예정으로 있다.
음성과 오디오 신호를 동시에
잘 처리할 수 있는 통합된 코덱을 개발하는 것을 목적으로 함.
현재 baseline인 reference software는 release 된 상태이고,
성능 및 음질 향상을 위한 개발을 하고 있음.
실질적으로는 음성의 경우 AMR-WB+가,
오디오의 경우 AAC로 처리하는 방식을 따르고 있음.
즉, 음성의 경우 TCX 기법을 사용하며,
AAC의 경우 MDCT 도메인에서 처리하는 방식을 사용.
전처리단으로 MPS와 eSBR이 사용되어 있고,
core codec의 입력으로는 stereo or mono 채널을 사용함.
특히, core codec에서는 voiceage와 fraunhoffer에서
encoder 등을 완벽히 오픈하지 않아,
다른 업체에서 core codec의 성능 향상에 접근하지 못함.
삼성 및 기타 업체에서 품질 향상을 위해 contribution 한 부분은
MPS 나 eSBR과 같은 전/후처리 모듈에 대한 부분.
특히 삼성에서는 MPS 성능을 높이는 부분에서
기존에 ILD 및 ICC 와 함께 사용되는 parameter인
IPD와 OPD의 비트율을 반으로 줄임으로써
(실질적으로는 OPD를 ILD와 ICC에서 예측)
비트효율을 높여 음질을 향상시키는 방법으로 접근하고 있음.
(관련 논문 이미 published 된 것으로 보임, 언제 보긴 했는데;;)
AMR-WB+ 모듈에서는 기존의 방식과 달리 LPC 압축을 위해
AVQ 방식을 사용하고 있음.
(기존에는 ISF 방식으로 압축, (LSF)와 유사)
현재 논의 point로는 각 모듈이 transition될 때
overlap-add를 해야하는데,
이 부분과 관련하여 어떻게 처리를 하는 것이
음질 열화를 최소화할지를 고민하고 있음.
표준화 진행사항으로는 CD를 내년에 제출할 상태이고
2011년 초까지 FDIS를 제출할 예정으로 있다.
그 외에 video 코딩에 대한 설명들이 있어서 재미있게 들을 수 있었습니다.
그리고 시스템적인 입장에서도 접근할 부분이 많이 있어 보이네요.
결국 다양한 서비스를 창출하기 위해서는 시스템이나 포맷에서 지원해주어야 하는 부분이 있으니까요. 하지만 (여지껏 그랬고 지금도 그런 문제이지만) 가장 큰 문제는 시장을 만들어내지 못하면서 표준이 범람하는데 있지 않나 합니다. 게다가 큰 업체들은(예를 들면, 구글이나..) 구지 표준을 쓰기보다는 개별적인 솔루션을 개발하는 경우들도 많고요.
그리고 지금 슬슬 ffmpeg을 보고 있는데,
이 부분에 대해서 정리를 함 해볼까 합니다.
물론 사용법보단, 코덱개발 입장에서 전체적을 프로그램 구조를 보는 것이 주가 되겠지요. :)
그럼 또 다음에 뵙도록 하지요.
이제 트위터는 줄일 예정이니, 블로그에서 더 자주 볼 수 있을겁니다. :)
