http://www.sigma-global.com/kr/cameras/dp-series/technology/

...상단 레이어에서 얻은 휘도 정보를 그 아래층의 색상과 밝기 정보에 적응시키는 새로운 능력..블라블라

포베온 이라고 검색하면 나오는 시그마 공식사이트 정보에 저렇게 나옵니다.
저도 색상 정보의 합이 밝기 정보로 알고 있는데 기술 설명부를 보면..

상단=밝기(휘도), 컬러(색상)
중단=컬러
하단=컬러

..로 설명하고 있으니 한국어로 번역을 잘못한건가 싶다가도 그래도 떡하니 저리 설명하고 있는데 사이트의 내용이 틀린걸까요?

아 그리고 블루를 4등분 한건 주파수로 말하면 레드 쪽이 주파수가 낮고 블루쪽이 주파수가 높은데 실제로 화상 데이터를 로우패스 필터 (블루쪽 컷), 하이패스 필터(레드쪽 컷) 에 걸러보면 로우패스 필터 통과 한 이미지는 화상이 블러 먹어서 엣지가 다 사라져 있고, 하이패스 필터 통과 한 이미지는 명암이 다 사라집니다. 그러니까 4등분 하기 용이한 최상단만 4등분 해서 샤프니스(?) 를 올릴 수 있게 만들었네요.

이미지를 보면 충분히 가능하다라고 생각은 드는데 어떤식으로 구현되는지는 감이 잡히지 않네요. 상단B층의 밝기 값을 그 아래 G,B에서 사용한다는 것은 알겠는데 밝기 정보 없이 색상정보만 있는 G,B는 어떤 이미지 인가요?

밝기가 없이 색상만 있는 이미지가 어떤건지 잘 모르겠습니다. LCD모니터 백라이트가 있고 없고의 차이인가 싶어서 떠올려 봤지만 결국 백라이트가 밝아질수록 우리 눈에 들어오는 색은 점점 흰색에 가까워지는데, 가시광선 빨간색을 감지하는데 전압처럼 광압?같은게 따로 있다는 건지. 그건 또 아닌 것 같고. YUV를 떠올리면 되는 걸까요?

위 본문의 센서의 경우 밝기 체크를 상단 파란색만 하는데 파란색의 밝기 값을 G,R에서도 쓸 수 없지 않나요? 그렇게 되면 무채색 밖에는 나오지가 않는데 따로 보정값을 갔기엔 그건 불가능할 거 같고

그냥 저 말 그대로 4개 픽셀의 R,G값은 똑같은 것을 쓰고 B값만 다르게 해서 4개 픽셀의 색상차이를 만들겠다는 걸까요?
아무래도 이거 같은데 말이죠. 상단은 휘도,색상 중단과 하단은 색상 정보를 캡쳐한다는 것은 그냥 말장난 같고요.

설명에 쓰이는 이미지 그리고 위에 댓글에 이미지 링크를 보니 그냥 B4G1R1로 찍고나서 G와R을 4등분 한다는 소리 같습니다.

그냥 G,B를 4등분 시켜서 보여주면 되지 프로세싱 이미지를 요상하게 만든것 같네요.

포베온 센서가 1픽셀에 RGB를 1:1로 대응시키는게 특징이라는데 4:1:1로 만들면서 기존화질 반토막 내고서 저렇게 포장하는 것 같기도 하고. 일단 갑자기 작성하면서 이런 생각이 드네요.

절대적인 숫자 1을 기준으로 말씀하신 포베온 센서가 1:1:1 이라고 하면
그대로 해상력을 높인 경우라면 센서를 0.25:0.25:0.25 로 만들어야 하는데
저기서 설명한건 0.25:1:1 로도 자체 기술을 적용하면 같은 결과물을 얻을 수 있다고 말하는거 같아요

그리고 일단은 전공자가 아니라 개념적으로만 알고 있어서 확실하게 설명드리가 어려운데..
1um^2 Gray + 2um^2 Red + 2um^2 Green + 2um^2 Blue 를 조합하면 1um^2 의 RGB 영상을 얻을 수 있다고 합니다
Super resolution 이었던가 Resolution merge 였던가.. 그런걸로 알고 있는데
이미지 프로세싱은 모르니 어떻게 만드는 지는 모릅니다 -.-..

아무튼 이 말은 고해상도 영상에서는 휘도 정보를, 저해상도 영상에서는 색상 정보를 추출하여
알고리즘을 통해 고해상도 컬러 영상을 만들어 낸다.. 는 의미이니 저게 이상한 기술은 아닌거 같습니다.

대신 알고리즘을 적용해서 보간이 되든 보정이 되든 할텐데
그 결과가 물리적인 고해상도 센서로 취득한 성능보다 나은가? 하는 부분에서 적합성을 평가하겠죠

rgb에서 yuv처럼 휘도값을 빼내는 것도 아니고 blue라는 단일 색에서 어떤식으로 휘도값을 뽑아내 G,R에 어떤식으로 적용하는지는 모르겠지만 말씀하신대로 제작사 나름의 물리적인 센서의 4:4:4에 준하는 화질을 보여주는 방식의 알고리듬이 있으니 저렇게 광고하는 거겠죠? 그리고 Resolution merge를 검색해서 관련 문서랑 동영을 봤는데 항공사진 합치는 것을 보니 될 것도 같긴 하네요.

Blue센서가 어떻게 흑백카메라처럼 휘도정보를 추가로 획득하는지는 모르겠지만 포베온센서가 3층구조가 하단 레이어까지 들어가는 빛이 부족하다고 하더라고요. 그래서 상단레이어에서 휘도 정보를 획득하는 것 같은데. Resolution merge로 사람이 휘도에 민감하니 고화질 항공사진 흑백+저화질RGB항공사진을 합치는 것 까지는 이해가 되는데 여전히 파란색에만 반응한다는 센서가 흑백으로 이루어지는 휘도정보를 어떻게 획득하는지 모르겠네요. 뭐 카메라 만드는 회사니까 어떻게 잘 만들었겠죠^^

확실히 YUV라면 휘도는 그대로 둔 채 색정보만 압축하니 문제될 것은 없는데 제가 생각한 대로라면 G,R의 해상도가 4분의1토막이 나서 휘도정보에 손실이 가버리니 후보정이 필요할 것 같습니다. 그래서 저렇게 중간에 프로세서 처리과정을 보여주나 봅니다. 그러나 여전히 보간이 필요없다고 강조하는 것을 보면 일단 다른 센서들처럼 주변픽셀의 정보를 사용하지 않으니 보간이 아닌 후처리, 후보정 등등으로 말할 수는 있을 것 같습니다.

포토샵 같은 거 쓰면 사진 RGB분리했다가 RG이미지 4분의1로 줄였다가 늘려서 다시 겹쳐서 실제 어떤지 테스트도 해볼 수도 있을 것 같은데 방금 검색해보니 rgb를 색상과 명암으로 나눌 수가 있네요. 다들 소스코드를 공개해 주셨지만 제가 사용할 줄 모르니 다른 방법을 찾아봐야 할 것 같습니다. 그런데 이 경우 말씀하신대로 확대후 최대한 각지지 않게 만들려면 보간이 반드시 필요할 것 같네요.

그런데 자기들 카메라는 보간을 하지 않고 원본 픽셀을 훼손하지 않는다고 말하는 것을 보면 일단 이런 방법을 쓸리는 없고, 역시 휘도 정보를 덧씌우는게 가장 좋겠죠. 그런데 밝기/색상 정보를 모두 얻으려면 상단레이어가 B+W구성이 되어야 하는데 위에서 말씀하신대로 밝기/색상 모두 인식할 수 있는 센서라면 단번에 해결되지만, 그게 아니라면 B를 명암으로 바꾸어 휘도정보로 사용하는게 아닌가 싶습니다. 포베온이 적층 구성이라 3층을 뚫고 내려가느라 광량부족이라는데 가장 처음 빛을 받는 상단레이어의 blue의 명암을 이용하면 일단 B는 그대로 사용하면 되고 R,G는 [B의 명암=휘도정보]를 이용해서 프로세싱 하는거죠.

일단 이 경우 B의 휘도정보를 이용 바둑판 현상을 막을 수 있고, 상단 레이어의 화소정보를 활용하여 주변의 화소정보를 이용하지 않으니 업체가 주장하는 수직 색상 분리를 실현함으로써 보간이 아니게 됩니다.

The top layer captures luminance and color information. 캡쳐한다는 것은 사용한다는 의미이기도 하니 상단레이어는 Blue센서의 휘도정보도 사용한다는 소리고 여기서 말하는 휘도정보는 Blue의 명암일 것입니다. 센서구조와 처리를 설명하는 그림에 물리적으로 구현되지도 않는 상단레이어의 휘도정보를 옆에 회색으로 보여주고 프로세싱 과정에만 탑레이어의 휘도정보라고 등장하는 것을 보면 이게 아닐까 싶습니다.

1. 카메라를 찍고 나면 크기는 같지만 해상도가 다른 RGB 3장이 나온다.
2. 이걸 그대로 합칠경우 바둑판처럼 격자무늬가 도드라진다.
3. 그렇다고 주변 픽셀의 정보를 이용하여 스무스하게 보간하는 것은 가상의 색상정보를 생성하는 이미지 왜곡이다.
4. 따라서 [B의 명암=휘도정보]을 이용하여 고유의 알고리듬에 따라 G,R값을 프로세싱해서 바둑판 현상을 없애버린다.
5. 수직 색상 분리 기술에 따라 주변의 화소의 정보를 사용하지 않고 수직으로 겹쳐진 위의 정보를 이용하였으므로 보간이 아니다.

참 쉽게 단계별로 설명해 주셨는데 상단의 B+W레이어가 그려지지 않아 이렇게 짱구를 굴려봤습니다.
정답은 아닐 가능성이 높지만 일단 스스로가 납득할 만한 결론이 필요하다 보니 마음의 안정?을 위해 글이 길어졌네요.

답변해주셔서 감사합니다^^

제가 한 위 댓글 설명이 아무리 봐도 너무 미숙하네요.

일단 보간 (interpolation) 이 아니라고 포베온이 주장하는 이유부터 설명. 그럴려면 거의 모든 영상 촬영 소자에서 쓰는 베이어 패턴 특성을 알아야 합니다.

2000 x 2000 화소의 경우 R, B 는 1000 x 1000 이며 격자 무늬가 수평/수직으로 펼쳐져서 단순히 2 배 확대하면 되는 셈이죠. 그러나 R 과 G 각각은 화소수와 형태는 같지만 격자 무늬의 위치가 서로 어긋나 있습니다. ( R, G, B 각각을 따로 색상별로 분리했을 때 보이는 격자 무늬 ) 위상이 다르다는 얘기.

또한 G 는 격자 무늬가 수평/수직이 아니라 45 도 돌아간 형태입니다. 굳이 화소 수로 표현하자면 1414 x 1414 의 형태인 셈이고요.

베이어 패턴의 보간은 확대만이 아니라 위상 보정 ( 격자 무늬 어긋난 것 수정 ) 도 해야 하는 것이죠.

격자 무늬의 중심이 모두 다 틀려서 R, G, B 셋 중 하나만 오리지날 값이고 다른 것들은 확대/위상 보정을 거쳐서 얻는 가짜 값이 됩니다. 또한 이런 가짜 값으로 인해 가느다란 선, 점 주위에 색상 번짐을 피하기가 어렵고 이런 이유로 원래 기대할 수 있는 해상도를 다 얻지 못 하고 로우 패스 필터를 통과시켜야만 한다는 얘기죠. 2000 x 2000 이 아니라 예를 들어 1500 x 1500 정도의 해상도만 기대할 수 있다는 식. 물론 이렇게 단순하게 이미지 프로세싱하는 업체는 없고, 이보다는 높은 해상도를 얻죠.

이에 반해 포베온 식으로 할 경우는 단순 확대만 하면 되고 격자 무늬가 서로 어긋나 있지도 않기 때문에 상당히 많은 문제가 저절로 해결되고 해상도도 원래 기대할 수 있는 만큼. 예를 들어 1800 x 1800 정도가 가능하다는 얘기죠. ( 2000 x 2000 을 다 써먹으려 들면 모아레 현상을 피할 수 없어서 제한걸어야 함 )

보간과 단순 확대는 둘 다 주변 화소들 각각에 가중치두고 합산해서 값 얻어낸다는 점은 똑 같습니다. 수식의 계수 값들만 다르다는 차이일뿐이죠. 베이어 패턴에서는 R/G/B 모두 전부 다 다른 계수 값을 써야 한다는 점 ( 격자 무늬가 서로 어긋나 있기 때문 ) 이 차이랄까요.

즉 포베온의 주장은 여러가지 부작용과 해상도 저하를 가져오는 베이어 패턴의 보간 방식을 안 쓴다는 얘기입니다.

------------------

위 리플에서 색상 중심으로 먼저 풀었는데, 뭐에 씌었는지 한참 방향이 어긋났네요. 밝기쪽부터 먼저 접근해야 합니다.

레이어 위쪽부터 시작해서 (B+W) + G + R 을 하면 B + R + G + B + G + R 이 되죠 이걸 2 로 나누면 R + G + B 즉 W 입니다.
그냥 합산만 하면 저절로 W 값 산출. 물론 그냥 합산하면 (B+W) 에 비해 G/R 은 절반의 해상도이기 때문에 바둑판 현상을 부르게 되죠.

따라서 G, R 은 단순 확대 (그럴지라도 보간과 비슷하게 주변 화소끼리 가중 합산 처리 필요) 해서 (B+W) 와 같은 해상도로 만들어놓고 세개의 층을 모두 합산하면 고주파 성분은 약간 죽은 완전한 W 신호가 얻어지게 되는 셈입니다. 고주파 성분 약간 죽는 것은 모아레 피하기 위해서도 나쁠 것 없고요. ( 단순 확대한 것은 고주파 성분이 죽은 것이라 봐도 됨. 고주파가 죽은 것과 살아있는 것의 합산 )

W , 확대한 G, 확대한 R 이 얻어지는 셈입니다. B 는 계산 과정에서 그냥 사라졌다 생각하면 되고요.

B = W - G - R 로 다시 산출하면 R, G, B 모두 완전체 (?) 가 얻어지는거죠.

답변 감사합니다. 일단 답변대로 과정이 진행되려면 (B+W) 값을 상단레이어가 획득해야 하는데.
B = W - G - R을 보니 갑자기 생각이 났습니다. 예전에 기글하드에도 관련내용의 기사가 올라왔던 것이 생각나 바로 찾을 수 있었는데 상성에서 스마트폰에 쓰일 카메라 센서의 구조를 바꿔서 광량을 확보했다는 기사였죠.
이미지 링크: http://cfile3.uf.tistory.com/image/254968405653C1C5039AB7

상단W중단G하단R로 구성하고 상단W에서 G,R을 빼서 B를 구할 수 있네요.
W-G-R=B →(W+B)+(W+G)+(W+R) 순으로요.

이렇게하면 말씀하신대로 (B+W)를 구할 수 있을 것 같습니다.

그런데 이렇게 되려면 적층구조에서 상단 W층에 반응하고난 빛(RGB)이 그대로 아래층까지 전달되어야 하는데 센서와 반응한 빛은 걸러져서 소멸하는 거라면 중,하단층으로 명암외의 정보가 전해지지 않으니 상단W중단G하단R는 말이 안되는 거고.

빛은 광량의 감소만 있을뿐 하단까지 들어가고 컬러센서는 자신들에게 해당하는 파장에 반응하는 거라면 말이 되지만.

RGB적층구조에서 빛이 해당 컬러센서를 통과하고 나면 센서라는 이름처럼 감지만 하고 통과가 되는 건지 아니면 센서가 색파장에 반응하는 만큼 상쇄되어 사라지는 건지 잘 모르겠네요.

제가 설명을 많이 미숙하게 한 모양이네요. 뻔한 부분들은 생략하고 말해서 혼란을 더 가중시킨 셈인건가..

일단 센서 레이어가 어떤 성분을 취득하면 그 아래로는 더 이상 전달 안 되는게 맞습니다. 물론 어떤 성분을 완전히 다 뽑아내는 것은 불가능하고 아주 약간은 통과시키겠지만 이건 몇 % 수준일테고요.

설명을 간단히 하기 위해 B+W 라고 표현했는데, 정확히 표현하자면 0.5B+0.5W 이런 식으로 말해야 하겠죠.

0.5 B + ( 0.5 R + 0.5 G + 0.5 B ) 니까 상층 레이어에서는 0.5 R + 0.5 G + B 를 취득하고 그 아래로 0.5 R + 0.5 G 를 내려보내게 되죠.

상층 레이어가 W 라면 그 아래로 내려가야 할 R, G, B 를 골고루 낚아채는 것이고요.

상층 레이어가 B+W 라는 것은 blue 는 다 긁어서 낚아채고 R, G 는 많이 남겨준다는 얘기로 이해하시면 되겠네요.

..블루를 훨씬 더 민감하게 받아들이는 백색에 조금 가까운 그런 것..
그리고 아래 답변의
..R/G/B 모두 흡수하긴 하는데 B 를 특히 많이 흡수하게 하면 B+W..
말씀하신 것 하고 같은 것 같습니다.

센서가 감지하는 주파수 감도 그래프와 함께 나오는 설명인데...
...The sensor's three layers are often referred to as blue, green, and red, but as this diagram shows, all of them respond at least somewhat to the other colors. This is the key to making the Quattro architecture work...
컬러센서가 해당 색 말고도 다른색에도 조금씩은 반응한다는데 그것을 이용한다는 것 같네요.

위에 캡쳐한 이미지를 새로 추가했습니다.(사이트 링크 : http://www.imaging-resource.com/news/2014/04/08/sigma-qa-part-ii-does-foveons-quattro-sensor-really-outresolve-conventional )

생각해보니 B센서라는데 W는 아닌 것 같고 말씀하신대로 상단레이어에서 B와 함께 W휘도 정보도 같이 획득하는 방법이 있나보네요.

실리콘 다이가 무척 얇기 때문에 마음먹으면 거의 투명하게 만들 수도 있습니다.

센서 레이어의 재질과 두께를 어찌 하느냐에 따라 어떤 파장대의 빛을 많이 흡수하게 만드는 식의 처리가 가능한거죠.

가시광선 대역 파장을 골고루 다 흡수하게 하면 W 센서가 되는거고, R/G/B 모두 흡수하긴 하는데 B 를 특히 많이 흡수하게 하면 B+W 가 되는거고요.

위 이미지의 명암의 경우 색상정보를 명암으로 보여줄뿐 같은 정보라는 것으로 알고 있습니다.

그런 뜻인가요?