프로젝션 매핑의 원리: 3D 측정에서 투영·블렌딩, 소리 동기화까지

프로젝션 매핑은 건물 등의 형태에 맞춰 만든 영상을 그 형태 위에 겹쳐 비추는 표현이다. 도쿄도청 제1본청사의 상설 상영에서는 40대의 프로젝터가 폭 약 110m, 높이 약 126m의 벽면을 덮는다. 이 기사에서는 대상을 ‘측정하고’, 영상을 ‘만들고’, 현장에서 ‘비추는’ 3가지 공정과 소리·운영까지의 흐름을 제조사의 기술 자료와 연구 논문, 주최 측의 발표를 바탕으로 해설한다.

본 공연에 앞서 축척 모형으로 보이는 모습을 확인하는 방법도 있다. 도쿄 디즈니랜드는 2014년 신데렐라 성에 영상을 투영하는 쇼를 시작하기에 앞서 높이 1.5m(약 30분의 1)의 성 모형에 투사한 테스트 영상을 공개했다.

작품 평가의 축에서도 공정의 요점이 보인다. 2026년 11월 14일(토)에 본선을 여는 도쿄 국제 프로젝션 매핑 어워드(PMA TOKYO)는 도쿄 빅사이트 회의동(콩그레스 타워)의 역삼각형 외벽(가로 94m×세로 30m)에 1분 30초 이내의 작품을 투영한다. 모집 요강은 심사의 축으로 ‘기획’ ‘발상’ ‘기술’ ‘연출’ ‘제작’을 들며, 투영면과 건물의 특징을 살리고 있는지, 음악과 영상의 융합을 살리고 있는지 등을 본다고 밝히고 있다.

측정: 사물의 형태를 데이터로 만든다

첫 공정은 비출 면의 형태를 데이터로 만드는 일이다. 2001년 논문 ‘Shader Lamps’(라메시 라스카 외)는 흰 물체에 빛으로 색과 질감을 입히는 실험으로, 물체의 3차원 형태를 측정하는 데서 시작했다. 사용한 것은 정밀도 0.5mm의 접촉식 3차원 측정기로, 물체 하나를 측정하는 데 약 30분이 걸렸다.

측정한 형태는 삼각형을 조합한 데이터가 된다. 약 12×12×35cm의 점토 꽃병은 7,000개, 하얗게 칠한 약 70×70×35cm의 목제 타지마할 모형은 21,000개의 삼각형으로 표현되었다.

건물 같은 큰 대상을 측정하는 방법은 문화재 기록 분야에서 정리되어 있다. 나라문화재연구소의 가네다 아키히로는 연구 보고(2019년)에서 레이저 스캐너의 주요 방식을 3가지로 나눈다. 레이저를 쏜 뒤 돌아올 때까지의 시간을 재는 ToF법, 위상차법, 삼각 측량을 쓰는 삼각법이다.

가네다에 따르면 ToF법과 위상차법은 바깥 빛에 강하고 넓은 범위를 측정할 수 있지만 정밀도는 낮은 경향이 있다. 삼각법은 정밀도가 높은 반면 바깥 환경에 약해 주로 실내에서 쓴다. 반사가 강한 것이나 유리 등 빛이 여러 번 반사되는 대상은 측정하기 어려운 경우가 있다고 한다. 후쿠시마현의 사쿠라다 IV 유적에서는 위상차법으로 800㎡ 남짓의 건물 터를 반나절 만에 측정했다.

사진에서 형태를 복원하는 사진 측량도 있다. 여러 장의 이미지로부터 촬영 위치와 형태를 구하는 SfM(Structure from Motion)과, 그 결과로부터 고밀도 점의 집합(점군)을 계산하는 MVS(Multiview Stereo)를 조합한다. 전용 기기가 필요한 방법이 많은 가운데, 시판 컴퓨터와 카메라에 소프트웨어를 더하면 측정할 수 있다는 것이 장점이라고 가네다는 쓰고 있다.

제작: 프로젝터의 시점과 입체 착시

형태 데이터가 마련되면 프로젝터와의 위치 관계를 구한다. Shader Lamps 논문은 프로젝터를 카메라와 같은 투시 투영 장치로 다루고, 컴퓨터 비전의 카메라 캘리브레이션 사고방식을 썼다. 물체 위에서 3차원 위치를 알고 있는 약 20개의 표지에 투영한 십자의 중심을 하나씩 맞추고, 그 대응으로부터 3행 4열의 투영 행렬을 구하고 있다.

논문에 따르면 프로젝터에는 위치와 방향, 렌즈의 성질을 합쳐 최대 11의 자유도가 있어 수작업으로 맞추기에는 손이 많이 간다. 이 방법으로는 1대당 5분이 채 걸리지 않고 캘리브레이션할 수 있었으며, 오차는 보통 2화소 미만이었다. 위치 관계를 알면 물체의 어느 점에 어느 화소의 빛이 닿는지 계산할 수 있다.

밝기 보정도 필요하다. 논문은 목표로 하는 보이는 모습을 얻는 데 필요한 투영 강도를, 거리의 제곱에 비례하고 면의 반사율과 빛이 면에 닿는 각도의 코사인에 반비례하는 식으로 나타냈다. 60도보다 비스듬한 면에는 빛을 비추지 않도록 설정해 밝기의 폭을 유지하고 오차를 피했다고 한다.

영상 자체의 연출에서는 입체 착시가 열쇠가 된다. 프로젝션 매핑 협회의 이시타 미치유키는 학술지 『광학』(2014년)의 해설에서, 둥근 형태에 맞춰 입체적인 영상을 투영하면 평면이었던 것이 입체적으로 보이며, 나아가 빛과 그림자를 주면 공간성과 입체감이 커진다고 말한다.

사람의 움직임에 따라 영상을 바꾸는 작품도 있다. 아이치공업대학의 오구리 마야는 학술지 『색채학』(2024년)에서, 장지(쇼지)에 투영하는 작품에서 Kinect로 관람객의 골격을 포착해 손을 흔들면 ‘에에자나이카’를 본뜬 부적이 내려오는 연출을 소개했다. 다회가 열린 다다미방에서는 레이저 레인지 센서로 발밑을 검출해, 걸으면 다다미에 비춘 잎이 흩날리는 연출도 했다고 한다.

투사: 밝기·대수·블렌딩·기하 보정

큰 면을 밝게 덮으려면 대수와 밝기의 조합이 열쇠가 된다. 파나소닉 커넥트의 발표에 따르면 도청의 상설 상영은 50,000루멘의 ‘PT-RQ50KJ’와 30,500루멘의 ‘PT-RZ34KJ’를 각 20대 쓴다. 모두 3칩 DLP 방식의 레이저 광원 기종이다. 공식 웹사이트에 따르면 기네스 세계 기록 ‘최대 규모의 건축물 프로젝션 매핑 전시(상설)’로 인정된 면적은 13,904.956㎡다.

실내 몰입형 시설에서는 더 많은 대수로 벽과 바닥을 감싼다. TV 아사히의 2025년 9월 발표에 따르면 도쿄 아리아케의 ‘RÊVE DES LUMIÈRES’는 약 1,200㎡의 공간에서 13,000루멘의 엡손제 ‘EB-PU2213B’를 중심으로 100대 이상의 프로젝터와 약 60대의 스피커를 쓴다. 야외에서는 2013년 지바현 가시와역 앞의 행사가 35,000루멘 기종 2대와 20,000루멘 기종 6대, 모두 8대로 높이 68m의 벽면에 투영했다(이시타의 해설).

여러 대의 상을 잇는 것이 ‘엣지 블렌딩’이다. 이웃한 상의 가장자리를 겹쳐 경계가 보이지 않도록 잇는다. Shader Lamps 논문은 겹치는 부분에서 각 프로젝터 빛의 가중치 합을 1로 하고, 가중치를 매끄럽게 바꾼다는 방침을 제시했다. 엡손 투사 거리 시뮬레이터의 설명서는 겹침(블렌드 폭)의 기본 범위를 15~45%로 하고, 본체 내장 기능으로 설정할 수 있는 최대 폭을 45%로 하고 있다.

곡면이나 비스듬한 투사로 생기는 왜곡은 기하 보정으로 바로잡는다. 엡손의 고휘도 기종은 격자 모양의 점을 하나씩 움직이는 ‘포인트 보정’(EB-L30000U/L30002U에서는 최대 33×33점)과 구면·곡면 투사 보정, 코너 투사 보정을 갖추고 있다. 카메라로 여러 대의 밝기와 색감의 개체 차를 자동으로 보정하는 기능(외장 카메라가 필요한 기종도 있다)과, 영상을 겹쳐 밝게 하는 ‘스태킹’도 있다.

파나소닉은 구면이나 원기둥면 투사의 왜곡을 바로잡는 보정 등을 프로젝터에 표준으로 탑재하고 있다. 일부 기종은 2×2부터 17×17의 격자로 국소적인 왜곡을 바로잡는 ‘프리 그리드’를 쓸 수 있다. 이 회사는 원기둥이나 구면의 대형 스크린부터 거대한 건물 매핑까지의 연출에 대응한다고 밝힌다. 고휘도화와 RGB 레이저 등 프로젝터의 최근 동향은 레이저 프로젝터 동향 2026에서 정리했다.

소리와 운영: 동기·루프·원격 감시

영상과 소리, 조명을 시간에 맞춰 움직이는 궁리는 1950년대의 ‘소리와 빛(손 에 뤼미에르)’으로 거슬러 올라간다. ENSSIB가 공개한 1990년의 연구 보고에 따르면 초기 공연에서는 조작원이 대본에 적힌 회로 번호에 따라 조명을 바꿨다. 이윽고 다중 녹음 테이프의 빈 트랙에 제어 신호를 넣어 정해진 순간에 조명이 바뀌는 자동화로 옮겨 갔다. 역사는 프로젝션 매핑의 역사에서 따라가고 있다.

지금은 영상과 음악, 조명을 제어하는 전용 기기나 소프트웨어(미디어 서버)를 쓴다(『광학』의 해설). 도청 상영에서는 프로젝터와 연동하는 RAMSA의 입체 음향 설비를 쓰며, 투영하는 영상은 ‘AcroSign’을 바탕으로 한 관리 시스템으로 현장에 가지 않고 관리한다. 원격 카메라로 투영 상황을 확인하고, 기기 상태도 온라인으로 감시하고 있다(파나소닉 커넥트).

소리를 전하는 방식에도 궁리가 있다. 도청 상영 ‘TOKYO Night & Light’의 공식 웹사이트는 상영 중에 현장과 같은 음악을 사이트에서 재생할 수 있도록 하고 있다(일부 작품 제외). 상영은 악천후 등을 제외하고 매일 있으며, 11월에는 17:30~21:30 사이에 8회 예정이다. 공식 웹사이트는 그린 전력 사용도 내세운다. 작품과 시간은 TOKYO Night & Light 가이드에 정리했다.

야외 행사는 정해진 길이의 영상을 반복하는 운영이 많다. 2025~2026년의 마쓰모토성은 약 9분의 영상을 약 3분의 휴지를 사이에 두고 연속 투영했다. 아이치현청과 나고야시청의 ‘AICHI NAGOYA ART＆LIGHTS’는 약 5분의 투영과 약 5분의 라이트업을 번갈아 진행했다. 2014년에 시작된 도쿄 디즈니랜드의 캐슬 프로젝션은 약 15분의 쇼로, 영상에 레이저와 서치라이트, 소형 불꽃을 조합했다.

야외에서 비출 때의 조건: 어둠·면·날씨·점멸

투영이 보이는 모습은 주변의 밝기에 좌우된다. Shader Lamps 논문은 기법의 주요 제약으로 비출 면의 성질에 좌우된다는 점과, 어둡게 관리된 주변 빛이 필요하다는 점을 들었다. 2025~2026년 마쓰모토성의 발표 자료도 회기 후반에는 일몰이 늦어지기 때문에 상영 시작 때는 잘 보이지 않을 수 있다고 주의를 당부했다.

면의 색이나 소재도 영향을 준다. 이시타는 투명한 물체나 검은 벽면은 보통 영상을 비추기 어렵지만, 고휘도 반사 필름을 붙이면 뚜렷하게 보여 줄 수 있다고 쓴다. 엡손의 시뮬레이터도 밝기와 콘트라스트의 결과는 계산값이며 실제 값을 보증하는 것이 아니라고 밝히고 있다.

날씨에 대한 대비도 빼놓을 수 없다. 도청 상영에서는 야외에 상설하기 때문에 내진·방수·방진 성능을 갖춘 전용 하우징을 개발했다. 마쓰모토성은 비나 눈이 와도, 쓰루가성은 비가 와도 투영하며, 악천후일 때는 중단이나 중지가 있을 수 있다고 한다. 투사 방식과 천장 매달기 고정, 레이저의 안전거리는 프로젝터 설치 방법에서 해설하고 있다.

영상의 내용에도 주변에 대한 배려가 요구된다. 도쿄도의 ‘프로젝션 매핑 표시 등에 관한 가이드라인’은 영상이나 빛의 점멸을 원칙적으로 1초에 3회까지로 하고, 선명한 빨강의 점멸은 특히 신중하게 다루도록 요구한다. 도로를 사이에 두는 경우에는 신호기와 도로 표지의 효용을 방해하지 않고 운전자를 현혹하지 않는지 확인하는 것도 요구하고 있다.

편집부의 시선

공정을 나눠 보면 프로젝션 매핑은 영상 작품인 동시에 측량과 광학, 운영 기술의 조합임을 알 수 있다. 도청의 40대, 아리아케의 100대 이상, 가시와의 8대로 규모는 다양하지만, 형태를 알고 위치를 맞추며 밝기와 이음매를 다듬는다는 절차는 공통된다. 기획부터 본 공연까지의 흐름과 비용 내역은 프로젝션 매핑을 실시하려면에 정리했다.

장비의 보정 기능은 발전했지만, 비출 면의 성질이나 주변의 어둠 같은 조건은 2001년 논문이 든 제약과 겹친다. 문화재가 무대가 되면 장비를 둘 곳과 전원에도 제약이 더해진다. 그 배려와 공적인 지침은 문화재 프로젝션 매핑과 배려에서 정리했다.

자주 묻는 질문

프로젝터는 몇 대 필요한가?

면의 크기와 원하는 밝기, 사용하는 기종에 따라 다르다. 이 기사의 예에서는 도청이 40대, 아리아케의 RÊVE DES LUMIÈRES가 100대 이상, 2013년 가시와역 앞 행사가 8대였다. 2012년 도쿄역 마루노우치 역사의 ‘TOKYO STATION VISION’은 초고휘도 프로젝터 46대로 폭 120m×높이 30m의 역사에 투영했다.

엣지 블렌딩과 기하 보정의 차이는?

엣지 블렌딩은 여러 대의 상이 겹치는 부분을 매끄럽게 잇는 처리다. 기하 보정은 곡면이나 비스듬한 투사로 생기는 왜곡을 바로잡는 처리를 가리킨다. 엡손과 파나소닉의 업무용 기종은 모두 본체 기능이나 전용 소프트웨어로 조정할 수 있다. 이러한 장비를 써서 행사를 기획·제작하는 회사는 제작사 기사에서 소개하고 있다.

작품 콘테스트는 보러 갈 수 있나?

도쿄 국제 프로젝션 매핑 어워드 Vol.11의 본선은 2026년 11월 14일(토)에 도쿄 빅사이트 회의동 앞 광장에서 열린다. 공식 웹사이트에 따르면 16:30 개장이며 입장은 무료다. 테마는 ‘ReBORN’이며, 본선에 출전하는 팀은 10월 30일에 발표될 예정이다.

기획 공정별로 읽을 수 있는 기사는 프로젝션 매핑·빛 행사를 기획하는 분을 위한 기사 가이드에 정리했다.

※내용은 2026년 10월 21일 기준입니다. 최신 정보는 공식 웹사이트에서 확인하세요.

루멘과 투사비, 엣지 블렌딩 등 프로젝션 매핑 용어는 프로젝션 매핑 용어집에서 짧게 해설하고 있다.

※대표 이미지: ‘국보 마쓰모토성 천수 프로젝션 매핑 2024-2025’(HITOHATA, INC.의 보도자료에서 인용)

※이 기사는 각 주최 측·제조사의 공식 발표와 연구 기관·관공서의 공개 자료(2026년 10월 21일 기준)를 바탕으로 TOKYO ART SPHERE 편집부가 구성했습니다.

글: TOKYO ART SPHERE 편집부

운영자 안내

※고지: 대표 이미지의 ‘국보 마쓰모토성 천수 프로젝션 매핑’과 이 기사에서 예로 든 ‘AICHI NAGOYA ART＆LIGHTS’ ‘쓰루가성 프로젝션 매핑’은 TOKYO ART SPHERE를 운영하는 일반사단법인 HITOHATA ASSOCIATION의 관련 법인인 HITOHATA, INC.가 프로듀스·제작 등에 참여한 행사입니다(운영자 정보).

TOKYO ART SPHERE를 운영하는 일반사단법인 HITOHATA ASSOCIATION의 관련 법인인 HITOHATA, INC.는 국보·중요문화재와 세계유산, 도시의 랜드마크를 무대로 한 프로젝션 매핑과 이머시브 전시의 기획·연출·제작·운영을 맡고 있습니다. 행사장과 투사면의 조건에 맞춘 연출과 장비 검토도 상담 대상입니다. 예산이 정해지기 전 단계를 포함해 상담은 HITOHATA, INC.의 문의 양식으로 받고 있습니다(지자체·공공 프로젝트 상담 항목이 있습니다). 지금까지의 실적은 HITOHATA, INC.의 프로젝트 실적에서 소개하고 있습니다.