의견.png

"디지털 휴먼"의 두 판 사이의 차이

해시넷
이동: 둘러보기, 검색
(참고자료)
(참고자료)
81번째 줄: 81번째 줄:
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 +
*Bosung Park, 〈[https://medium.com/curg/%EB%A9%94%ED%83%80%EB%B2%84%EC%8A%A4%EC%99%80-%EB%94%94%EC%A7%80%ED%84%B8%ED%9C%B4%EB%A8%BC-%E2%91%A0-z%EC%84%B8%EB%8C%80-gen-z-%EC%9D%98-%EC%85%80%EB%9F%BD-%EB%A6%B4%EB%AF%B8%EC%BC%88%EB%9D%BC-lil-miquela-f424700bd5bf 메타버스와 디지털휴먼 — ① Z세대(Gen-Z)의 셀럽, 릴미켈라]〉, 《medium》, 2021-05-03
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02
 
*정제영, 〈[https://crpc.kist.re.kr/user/nd49151.do?View&term_id=&uQ=&itemShCd1=&pageLS=10&page=1&pageSC=REGDATE&pageSO=DESC&dmlType=&boardNo=00007346 비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개]〉, 《융합연구정책센터》, 2021-04-02

2021년 7월 7일 (수) 16:00 판

디지털 휴먼(Digital Human)이란 사람의 신체 구조 및 움직임을 데이터화하여 분석하고, 가상공간에서 마치 실재로 존재하는 사람처럼 움직임을 재현하는 디지털 기술로 만들어졌다. 사람과 동일한 외형을 갖추고 있는 가상 인간이며, 디지털 휴먼은 단순한 지식 전달 뿐만 아니라 현실 감 있는 표정 변화와 함께'사람 감정'으로 감성 대화가 가능하다는 점이 무엇보다 가장 큰 특징으로 꼽힌다.[1]

개요

본래 디지털 휴먼 기술은 제조업 분야에서 제품의 설계 및 제조 개발 영역에서 자주 사용되었었다. 그러나 최근에는 코로나-19 바이러스의 대유행으로 비대면 및 비접촉 트렌드에 따라 비대면 휴먼이 비대면 서비스의 또 다른 대안으로 급부상하고 있으며 고객 서비스 상담, 브랜드 홍보, 컨설팅 등 디지털 휴먼의 역할이 점차적으로 다양해졌다. 2021년 2월 23일자 매일경제 기사에 따르면, 시장조사업체 가트너는 올해 전 세계 기업의 50%가 모바일 애플리케이션을 개발하기보다 디지털 휴먼 같은 가상 비서에 더 많이 투자할 것이라고 전망했다. 디지털 휴먼은 인공지능, 빅데이터 분석 기술, 클라우드, 고성능 컴퓨터 등 첨단 기술이 융합되어 사람과 거의 유사한 수준으로 발전하고 있다. 디지털 휴먼을 생성하는 기술, 디지털 휴먼이 실제 사람 및 환경과 상호작용하는 기술, 디지털 휴먼을 활용한 실감형 커뮤니케이션 서비스와 실감 콘텐츠에서의 3D 입체영상 재현 기술들이 있다. [2]


디지털휴먼(Digital Human)의 발달단계

같은 공간에서 진짜 사람처럼 생활하고 소통하기 위해서는 디지털 휴먼 영화 '엑스마키나'에 나오는 수준의 고도화된 AI 알고리즘 기반의 기술이 필요하다. 하지만 아직 이 시대의 AI기술 발전이 충분하지 않은 상태이기 때문에 디지털 휴먼을 만들기 위해서는 모든분야의 AI기술의 발전이 필요하다. 완벽한 인간이기보다 사람과 구분이 가지 않는 쌍방향 소통/대화를 어느정도 할 수 있느냐를기준을 잡았을때, 디지털휴먼의 발전 단계는 아래와 같이 4단계로 구분할 수 있다.

영화 엑스마키나 예고편


  • 1.버츄얼 인플루언서(virtual influencer): 1단계의 버츄얼 인플루언서란 실제 사람이 아닌, 만들어진 캐릭터에 성격, 출신 배경, 직업 등을 부여하고 소통하는 가상의 인플루언서를 말한다. 쌍방향 소통이 거의 없는 일방향IP기반 컨텐츠를 제공해주는 연예인, 패션 모델 같은 존재를 말한다. 대표적으로 디지털 셀럽 수아, 릴 미켈라 등이 있으며 국내에서도 버츄얼 인플루언서가 한둘씩 생겨나고 있다. 연예기획사 SM엔터테인먼트는 앞으로 SM이 만들어갈 메타버스에서 활동할 연예인들의 부캐로 버츄얼 인플루언서들을 속속 론칭하고 있고, 싸이더스 스튜디스 X에서도 로지 등 소속 인플루언서를 공개했다.
디지털 셀럽 수아 
  • 2.버추얼 어시스턴트(Virtual Assistant): 2단계는 시리나 빅스비의 디지털휴먼 버전이라고 보면 된다. 호텔, 공항, 은행에서 단순한 고객 서비스(Customer Service)에 대해서 인간을 대체할 수 있는 디지털휴먼이다. 예를 들면 AI 아나운서 아나노바라는 디지털 휴먼이 있다. 아나노바라는 컴퓨터 시뮬레이션 뉴스 캐스터가 하루 24시간 사용자에게 뉴스 캐스트를 읽을 수 있도록 프로그램된 웹 지향 뉴스 서비스였다. 아나노바는 2000년 언론협회(PA)로부터 95m 규모의 거래를 통해 모바일 통신 사업자인 오랜지(Orange S.A)의 회사가 되었으며, 그 후 오렌지 메인 뉴스 사이트로 합병되었습니다. 디지털 휴먼 아나노바는 2004년에 은퇴했지만, 웹사이트는 2009년까지 계속해서 아나운서 일을 했다.
AI 아나노바 
  • 3.인텔리전트 어시스턴트(Intelligent Assistant): 3단계는 좀 더 발전해서 맞춤형으로 사람과 대화하고 요가, 언어교육 등에 대해서 코치를 해줄 수도 있는 디지털휴먼이다. 대표적으로 스픽나우라는 것이 있다. 머니브레인(대표 장세영)이 세계 최초로 디지털 휴먼 기술이 적용된 인공지능(AI) 영어회화 학습 서비스이며 스픽나우는 학습자와 AI 튜터가 실시간 대화를 주고받으며, 영어회화 실력을 향상시키는 학습 서비스로, 현지 원어민 튜터들을 영상 합성하여 실제 사람과 대화하는 듯이 영어를 학습할 수 있도록 구현되었다. 이 디지털 휴먼 기술은 머니브레인이 자랑하는 세계 최고 수준의 딥러닝 영상합성 기술을 바탕으로 서울대, 연세대, 칭화대, 홍콩과기대, 컬럼비아대 등 국내외 유수 석박사 연구진들이 모여 독자적으로 연구 개발했다. 특히 기존의 3D 캐릭터와 달리 현지 원어민 튜터들을 영상에 합성하여 가상 인간이 실제 사람과 대화하듯이 영어를 학습할 수 있도록 구현되었다. 학습자의 취향에 따라서 다양한 출신, 성별의 튜터와 영어회화를 할 수 있으며 최근 여러 예능과 유튜브에서 큰 화제를 모으고 있는 방송인 ‘샘 해밍턴’과 ‘샘 오취리’도 곧 AI 튜터로 업데이트되어 사람들이 영어를 배우는데 거부감이 없이 다가 갈 수 있도록 하였다.
영어회화 서비스 스픽나우 
  • 4.컴패니언(Companion): 진짜 친구와 대화하는 것 같은 느낌을 받을 수 있는 수준의 자연스러운 AI가 마지막 단계의 디지털휴먼이다. 스캐터랩의 ‘이루다'가 그 역할을 시도했다고 볼 수 있다.이루다는 스캐터랩 소속 핑퐁 팀(ScatterLab Pingpong Team)에서 개발한 페이스북 메신저 채팅 기반 열린 주제 대화형 인공지능 (Open-domain Conversational AI) 챗봇이다. 다른 챗봇들과 달리 딥러닝 알고리즘을 이용하여 2020년 12월 말 공개되고 나서 2021년 1월 초 순식간에 사용자 수 약 40만 명, 페이스북 페이지 팔로워 10만 명을 찍는 등 큰 인기를 끌었다. 하지만 딥러닝 알고리즘이 가질 수밖에 없는 여러 가지 문제점과 개인정보 유출 논란이 생기면서 결국 서비스 개선을 위해 잠정 중단하기로 했다.
인공지능 기반 챗봇 이루다 


[3]

디지털 휴먼 생성 기술

디지털 휴먼을 만드는 기술은 크게 3가지로 나누어진다. 사람의 형상을 실제 공간에 차지하는 3차원 픽셀의 집합으로 만들어내는 볼류메트릭 캡처 기술, 게임 속의 3D 캐릭터처럼 애니메이션이 가능하도록 메시와 텍스처로 만드는 3D 휴먼 모델링 기술, 마지막으로 딥러닝 기술을 이용하여 임의시점 또는 새로운 표정과 자세의 사람 영상을 만들어내는 뉴럴 휴먼 렌더링 기술 등이 있다.

볼류메트릭 캡처

볼류메트릭 캡처는 많은 수의 카메라를 이용하여 최대한 보이는 형태 그대로의 형상을 공간상의 3차원 픽셀 단위로 물체가 공간을 차지하는 것처럼 공간에 있는 형태와 색상을 촬영하는 방식이다. 대표적으로는 롤리트테이블(Relightables)이라는 프로그램은 서던캘리포니아 대학교(USC, University of Southern California)와 구글이 공동 개발한 프로그램이며 기존 서던캘리포니아 대학교에서 보유하고 있는 라이트스테이지(Light Stage) 시스템의 4번째 버전이다. 시분할 광원 시스템과능동형 깊이 카메라(depth camera)를 사용하여 기존 포토그래메트리(photogrammetry) 시스템에서 취득하는 고화질의 세부 표면 노멀(normal) 복원 방식과 유사한 수준의 픽셀 단위 노멀(표면의 3차원 방향)과 변위(표면의 높낮이 차)를 측정할 수 있으며 롤리트테이블(Relightables)는 구글에서 보유한 볼류메트릭 캡처 기술을 융합하여 전통적인 포토그래메트리 방식에서는 해결하지 못한 시간의 흐름에 따른 형상의 변화까지 추적하여 촬영할 수 있다는 것이 특징이다. 이를 위해서 331개의 직접 제작한 발광다이오드(LED, Light Emitting Diode)와 4112×3008의 고해상도를 가지는 58개의 컬러 카메라, 32개의 적외선(IR, Infrared Radiation) 카메라를 이용하여 60fps의 속도로 고화질 형상의 노멀맵과 텍스처, 그리고 깊이맵을 생성한다. 이렇게 만들어진 디지털 휴먼 모델은 주변 광원에 맞추어 새롭게 렌더링을 할 수 있다. 또한 실사, CG영상과 자연스럽게 합성하여 증강현실(AR) 또는 가상현실(VR) 환경에서 사용이 가능하다. 이러한 방식은 앞서 말한 바와 같이 사람의 형상과 색상을 최대한 정확하게 복원하는 것이 목표이기 때문에새로운 표정이나 동작을 생성하기 위해서는 다음 섹션에서 소개될 3D 모델로 변환하거나 영상을 합성하는 기술을 활용해야 한다.

3D 휴먼 모델링

3D 휴먼 모델링는 이미 오래전부터 한 장의 얼굴 사진을 이용하여 3차원 얼굴 모델을 만들고 애니메이션(3D 모델링 데이터를 움직이거나 변형시키는 것으로, 움직임을 시간대별로 기록해서 데이터를 만들어 편집하는 것)하는 기술이 많이 개발되었고 현재 서비스 중에 있지만 얼굴만으로는 실재감을 느끼기에 부족하기 때문에 최근에는 전신사진을 이용하여 애니메이션이 가능한 3차원 전신 모델을 생성하는 기술들이 소개되고 있다. 후면의 형상과 텍스처까지 딥러닝 기법을 사용하여 만들어 내며 이렇게 영상을 이용하여 3D 휴먼 모델을 생성하는 방식들은 대부분 입력 영상으로부터 사람의 자세를 유추한 후 표준화된 3차원 휴먼 모델로 해당 자세를 만들고 변형하여 2차원 영상으로 투영한 다음 텍스처를 만들어 내고, 만들어진 3차원 모델을 렌더링하여 다시 입력 영상과 비교하는 재귀적인 방식을 사용한다. 단 한 장의 영상으로 만들어내는 3D 모델은 일반적인 3D 콘텐츠에서 이용하기 좋지만 세부적인 형상이나 텍스처는 정확하게 복원하기 어려워 화질이 다소 떨어지는 단점이 있다. 하지만 실제 원격 통신 환경에서 접속 초기에 전송되는 메시와 텍스처맵, 그리고 관절 정보들을 제외하면 소량의 실시간 동작 데이터만 필요하기 때문에 최근 유행하는, 아바타를 이용한 여러 명이 접속하는 가상 회의에 적합한 방식이다.

휴먼 렌더링

휴먼 렌더링은 2020년 소비자 가전 전시회(CES, Consumer Electronics Show)에서 삼성이 세계 최초로 선보인 인공인간 네온은 페이스북의 코덱 아바타(Codec Avatar)와 유사하게 실시간으로 사람의 형상을 합성하는 기술이다. 네온에서 쓰인 기술은 최근 많이 사용되고 있는 생성적 적대 신경망(GAN, Generative Adversarial Network) 기술을 이용하여 사람이 표현할 수 있는 다양한 표정 영상을 학습하고 입력되는 사람의 얼굴형에 맞게 새로운 표정을 생성해내는 기술이며 이러한 기술은 실제 존재하지 않는 사람을 만들어 낼 수 있을 뿐만 만 아니라 원하는 표정과 동작을 만들어 낼 수 있어 향후 많은 가능성을 가지고 있는 기술이다.[4]

디지털 휴먼과의 상호작용

디지털 휴먼을 만드는 이유는 사람이 인간 형태의 상대에게는 대화에 어려움을 적게 느끼면서 편안함을 느낀다는 기존 연구들에 근거하고 있다(DeVault, 2014). 이러한 이유로 삼성 네온은 실제 사람과 흡사한 디지털 휴먼을 구현하고 대화를 하는 기술을 소비자 가전 전시회(CES) 2020에서 선보였고 금융사 및 미디어사에 응용을 진행하고 있는 중이다. 이와 관련하여 세계적으로 연구를 선도하는 그룹인 서던캘리포니아 대학교의 창의기술연구소(ICT, Institute for Creative Technology)에서는 이미 10년 전부터 버추얼 휴먼 툴킷(Virtual Human Toolkit)을 개발해오고 있고 디지털 휴먼을 간단하게 제어하고 대화를 할 수 있는 기술을 개발하였다. 이러한 디지털 휴먼의 인터랙션 형태는 사용자와 대화하기, 사용자의 지시/명령대로 행동하기, 주위 환경과 인터랙션하기 등으로 분류를 할 수 있다.

대화 인터랙션

최근에 들어서 사람의 대화를 흉내 내고 특정한 영역에 입력된 스크립트(scripts) 기반으로 대화를 하는 일반적인 챗봇(chatbot)의 형태를 뛰어 넘어 상황에 관련된, 인간 유사 대화를 하는 지능형 가상 에이전트(intelligent virtual agent) 기술이 등장하고 있다. 기존의 챗봇과 달리 미리 입력받지 못한 질문이나 대화에 대해서도 자연어 처리를 통해서 입력받고 적절한 대화 및 반응을 이어나가는 기술들이 적용된다. 마이크로소프트에서는 파워 버추얼 에이전트(Power Virtual Agents)라는 이름으로 지능형 가상 에이전트 서비스를 제공하고 있고 구글의 경우에도 다이얼로그플로우(DialogFlow)라는 이름으로 유사한 서비스를 제공하고 있다. 이러한 기술의 발달로 챗봇이 인간과 유사하게 대화하는 기술은 많이 발전한 상황이다. 챗봇이 대화의 문장 자체를 의미 있게 생성하는 것에 주안점이 있다면 디지털 휴먼의 경우에는 동작이나 얼굴 표정 등으로 사용자에게 여러 가지 정보와 감정을 전달할 수가 있다는 것이 다른 점이다. 디지털 휴먼 행동은 언어적인 행동(verbal behavior)과 비언어적인 행동(nonverbal behavior)이 있을 수 있다. 언어적인 행동은 대화를 위한 동작이므로 대화를 위해서 생성되는 입의 움직임 같은 직접적인 동작으로 설명이 된다. 대화 시에는 비언어적인 행동도 중요하게 여겨지는데 이를 구체적으로 나열하면 시선 응시, 눈 깜빡임, 얼굴 표정, 입모양, 고개 움직임, 몸 움직임, 손동작 등이 있다. 대화 시에는 상체의 움직임이 중요한데 특정한 문장에 대해서 어떤 동작을 취할지를 정하는 규칙을 알아내어 맵핑하는 방법을 일반적으로 사용한다. 그런데 문장이라는 것이 무한한 조합의 경우의 수가 가능하기 때문에 모든 규칙을 알아내기 힘든 문제가 있다. 이를 해결하기 위하여 유튜브의 대화 영상 1766개, 106시간 분량에서 대화와 56가지 다양한 동작의 매핑을 추출하여 필요한 규칙들을 생성하였다. 이를 통해 일일이 대화-동작의 규칙을 사람이 지정하지 않고 자동으로 생성을 하여 입력 문장을 주면 캐릭터가 자동으로 사람과 유사한 동작을 취하며 말할 수 있었다. 또한 반대로 디지털 휴먼을 사용할 시에 카메라를 이용하여 상대 대화자의 몸동작 및 얼굴을 인식하는 경우 보다 면밀하게 상대의 반응을 알아낼 수가 있다. 연구에 따르면 웃음, 표정, 시선, 그리고 목소리 떨림을 인식하는 인공지능(AI, Artificial Intelligence)을 활용할 때 인간이 놓친 미세한 표정 및 동작의 변화를 검출 가능하고 심리적 판단을 정량화하기 때문에 의료진에게 더 정확한 수치를 제공할 수가 있다. 또한 비언어적 정서적 마커(웃음, 표정, 시선)에 대한 정량적 수치를 제공할 수 있기 때문에 의료진의 결정에 도움이 된다.

행동 인터랙션

디지털 휴먼과 인터랙션을 하는 방법 중 위에서 논한 대화 방식 이외에 특정한 행동을 유도하는 인터랙션이 있다. 이런 인터랙션을 위해서 사용되는 방식으로는 행동 저작이 있다. 이를 위한 언어 중에 유명한 것으로는 BML(Behavior Markup Language)라는 것이 있다. BML은 디지털 휴먼의 행동을 정의하는 언어로 어떤 동작들을 하는지에 대해서 연속적으로 정의를 할 수가 있다(Aggarwal et al, 2011). 최근에는 대화 모델을 이용하여 사용자가 음성으로 명령을 말하면 이를 행동으로 옮기는 디지털 휴먼도 제시되고 있다. 이는 음성 대화를 분석하여 어떤 대상으로(Subject), 어떤 행동을(Action), 어디에서(Position), 어디로(Target) 하는지를 분석하여 수행에 옮기는 것이 가능하다. 사용자의 발화를 BERT(Bidirectional Encoder Representations from Transformers) 모델 등을 사용해서 분석하고 이를 문장 분류기(Sentences Classifier)를 사용하여 행동(Action)에 대한 문장인지를 알아낸 후 행동에 관련된 문장인 경우, 요소 분석기(Entity Classifier)에서 어떤 행동들을 해야 하는지에 대해서 분석하여 실제로 동작하도록 지시하며 만약 행동에 관련되지 않은 문장인 경우 단순히 대화를 하도록 한다. 위의 방식들은 디지털 휴먼이 일정한 규칙이나 지능을 가지고 행동을 하는 것들에 관한 것이지만 현재 많은 경우에는 디지털 휴먼을 사람이 직접 모션 캡쳐(motion capture)를 통해서 동작을 읽어 들이고 이를 사용하여 제어하는 방법을 사용한다. 이런 방식은 실시간으로 사용자의 동작을 반영하기 때문에 실시간 콘텐츠에 많이 사용되며 버츄얼 유튜버 같은 경우에 적합한 방식이다. 주로 사용하는 장비로는 모션 캡쳐 장비로 HTC Vive의 트랙커(tracker)가 일반 대중이 사용 가능한 장비이고 퍼셉션 뉴런(Perception Neuron)사의 제품 등과 같은 어느 정도 전문용 장비들도 사용된다. 사용자의 얼굴 같은 경우에는 페이스리그(FaceRig)사의 제품을 주로 사용하여 얼굴 표정을 실시간으로 읽어서 디지털 휴먼의 얼굴에 반영을 한다. 페이스리그(FaceRig)사의 제품은 PC용뿐만 아니라 안드로이드/아이폰 용으로도 제공이 되기 때문에 얼굴 앞에 부착한 채로 사용하는 경우도 많다.

환경 인터렉션

주로 혼합현실(MR, Mixed Reality)이나 증강현실(AR)에서 디지털 휴먼은 주위 환경에 반응하여 인터랙션을 하여야 한다. 이를 위해서는 주위 환경의 물체들에 대한 인식(recognition), 분할(segmentation)이 이루어져야 한다. 이를 위해 3차원 깊이 카메라(depth camera)를 이용하는 경우도 있지만 일반적인 경우에는 2차원 카메라를 사용하기 때문에 디지털 휴먼과 주위 환경과 인터랙션을 제공하는 것은 쉬운 문제가 아니다. 이를 위해서 관심 있는 물체를 영상에서 분할(segmentation)한 다음 분할된 물체의 실루엣을 이용하여 그 물체의 영역을 따내어서 그 영역과 인터랙션하는 방법을 사용한다. 이 방식은 깊이 카메라가 필요 없고 일반적인 분할 방법과 상용의 증강현실(AR) 추적 엔진을 결합하여 효과적인 결과를 낼 수가 있다. 결과적으로 실제 물체와의 가림 현상(occlusion), 충돌 처리(collision detection) 등이 가능하게 된다. 가상공간에서는 실제 물체가 아니어서 물체 인식이나 분할 등은 필요가 없다는 장점이 있다. 2019년에 SIGGRAPH Asia에서 Startke가 발표한 연구)에서는 신경 상태 기계(Neural State Machine)를 이용하여 가상현실에서 디지털 휴먼이 물체들을 피해서 앉고, 물체들을 드는 등의 다양한 행동을 하는 방법을 제시하였다. 이 방법은 두 가지 네트워크인 동작 예상 네트워크(Motion Prediction Network)와 게이팅 네트워크(Gating Network)를 통해서 구성이 된다. 동작 예상 네트워크는 이전 상태의 동작에서 다음 상태의 동작을 예측하는 것을 수행하고 게이팅 네트워크에 서는 현재 목표나 상태에 따라서 동작 예상 네트워크를 생성할 계수나 중요도를 설정하는 역할을 한다. 디지털 휴먼은 근 미래에 사람을 대신해서 대화, 행동들을 수행할 수 있을 것으로 예상된다. 디지털 휴먼이 사람과 하는 것처럼 자연스럽게 인터랙션을 할 수 있는 방법은 대화, 행동, 환경과의 반응 등 다양한 영역에 대해서 탐구가 되고 있고 앞으로 더 많은 연구가 이루어질 것으로 예상된다. 현재는 지능화가 많이 이루어지지 않고 규칙 기반으로 이루어지는 경우도 많으며 응용 영역도 버츄얼 유튜버나 게임 등으로 제한적이지만 향후에는 인공지능 기술과 결합되어 사람과 구별이 가지 않는 정도 혹은 그 이상으로 사람에 민감하게 반응할 수 있는 인터랙션 기술이 가능할 것으로 기대된다. [5]

디지털 휴먼의 커뮤니케이션

비대면 회의 수요 증가

최근 코로나19 팬데믹(Pandemic) 사태가 해를 넘기고 장기화되면서 비대면 만남과 비대면 회의의 수요가 급증하였다. 이에 따라 과거에는 간헐적으로만 사용되었던 화상회의 시스템에 대한 관심이 폭발적으로 증가하였다. 스카이프(Skype), 구글 미트, 마이크로소프트 팀, 시스코웨엑스(Cisco Webex) 등 화상회의 시스템이 비대면 회의 및 비접촉 협업의 도구로 사용되고 있다. 그 중에 미국 스타트업에서 개발한 줌(Zoom)은 사용의 편리성 덕분에 인기를 얻고 가장 많이 사용되는 프로그램으로 주목을 받았다. 실제로 줌을 개발한 줌비디오커뮤니케이션(Zoom Video Communication)의 주가는 코로나19 이전보다 5배 이상 뛰어오르기도 하였다. 재택근무, 비대면 회의, 원격 협업이 일상이 되면서 화상회의 프로그램은 주요 업무 도구가 되었고, 업무 외의 개인적인 시간에도 비대면 만남을 위한 도구로 널리 활용되고 있다. 요즘은 랜선 미팅, 랜선 공연, 랜선 콘서트, 랜선 파티 등이 점점 보편, 일반화되고 있는 추세이고 여기서도 화상회의 프로그램들이 이용되고 있다. 화상회의 프로그램들이 비대면 수요 및 사용의 용이성에 따라 인기를 누리고 있지만 비대면 협업 및 이벤트 등에서 한계점을 가지고 있다. 협업 자료에 대한 접근성이 주로 한쪽에만 주어지는 비대칭성이라든지 사용자가 카메라 앞을 떠날 수 없고 꼼짝없이 앉아 있어야 한다든지 하는 제한이 있다.

실감 회의 시스템

최근에 가상현실/증강현실(VR/AR) 기반 커뮤니케이션 및 협업 시스템이 화상회의 시스템의 대안인 실감 회의 솔루션으로 시험되고 있다. 뉴스에 따르면 코로나19 팬데믹 이후에 비대면 서비스 중 하나인 온라인 게임의 매출이 많이 증가했다. 네트워크 기반 가상현실(VR) 시스템의 대표적인 것 중 하나가 온라인 게임인데 대형 온라인 게임 개발사들이 온라인 게임 플랫폼을 실감 회의 용도로 사용하려는 시도는 보이고 있지 않다. 아마도 이는 게임 시장에 비해 원격회의 시장이 아직은 크지 않기 때문일 것이다. 게임 회사 대신 VR/AR 기술 회사들이 소셜 VR이나 VR/AR 회의 시스템들을 속속 출시하고 있는데 얼리어답터(Early adopter)나 기술전문가들을 중심으로 점차 사용자층을 넓혀가고 있다. 이런 프로그램들 중 대표적인 것이 인게이지(Engage), 미트인브이알(MeetinVR), 알트스페이스브이알(AltSpaceVR), 브이알챗(VRChat), 알이씨룸(Rec Room), 홉핀’(Hoppin’), 클러스터(Cluster), 점프브이알(JumpVR), 모질라허브(Mozilla Hubs), 스파샬(Spatial) 등이다. 대부분은 가상현실 회의/만남 시스템으로 PC나 모바일 폰으로 이용할 수 있고 Oculus 같은 HMD(Head Mounted Display)와 콘트롤러가 있으면 더 다양하고 자연스러운 인터랙션을 할 수 있는 형태이다. 예를 들어 요즘 유튜브나 트위치(Twitch)로 중계를 많이 하여 인기를 끌고 있는 VRChat은 일종의 대규모 멀티유저 온라인 가상현실 소셜 플랫폼이다. 사용자들은 각자의 독특한 3D 캐릭터 모델 아바타로 가상현실 공간에 들어와서 다른 사용자들과 얘기하거나 게임하고 즐길 수 있다. 바이브(Vive)의 트랙커(tracker)를 사용하면 전신 아바타의 움직임을 제어할 수 있기도 하다. 브이알쳇은 사용자들 간의 가벼운 만남 공간으로 주로 사용되고 있지만 2020년 말 AIXR(Academy of International eXtended Reality, 국제 확장 현실 아카데미)이 주최하는 애뉴얼브이알어워드(annual VR Awards) 행사를 브이알쳇 내에서 개최하는 등 공식적인 비대면 이벤트를 열었다. [6]

각주

참고자료

같이 보기

  의견.png 이 디지털 휴먼 문서는 메타버스에 관한 토막글입니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 이 문서의 내용을 채워주세요.