제한 볼츠만 머신

제한적 볼츠만 머신

제한 볼츠만 머신(RBM)은 가시층 노드와 은닉층 간에 간선이 없는 볼츠만 머신이다. 심층 신뢰 신경망(DBN)을 구성하는 요소로 쓰인다. 첫번째 층은 우리가 볼 수 있는 층인 가시층(visible layer), 혹은 데이터가 입력되는 입력층이고 두번째 층은 특징값이 학습되는 은닉층이다.

개요

제한 볼츠만 머신은 1986년 폴 스몰렌스키(Paul Smolensky)에 의해 하모니움이라는 이름으로 처음 발명되었고, 2000년 중반 제프리 힌튼(Geoffrey Hinton)과 협력자들이 그들을 위한 빠른 학습 알고리즘을 발명하면서 유명해졌다. 제한 볼츠만 머신은 차원성 감소, 분류, 협업, 필터링, 기능 학습, 주제 모델링 및 많은 신체 양자역학에서 응용 프로그램을 발견했다. 제한 볼츠만 머신은 볼츠만 머신에서 층간 연결을 없앤 형태의 모델이다. 층간 연결을 없애면, 머신은 가시 유닛(Visible Unit)과 은닉 유닛(Hidden Unit)으로 이루어진 무방향 이분 그래프 형태의 모양이 된다. 결론적으로 모델의 층간 연결을 없앰으로써, 얻는 이점으로 뉴럴 네트워크는 깊어질 수 있었다. 가장 큰 이점은 가시 유닛이 관찰되고 고정(Clamped)되었을 때 은닉 유닛을 추론하는 마르코프 연쇄 몬테카를로 방법(MCMC; Markov chain Monte Carlo) 과정이 단 한 번에 끝난다는 것이다. 제한 볼츠만 머신은 확률모델의 계산이 불가능하기 때문에, 학습시 근사법인 마르코프 연쇄 몬테카를로 방법 또는 제프리 힌튼 교수가 발견한 CD를 사용하는데, 제한 볼츠만 머신의 모델의 간단함에서 오는 추론에 대한 이점은 샘플링 근간의 학습법이 실용적인 문제에 적용되는데 기여했다.

제한 볼츠만 머신은 심층신뢰신경망의 기본 뼈대가 된다, 제한 볼츠만 머신을 쌓아올리면서(Stacking), 그리디하게 학습함으로써 심층신뢰신경망을 완성한다. 심층신뢰신경망을 아는 사람은 기본적으로 제한 볼츠만 머신은 무방향이기에, 제한 볼츠만 머신이 방향성 있는 모델인 심층신뢰신경망이 되는지 의아할 것이다. 이는 제프리 힌튼(Jeffrey Hinton)의 제자의 우연 발견적인 연구 성과인데, 원래 힌튼 교수는 그래픽 모델이 방향성을 가질 때 생기는 익스플레이닝 어웨이(Explaining Away) 효과 때문에 학습이 매우 어려워 연구를 무방향성 모델로 선회했다가, 제한 볼츠만 머신을 쌓으면, 다층 제한 볼츠만 머신이 되는 것이 아니라, 심층신뢰신경망과 비슷해진다는 사실을 발견하게 된다. 이 발견은 심층신뢰신경망 학습을 단순히 여러 개의 제한 볼츠만 머신 학습으로 환원시킴으로써 어려운 심층신뢰신경망 학습의 복잡도를 층의 갯수에 비례하는 복잡도로 낮추었다. 이는 선행학습(Pre-training) 과 미세조정(fine-tuning) 의 새로운 학습 패러다임으로 발전하게 된다.

심층신뢰신경망은 비지도 방식으로 계층마다 학습을 진행하는데, 이때 각각의 계층은 보통 제한 볼츠만 머신의 형태를 띄고 있다. 제한 볼츠만 머신은 에너지 기반의 생성 모형으로 가시 유닛과 은닉 유닛으로 이루어진 무방향 이분 그래프 형태이다. 가시 유닛들과 은닉 유닛들 사이에만 연결이 존재한다. 제한 볼츠만 머신이 훈련되고 나면 다른 제한 볼츠만 머신이 그 위에 쌓아 올려짐으로써 다중 계층 모형을 형성한다. 제한 볼츠만 머신이 쌓아 올려질 때마다, 이미 훈련된 제한 볼츠만 머신의 최상위 계층이 새로 쌓이는 제한 볼츠만 머신의 입력으로 쓰인다. 이 입력을 이용하여 새 제한 볼츠만 머신이 훈련되고, 원하는 만큼의 계층이 쌓일 때까지 해당 과정이 반복된다.

구조

제한 볼츠만 머신은 같은 층 내부의 연결이 전혀 없으며, 이 구조 때문에 ‘제한된’ 볼츠만 머신이라는 이름이 붙여졌다. 입력층의 노드는 데이터를 입력받으면 입력받은 데이터를 은닉층에 얼마나 전달할 것인지를 확률에 따라 결정(stochastic decision)한다. 즉 확률에 따라 입력을 전달할지 혹은 전달하지 않을지를 결정한다.

각 입력 노드는 데이터의 저수준 특징값 혹은 속성을 받아온다. 예를 들어 흑백 이미지가 입력 데이터라면 각 입력 노드는 이미지의 픽셀 값에 해당한다. 만일 MNIST 데이터베이스를 사용한다면 입력 노드의 개수는 데이터베이스의 이미지의 픽셀 수(784)와 같게 설정된다.

입력으로 $x$를 넣으면 그 은닉층의 노드에 있는 가중치 $w$와 곱해진다. 그리고 $bias(b)$를 더한 값$(w*x+b)$을 활성함수 $f()$에 넣은 것이 노드의 출력이 된다.

 $activationf((weightw*inputx)+biasb)=outputa$

위의 식은 은닉 노드 하나에 들어오는 여러 개의 입력 중 하나만 고려한 식이다. 실제로는 여러 입력 노드의 값을 받아서 각자 다른 가중치 $w$와 곱해진다. 그리고 그 총합에 바이어스를 더한 뒤 활성함수에 들어간다. 즉 $f(x_{1}*w_{1}+x_{2}*w_{2}+x_{3}*w_{3}+x_{4}*w_{4}+b)$가 은닉 노드의 출력이다. 이렇게 모든 가시층의 노드가 모든 은닉 노드로 전달되는 것 특징 때문에 제한 볼츠만 머신은 대칭 이분 그래프(symmetrical bipartite graph)라고 부른다. 즉, 두 층이 대칭적으로 모두 연결되어 있어 있는 그래프인 것이다. 4개의 입력 노드는 3개의 은닉 노드에 모두 연결되어 있다. 그리고 각 연결마다 각자 다른 가중치 값이 있다. 따라서 총 12개(4*3)의 가중치가 있다. 이런 경우에 일반적으로 이 가중치를 4x3 행렬로 나타낸다. 위에서 설명한 계산은 모든 은닉 노드에서 일어난다. 즉 각 은닉 노드마다 4개의 입력 값에 적당한 가중치를 곱해 그 값을 더한다. 그리고 거기에 바이어스를 더한 뒤 이를 활성 함수에 통과시킨다. 심층신경망이라면 계속 층을 쌓아서 전체 신경망 구조를 만든다. 그리고 최종적으로 출력층에서 데이터를 분류하는 등의 작업을 수행한다.

참고자료

• Restricted Boltzmann machine Wikipedia - https://en.wikipedia.org/wiki/Restricted_Boltzmann_machine
• 딥러닝 위키백과 - https://ko.wikipedia.org/wiki/%EB%94%A5_%EB%9F%AC%EB%8B%9D
• 딥러닝에서 사용되는 알고리즘 TCP스쿨 - http://tcpschool.com/deeplearning/deep_algorithm3

같이 보기

• 딥러닝
• 심층신뢰신경망

이 제한 볼츠만 머신 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 기술 □■⊕, 인공지능 활용, 인공지능 개발업체, 인공지능 인물 인간적 행위 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 합리적 사고 결정이론 • 논리학 • 논리주의자 • 삼단논법 • 선호도 • 최대기대효용 • 효용이론 강화학습 ADP • DDPG • DQN • SARSA • 결정이론적 메타추론 • 계통적 강화학습 • 동적 계획법 • 모델 기반 강화학습 • 모델 프리 강화학습 • 반영식 아키텍처 • 수시 알고리즘 • 심층믿음망 • 어니 • 에이전트 • 확률적 경사하강법 인공지능 프로그램 A2I • 어니 • 알파고 • 알파고제로 • 왓슨 • 카페 • 텐서플로 • 토치 • 한돌 인공지능 알고리즘 AGI • 관계형 네트워크(RN) • 다층퍼셉트론 • 데이터마이닝 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 방사신경망 • 분산 샌드박스 • 비지도학습 • 생성대립신경망(GAN) • 생성형 AI • 수퍼 얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그노이드 함수 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 지도학습 • 코헨 자기조직 신경망 • 텍스트마이닝 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 문자인식 ICR • OCR • OMR • 문자인식 인공지능 특징 계산상의 합리성 • 분산성 • 불확실성 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 할루시네이션 계산 복잡도 NP • NP-완전 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 기술 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 • 모달 • 모달리티 • 모달창 • 알렉스넷 • 왓슨 • 텔레파시 • 환각 인공지능 법적 지위 권리주체성 • 전자대리인 • 전자적 인간 • 책임법 • 코파일럿 인공지능 업무 데이터라벨러 • 데이터라벨링 • 크라우드워커 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반