합성곱 신경망

합성곱 신경망(CNN)

합성곱 신경망(Convolutional Neural Network, CNN)은 합성곱(Convolution) 연산을 사용하는 인공신경망(Artificial Neural Network, ANN) 중의 하나이다. 또한 컨볼루션 신경망이라고도 부른다. 합성곱을 사용하면 3차원 데이터의 공간적인 정보를 유지한 채 다음 레이어로 보낼 수 있다. 대표적인 합성곱 신경망으로는 LeNet(1998)과 AlexNet(2012)가 있으며, VGG, GoodLeNet, ResNet 등은 더 깊은 층을 쌓은 합성곱 신경만 기반의 심층신경망(Depp Neural Network, DNN)이다.

개요

합성곱 신경망(Convolutional neural network, CNN)은 컴퓨터 과학의 일종으로 시각적 이미지를 분석하는 데 쓰이는 인공 신경망의 한 종류이다. 합성곱 신경망은 특히 음성 인식이나 사물 이미지 인식에서 주료 사용한다. 이 신경망은 다차원 배열 데이터를 처리가 가능하다. 따라서 컬러 이미지와 같은 다차원 배열 처리에 특화 되어 있다. 또한 일반적인 신경망은 이미지 데이터를 그대로 처리하는 데 반해 합성곱 신경망은 이미지에서 특징을 추출해 처리한다. 그렇기 때문에 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱 신경망을 기초로 만들어졌다.

필터의 종류와 기능

또한 합성곱 신경망은 필터링 기법을 인공 신경망에 적용하여 이미지를 더욱 효과적으로 처리하기 위해 컨볼루션 네트워크(LeCun , 1989)에서 처음 소개 되었다. 시간이 지나 효율적인 받침대 이론(LeCun et al., 1998 -: 최적의 학습률을 계산하는 방법이다. 2차 파생물 및 기타 잡화를 역전파하는 방법 등 역전파를 통해 신경망을 효율적으로 훈련시키기 위한 모든 이론을 뜻한다.)이 현재 딥 러닝에서 이용되고 있는 형태의 합성곱 신경망을 제안했다. 기존의 필터링 기법은 옆에 첨부한 그림과 같이 고정된 필터를 이용하여 이미지를 처리했다. 그러나 합성곱 신경망의 기본 개념은 "행렬로 표현된 필터의 각 요소가 데이터 처리에 적합하도록 자동으로 학습되게 하자"는 것이다. 예를 들어, 이미지를 분류 알고리즘을 개발하고자 할 때 필터링 기법을 이용하면 분류 정확도를 향상시킬 수 있다. 그러나 이 경우 한 가지 문제점은 사람의 직관이나 반복적인 실험을 통해 알고리즘에 이용될 필터를 결정해야 한다는 것이다. 이러한 상황에서 합성곱 신경망을 이용하면, 알고리즘은 이미지 분류 정확도를 최대화하는 필터를 자동적으로 학습할 수 있다.

기원

1958년에서 1959년, 데이비드 H. 허벨(David H. Hubel)과 토스텐 위젤(Torsten Wiesel)은 시각 피질의 구조에 대한 결정적인 힌트를 얻은 고양이 실험을 진행했다. 이들은 이 실험을 통해 시각 피질 안에 있는 수 많은 뉴련이 작은 국부 수용 영역(local receptive field)을 갖고 있다는 것을 화긴했다. 이는 뉴런이 시야에 들어온 일부 범위 안에 들어온 시각 자극에만 반응한다는 뜻이다. 뉴련의 수용 영역은 서로 겹칠 수 있으며, 이렇게 서로 겹친 수용 영역이 어루어져 전체 시야가 이루어진다. 또한 어떤 뉴런은 수직선의 이미지에만 반응하고, 어떤 뉴런은 특정 각도의 선에만 반응하는 반면에 어떤 뉴런은 넓은 수용 영역을 가진 데 반해 저수준의 패턴이 합친 복잡한 패턴(글귀 사물 등)에 반응한다는 것이 밝혀졌다. 이렇나 관찰을 통해 허벨과 위젤은 높은 수준을 갖춘 뉴런이 바로 옆에 있는 낮은 수준을 가진 뉴런의 출력에 기반한다는 아이디어를 고안했다. 이 아이디어가 바로 지금의 합성곱 신경망으로 발전해 온 것이다. 이후 1998년에 발표 된 문서 '사물 인식에 적용하는 그라디언트 기반 학습'(LeCun et al., 1998) 논문에서 손글씨 숫자를 인식하는 데 사용한 LenNet-5르 소개하면서 합성곱 신경망이 이 세상에 등장하게 되었다.

특징

합성공 신경망의 구조

기존 신경망 구조

첨부된 그림과 같이 기존 신경망은 서로 인접해 있는 계층의 모든 뉴련이 결합 되어 있는 완전연결(fully-connected) 상태로, 아핀(Affine) 계층으로 구성되어 있다. 이처럼 기존 신경망은 아핀으로 명시된 완전연결 연산과 ReLU(Rectified Linear Unit, ReLU) 함수와 같은 비선형 활성 함수의 결합으로 이루어진 계층을 여러 개 쌓은 구조이다.

기존 신경망 구조

합성곱 신경망은 기존 신경망에 합성곱 계층(Conv)와 풀링 계층(Pooling, 풀링 계층은 생략할 수 있다)을 완전연결한 계층 이전에 추가하여 원본 이미지에 필터링 기법을 적용한다. 이어 해당 이미지에 분류 연산을 수행하도록 구성한다. 그러면 합성곱 계층은 이미지에 필터링 기법을 적용하고, 풀링 계층은 각 이미지의 국소적인 부분을 하나의 대표적인 스칼라 값으로 변환하여 이미지 크기를 줄이는 등 다양한 기능을 수행한다. 합성곱 신경망의 또 다른 특징은 합성곱 계층과 풀링 계층을 추가해도 출력과 가까운 층에는 계속해서 사용한 'Affine-ReLU' 계층 구성을 사용할 수 있다는 것이다. 또한 마지막 계층에서는 'Affine-Softmax' 조합을 그대로 사용한다. 이것이 일반적인 합성곱 신경망의 구성이다.

같이 보기

• 딥러닝
• 인공신경망(ANN)
• 순환신경망(RNN)
• 심층신경망(DNN)

이 합성곱 신경망 문서는 알고리즘에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

블록체인 : 블록체인 기술, 합의 알고리즘, 암호 알고리즘, 알고리즘 □■⊕, 블록체인 플랫폼, 블록체인 솔루션, 블록체인 서비스 채굴 알고리즘 SHA-256 • X11 • X11고스트 • X13 • X14 • X15 • X16R • X17 • 그로스톨 • 네오스크립트 • 니스트5 • 리라2알이 • 미리아드-그로스톨 • 블레이크 • 블레이크2 • 블레이크B • 블레이크2B • 블레이크256R8 • 블레이크256R14 • 스컹크해시 • 스케인 • 스크립트 알고리즘 • 스크립트엔 • 엘비알와이(LBRY) • 이더해시 • 이퀴해시 • 제반 • 쿼크 알고리즘 • 큐빗 알고리즘 • 크립토나이트 • 크립토나이트 라이트 • 타임트래블10 • 텐서리티 • 파스칼 • 프로그작업증명(ProgPoW) 매칭 알고리즘 경매 • 더치 경매 • 매칭 알고리즘 • 매칭튜터 • 비크리 경매 • 센디 • 집닥 • 튜다 • 틴더 추천 알고리즘 TF-IDF • 추천 알고리즘 • 콘텐츠 기반 필터링 • 협업 필터링 고급 검색 알고리즘 AND-OR 검색 트리 • 국소 검색 알고리즘 • 국소 다발 검색 • 모의정련 • 언덕 오르기 검색 • 유전 알고리즘 대항 검색 검색의 차단 • 알파베타 가지치기 • 전방 가지치기 • 최소최대 알고리즘 제약 만족 문제 국소검색 • 역추적검색 • 제약전파 게임이론 게임이론 • 공유지의 비극 • 내시균형 • 메커니즘 디자인 • 비협조게임 • 사회선택이론 • 역게임이론 • 제로섬게임 • 조정게임 • 죄수의 딜레마 • 치킨게임 • 팃포탯 • 협조게임 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반