인공 지능
기계를 지능적으로 만드는 과학이다!
기계는 문제를 해결할 때 알고리즘을 기반으로 문제를 해결하게 되는데, AI 알고리즘은 규칙이 생성되는 방식에서 기존 알고리즘과 차이가 있다.
- 기존 알고리즘 : 개발자가 input에 대한 output의 특정 규칙을 설정함
- AI 알고리즘 : 자체 규칙 시스템을 구축한다
⁕ 컴퓨터가 사람에게 전적으로 의존했던 작업을 AI를 통해 스스로 해결할 수 있게 되었다!
머신 러닝
빅데이터를 통한 학습 방법으로 머신러닝을 이용할 수 있다.
개발자가 의사 결정 기준에 대해 구체적인 지침을 소프트웨어에 직접 코딩하는 것이 아니라
대량의 데이터와 알고리즘을 통해 컴퓨터 자체를 ‘학습’시켜 작업 수행 방법을 익히게 하는 것을 목표이다.
딥 러닝
인공신경망에서 발전한 형태의 인공 지능
뇌의 뉴런과 유사하게 정보 입출력 계층을 활용해 데이터를 학습한다.
초기에는 발전하는데 난관이 있었지만, 병렬 연산에 최적화된 GPU의 등장으로 신경망의 연산 속도를 획기적으로 가속되었고, 진정한 딥 러닝 기반 인공 지능이 등장했다.
몇 년 전, 세상을 떠들썩하게 했던 "Google의 Alpha Go"는 바둑의 기초를 배우고, 자신과 같은 AI를 상대로 반복적으로 대국을 벌이는 과정에서 그 신경망을 더욱 강화했다.
머신러닝과 가장 큰 차이점은 무엇일까?
- 딥러닝은 분류에 사용할 데이터를 스스로 학습할 수 있고
- 머신 러닝은 학습 데이터를 수동으로 제공해야 한다.
딥러닝의 대가, 조슈아 벤지오의 글
💡
게리 마커스를 포함한 여러 사람이 deep learning 정의하라고 압박했고, 이 글에서 Gary의 deep learning에 대한 오해를 해명하고 대응하려 합니다. Deep learning은 뇌의 신경망에 의해 영감을 받아 학습된 특징과 기능의 구성으로 계산되는 풍부하고 유용한 내부 표현을 발견하는 학습 기계를 구축하는 것입니다.
이 정의가 목표이고 정의를 해내는 방법에 대해서는 언급하지 않습니다. 저의 NeurlPS 강의의 모든 내용은 더 높은 수준의 표현을 배우는데 도움을 주기 위해 전례를 추가하는 것에 관한 것입니다. '어떻게'라는 표현은 제한이 없기 때문에, 어떻게 그 목표를 가장 잘 달성할 것인가는 답은 없기 때문에, deep learning이라는 용어는 'Al'이나 'machine learning'과 같이 실제로 포부적입니다.
이것을 해내기 위한 탐색에서, 다양한 아이디어, 방법, algorithm, architecture, 훈련 목표 그리고 framework 등과 기본 원칙(세계 또는 필요한 기능에 대한 이전 원칙과 해당하는)을 분석합니다. 이미 많은 흥미로운 것들을 모았고, 그것들은 이미 놀라울 정도로 유능하지만, 더 많은 것들이 이루어져야 합니다. 이 관점은 새로운 것이 아니라 지난 수 십 년 동안 생각해온 것입니다. 물론 논문을 쓸 때는 항상 특정은 더 구체적인 것에 초점을 맞춥니다. 예를 들어, architecture, 작업, optimisation 방법 등. 하지만 커뮤니티의 영혼은 정확히 이 더 큰 그림, 공유된 목표 안에 있습니다. 그리고 물론, 이 용어는 어느 한 사람이 정의되는 것이 아니고 커뮤니티에서 사용에 의해 정의됩니다.
[오역된 부분이 있을 수 있습니다. ]
- internal representation (내재적 표현) 표현은 딥러닝에서 중요한 개념이다. 벤지오의 언급처럼 데이터의 ‘좋은 표현’을 찾아낼 수 있는 머신을 만드는 것이 딥러닝의 궁극적인 목표이기 때문이다.
Representation Learning
데이터를 표현하는 다양한 방법
- 분자 형태로 표현될 수 있다 : 데이터가 존재하는 모습 그대로의 표현
- 이미지로 표현 : ‘시각적’ 표현
- 표로 나타냄 해당 데이터가 갖고 있는 특징을 각 열로 나타내고, 열마다의 값을 표 형식으로 나타낼 수 있다.
- 해당 데이터를 어떤 특징으로 나타낼지! 각 열의 내용을 적합한 것으로 정의하는 과정이 필요하다.
- 카테고리 : 머신러닝에서 주로 ‘예측하고자 하는 값’으로 사용되는 것이다. ⇒ 사람의 개입이 매우 강하게 들어감.
- 분자 형태 → 이미지 표현 → 표 → 카테고리 : 사람의 개입이 점점 강하게 들어가는 계층적인 표현이다.
- 딥 러닝의 궁극적인 목표 : 위의 데이터를 표현하는 방법을 사람의 개입 없이 딥러닝 만으로 나타낼 수 있는 모델을 학습시키는 것!
딥러닝을 Representation Learning이라고 말하기도 한다.
딥러닝의 목표 = "데이터의 표현을 학습한다는 것"
이는 사람이 가공하지 않은 날 것의 데이터를 입력받으면 알아서 내재된 표현을 추출하는 것이다.
딥러닝 철학
(1) 행동주의
자극의 반복으로 학습된 행동이 만들어진다!
심리학을 과학적으로 접근하려고 하는 시도로 경험적이고 실증적으로 인간의 내면에 대해 연구하려 함
=> 무의식처럼 관찰될 수 없는 것을 배제했고, 인간의 행동은 자극에서 직접적으로 만들어진다고 말함
"자극 ⇨ 행동" : 인간의 지능/내면은 삶에서 받는 자극을 통해 형성되는 '후천적'인 것이다.
인간을 포함한 모든 생명체에 해당된다고 주장
스키너의 상자 실험 : http://www.edupolnews.com/news/articleView.html?idxno=11676
조작적 조건 형성 이론/강화 이론
❓ 딥러닝을 배우는데 '행동주의'는 왜 나올까요?
스키너의 상자 실험에서 이야기하는 '강화 이론'은 머신러닝에서의 '강화 학습'의 근간이 되는 이론이기 때문입니다. 강화 이론은 '인간을 포함한 생명체가 자신에게 유리한 결과를 가져다주는 행동을 알면 그 행동의 빈도를 높인다'는 것입니다. 행동을 하는 행위자가 그 보상을 높이기 위해 자신의 행동을 보상을 받을 수 있는 방향으로 교정하면서 학습합니다.
하지만, 행동주의는 '인간의 내면'을 지나치게 단순화했다는 비판을 피할 수 없었다.
(2) 인지주의
인간이 지각 과정에서 받아들인 정보가 학습, 기억, 주의 등의 처리과정을 통해 어떻게 심리적으로 가공되고 행동으로 표출되는지를 연구하는 것으로 과학적·기초적 심리학의 한 분야이다.
[나무 위키 : 인지심리학, 지각 심리학에 대한 내용]
(3) 연결주의
: 수많은 신호들이 연결된 과정에 따라 정보가 처리된다.
연결주의의 지능체는 처음에는 '백지' 상태이며,
다수의 사례를 주고 '경험'함으로써 스스로 천천히 '학습'해 간다.
https://ko.wikipedia.org/wiki/%EC%97%B0%EA%B2%B0%EC%A3%BC%EC%9D%98
연결주의 - 위키백과, 우리 모두의 백과사전
연결주의(連結主義, connectionism) 또는 병렬분산처리(PDP,parallel distributed processing) 또는 연결주의모델(connectionism model)은 인공 신경망을 사용하여 마음 현상 또는 심리적 기제를 과학적 절차에서 보
ko.wikipedia.org
딥러닝은 뇌의 신경망을 본뜬 '인공 신경망'을 모델로 갖는다.
신경망에서는 자극(input)을 받아서 내부에서 정보 처리 과정을 거치고 반응(output)을 낸다.
그렇다면 딥러닝의 궁극적인 목표는 무엇일까?
'생명체'가 자극을 받았을 때 내부에서 정보를 처리하고 표현하는 기전을 알아내는 것!