지능, 분류기 그리고 엔트로피

딥러닝 관련 책을 보다보니

지능이란 결국에는 분류기(classifier) 인데

만약 학습데이터가 모두 동일하다면

분류할 수 없는 데이터에서 분류기는 어떤 답을 내놓게 될까?

분류기는 어떠한 것을 분류하는 것이기에..

1. 동일한 분류이다(한가지로 분류해냄)

2. 분류할 데이터가 없음(0으로 인정)

둘중에 하나로 작동하지 않을까 싶은데..

아니면 논리에 의한 추론으로 SVM 처럼

더 많은 데이터를 추론해 내애서 동일 데이터라고 하더라도 다르게 볼 수 있을려나?

그런 면에서 어떻게 보면 배울것이 더이상 존재하지 않을 세상은

죽은 세상이며

완벽한 세상이 되는 걸까?

분류기로 많이 나오는 예제이다.

과거에는 직선을 통해 두개를 가장 확실하게 분류하려 했지만

많은 문제에 직선을 통해(1차 방정식) 구할 수 없기에

점점 차수가 늘어나게 되고, 그렇기에 해가 존재하는지 조차 점점 모호해져 간다.

답이 있을지 없을지도 모르기에

최적해 대신 근사해를 일정 시간내에 받아내오는 해법에 인류를 도달(?)하게 되는데

현재의 DNN 기반 AI들은 뉴런의 weight 값에 따른 블랙박스를 지능으로 사용하고 있다.

이런 weight값을 복제하면 여러개가 작동할테니 복제에 문제는 없겠지만

새로운 룰이 들어올 경우 또 다른 학습이 필요하게 되서

장기적으로는 AI 학습이나 지능에 대한 정의가 새롭게 필요하지 않을까 한다.

개인적인 현재까지의 생각은

규칙 기반의 AI가 최종버전이 되지 않을까 생각한다.

고조선 시대의 삼조법이라던가 현재의 헌법이라던가.

이러한 상위 몇개의 명령에 따라 그걸 위반하지 않는 수준으로

자신의 판단가치에 따라 행동하는 인간과 동일할 지능이 낳은 또 다른 형태의 지능

아래와 같은 그림을 보고 있노라면 경계값이 어디인가? 라는 것이 궁금해진다.

빨강이 하나도 없는 곳이 다른 녹색인가

아니면 노이즈 처럼 끼어드는 하나도 없었을 영역의 녹색은 예외인가

다른 특정 이벤트로 처리해야 하는 것인가 등등

어쩌면 저 혼란함 자체가 차원이고, 경계가 아닌가 생각된다.

크게 보면

빨강 / 녹색에서

빨간 / 혼합 / 녹색

완전 빨간 / 주로 빨간 / 혼합 / 주로 녹색 / 완전 녹색

식으로 구분의 정도를 세분화 해 나가다 보면

과거 퍼지처럼 분류기 자체가 확률분포값을 가지고

일정 부분 A와 B와 유사함이라는 모호함과 추상화를 이뤄낼 수 있지 않을까?

[링크 : https://stats.stackexchange.com/questions/142215/how-is-naive-bayes-a-linear-classifier]