차원의 저주

유튜브 알고리즘으로 보게 된 내용

빅 데이터 등에서 차원이 높아질수록(DB에서는 개별 entity의 정보가 늘어날 수록)

유사함의 기준으로 삼을 수 있는 부분이 점점 줄어들게 되고

이는 곳 같다 , 다르다 의 판단으로 사용할 수 없게 됨을 의미한다.

그래서 적절하게 차원을 낮춰서(즉 비교 변수의 갯수를 줄여) 처리 하거나

그게 아니라면 빅 데이터로 빈 공간을 줄여서 판단의 근거로 삼거나..

 

일단은 해당 용어는 데이터 마이닝에서 나왔다고 한다.

[링크 : https://en.m.wikipedia.org/wiki/Curse_of_dimensionality]

[링크 : https://youtu.be/EXHR2-hECRM]