모수적 모형과 비 모수적 모형

안녕하세요!

통계하는 피터팬입니다.

이번 포스팅에서는 통계학을 공부하시면서 자주 듣게 될 모수적 모형과 비 모수적 모형에 대해 알아보도록 하겠습니다. 저는 학부생 시절에 통계학을 공부하면서 항상 모수적 모형이 뭐고, 비 모수적 모형은 또 무엇인지 많이 궁금했습니다. 그런데 교수님들은 또 너무 자연스럽게 사용해서 뭔가 질문드리기도 조금 이상했습니다. 그래서 동기들한테 물어봤지만 대부분 "그냥 그런 게 있는 거 아니냐?" 정도로 생각하고 말해주었습니다. 이렇게 의문을 가지고 의문은 대학원 입학을 위한 공부를 할 때 해소되었습니다. 그래서 해소된 내용을 오늘 여기에서 서술해보도록 하겠습니다.

시작하겠습니다!

1. 모형

모수적 모형과 비모수적을 설명하기 앞서 모형이 무엇인지 알아보겠습니다. 일반적으로 통계학뿐만 아니라 정말 많은 분야에서 사용되는 용어입니다. 하지만 제 포스팅에 취지에 맞게 통계학에서의 모형의 의미를 위주로 설명하겠습니다. 정의 같은 것이 아니고, 지극히 제 주관적인 생각 및 이미지입니다. 제가 공부하면서 느낀 '모형'의 느낌은 통계학의 목적을 만족시키기 위한 것으로 어떤 수식이나, 구조 등을 의미하는 것 같습니다. 물론 수식이라는 것이 수학적 모델이라는 것은 아닙니다. 통계적 랜덤 성을 가지고 있는 그런 수식을 의미합니다. 그러니까 데이터를 설명하기 위한 어떤 간단한(그 형태가 간단하지는 않을 수 있지만) 것들을 의미한다고 생각됩니다. 

 

2. 모수적 모형

모수적 모형이 무엇을 의미하는지 설명드리도록 하겠습니다. 모수적 모형이란 통계적이 '식'을 정해두고 그 식에서 몇 가지만 구해 그 식을 완성하는 모형을 의미하는듯 합니다. 즉, 데이터가 특정 식을 따를거라고 가정을 하고 그 모형에서 몇가지 결정해야 하는(hyper parameter라고 하는)것들을 데이터에 맞춰 정해주는 모형이라고 생각하시면 됩니다. 대표적이면서 쉬운 예로 단순 선형 회귀분석이 있습니다. 단순 선형 회귀분석의 식은 다음과 같이 생겼습니다.

$$y= \beta_0 + \beta_1x+\epsilon$$

데이터가 위와 같은 식을 따른다고 가정하고, 데이터에 따라서 알맞은 $$\beta$$들을 구하는 방식입니다. 이런 모수적 방식의 최대 장점으로는 식이 간단하여 모형을 구하기 쉽다는 것에 있습니다. 비 모수적 모형과는 달리 식 전체를 구해야 하는 것이 아니기 때문에 더욱 간편하고 어렵지 않게 구할 수 있습니다. 대신, 처음부터 저런 형태의 식을 따른다고 가정하기 때문에 데이터를 잘 못 설명할 가능성이 있습니다. 물론 더 엄밀하게 "분포에 대한 가정이 있는 것으로 나누는 거 아니냐!"라고 하실 수 있습니다. 사실 통계적 식에는 거의 대부분 특정한 모형에 대한 가정이 있으므 조금 더 직관적으로 이해 가능하도록 저렇게 설명드렸습니다.

 

3. 비 모수적 모형

비 모수적 모형이란 모수적 모형이 아닌 것들을 의미합니다. 식을 정해놓지 않고 데이터에 따라 맞는 식 혹은 그에 준 하는 것들을 구해서 모형으로 활용하는 것입니다. 즉 모수적 모형처럼 식을 정해둔 것이 아니기 때문에, 모수적 모형처럼 간편하게 또 간단하게 구할 수 없습니다. 대신 모수적 모형의 가정이 없기 때문에 데이터를 더 잘 설명할 수 있습니다. 식을 정해두지 않았다는 것은 분포를 가정하지 않았다는 것과 같습니다. 예를 들어, 회귀분석의 경우 식을 정해 데이터를 잘 설명하는 계수들을 구하는 것으로 모형을 완성했었습니다. 이와 달리 비 모수적 방식으로는(당연히 정말 더 많은 방법 혹은 적절한 방법이 있을 수 있습니다.) 데이터 점들을 하나하나 이어서 그 식을 모형으로 인정하고 데이터를 설명한다고 보는 방식입니다. 식이 단순 선형 회귀분석과 같은 다항식으로 구성되지 않을 수도 있습니다. 물론 머신러닝과 같은 관점에서 보면 "오버 피팅 아니냐"라고 말하실 수도 있습니다. 나중에 더 자세히 설명드리겠지만, 오버 피팅이 발생할 수 있습니다. 식 자체도 모수적 모형보다 더 복잡할 가능성이 높습니다. 대신 데이터 자체를 더 잘 설명할 가능성도 커지는 것입니다. 

 

이번 포스팅에서는 모수적 모형과 비 모수적 모형에 대해 알아보았습니다. 여기에서 주의하셔야 하는 점은, 데이터를 잘 설명한다는 것이 일반성이 높다는 것을 의미하지는 않는다는 것입니다. 인공지능 기술과 약간의 관점 차이가 있다고 생각하시면 됩니다.

긴 글 읽어주셔서 감사합니다.

모두 파이팅!