주식 AI모델 개발 진행상황

2023.11.13

1.    1사분기 실적 반영 예측 모델 성과

- 모델 학습 시 중요한 하이퍼파라미터를 조정하며, 예측치와 실제치의 오차를 최소화하는 환경을 찾는 작업을 수행하였음

- for 구문을활용하여 반복 실행하며, 2023년 3월 결산 기준으로 RMSE와 MAE 수준을 최소화하는 하이퍼파라미터 조합을 찾았음

- 최적화된 모델로2023년 3월의 데이터를 예측하였고, RMSE는 31.07, MAE는 19.21 수준으로 나타났음

- 2023년 3월 데이터에서 상위 종목의 성과 및 수치가 예상대로 진행되었으며, 실제성과도 양호한 것으로 나타났음

2. 2사분기 실적으로 예측한 결과치 

- 하지만,2023년 6월의 경우, 3월과 유사한 로직으로종목들인 선정된 것으로 나오지만, 시장의 성격이 바뀐 관계로 상위종목들의 성과가 부진한 것으로 나오기도 했음

 (물론, 11월 20일까지의 성과가 나와야 평가가 가능하긴 함)

<6월데이터에 대한 예측치와 실제 수익률 순위(11월 10일종가기준)>

<상승예상 상승 순위의 분위별 평균수익률 추이>

- 기존의 3월예상되는 범주에서 벗어나지 않은 예측치를 보였으며, 실제로 종목의performance를 살펴보았을 때, 3월에 비해 시장 상황을 잘 반영하지 못하는 결과가 나왔음

- 3월에 좋은 성과를 보인 모델로 6월을 예측한 결과, 산포도상 상관관계가 보이지 않고 있으며, 평균수익률 측면에서는 오히려역의 관계를 나타내고 있음.

- 3월예측치를 산출해 내는 과정에서 함께 나온 6월 데이터의 입력 수치가 업데이트 되지 않은 가능성에 대해의심했으나, 확인 결과, 8월 20일 기준 수치가 입력된 것으로 확인됨

- 3월의데이터에서 좋은 성과를 나온 모델을 선정하는 과정에서 6월 데이터에서 대한 예측력이 떨어지는 조합이 선정되었을 가능성이 있다는 점을 의심함

3. 해결책

• *     원래 계획했던 대로 분기별로 다른 모델을 적용하는 방법
• 
  
• **    3월 데이터까지 학습에 반영시켜서, 새로운 가중치를 계산해서, 6월결산 자료에 근거한 예측치를 내어보는경우

- 해결책 중의가장 우선적으로 실행한 방법은 3월 데이터 확정치까지 Train하고, 그 수치로 다음분기의 값을 예측하는 방법을 사용하여 보았음

<1분기 데이터 학습에 반영한 후의 모델의 성과>

- 이미 기존에 최적화된 하이퍼 파라미터 내에서, 1사분기 데이터를 학습에 포함시키고, 2사분기 데이타를 입력하여, output을 산출하여 보았음

- 그 결과는 최초의종목과 일정 부분 유사한 점도 있지만, 극단적으로 상반되는 랭킹이 나오기도 하였음

- 1사분기 자료까지 반영하여, 학습을 시킨 후에 나온 모델의 예측치는반영되지 않고 나왔던 6월치에 비해 상당히 개선된 예측력을 보였다는 점임

- 이런 결과가나온 이유는 우리가 3월 데이터에 대한 예측을 할 때, 분기별 데이터 중 3월 데이터의 오차를 가장 최소화하는 목적을 AI가 반영하여, output을 제시했을 수 있다는 점임

- 이러한 가정이맞다면, 직전의 데이터를 반영한 모델은 그 다음 분기의 데이터를 예측하는데 최적화된 분기별 계절성을 반영한모델일 수 있다는 점임

- 현재로서는 3사분기 실적까지는 이런 방식을 통해 예측치를 산출하고, 포트폴리오를구성하는 것에 큰 의구심을 들지 않는 수준의 신뢰도는 생긴 것으로 판단됨

• *** 계절성에 대한 고찰  

- 11월 13일 안준환 이사와 신팀장과 계절성을 반영한 분기별 모델에 대해 협의하였음

- 향후의 시도할수 있는 부분은 시총 1,000억 이상의 종목에 대해서, 사계절에대한 모델을 별도로 구성해서, 모델을 최적화 시키는 것이 유용성이 있을 것에 대해 논의 하였음

- 이유는, 계절성에 따른 실적이 반영되는 부분 및 상대주가의 강도가 반영되는 부분 등이 다른 영향력을 가지고 작용할 수있기 때문임

- 즉, 1사분기 실적의 어닝서프라이즈에 따른 투자전략은 분기가 지속될수록 그 영향력이 줄어드는 것이 당연한 일일 것임

- 상대주가의 경우도, 1사분기에는 시장대비 아웃퍼폼한 종목들이 우위를 보일 가능성이 큰 데 반해, 3사분기로 접어들수록 아웃퍼폼한 폭이 크면 클수록, 되돌림 현상이 나타날

  가능성이 크다는 것을 예상할 수 있기 때문

- 퀀트 애널리스트들의전략도 계절별로 변화되는 경우가 있는데, 계절적으로 잘 들어맞는 전략이 있고, 그런 기준에 따른 투자가 어느 시기에는 상당히 높은 확률로 적용되는 경우가

  있기 때문임

- 이런 부분은 동일한 데이터에 대해 전혀 다른 로직으로 output을가져오는 경향성을 드러내기 때문에, 계절에 따른 모델을 별도로 학습시킬 경우, 더욱 탁월한 성과를 거둘 수 있을

  것이라는 가정을 할 수 있음

- 현재로서는 최근의 데이터 위주로 하고, 매분기 수익률의 예측은 직전 2개 분기를반영한 데이타로 예측에 사용하는 것으로 계획함