0 • 0 • 2024-05-17 08:13:37.0
1. TAIGAN모델의 성과 추이
- 4월 4일 종가 기준으로 수익률을 측정하였을 때, TAIGAN의 3종 모델과 AI(PM)의 모델, PM모델 등 총 5개 모델의 성과와 이번주 안준환 이사의 아이디어를 녹여서 만든 새로운 모델 QTR-All(New) 모델의 성과를 분석하였음
- 모델 운용 초기에 큰 폭의 언더퍼폼을 보였던 QTR-All모델은 급격한 회복을 보이면서, 지속적으로 시장을 아웃퍼폼하고 있음
- AI(PM)모델은 초기부터 가장 안정적인 성과를 보이면서 꾸준히 수익이 상승하는 모습을 보임
- QTR-P7모델은 여전히 가장 좋은 성과를 이어가고 있으며, AI(PM)모델도 지수 대비 10%에 가까운 아웃퍼폼을 보여주고 있음
- 최근 부진했던 PM모델도 서서히 수익률이 회복하는 흐름을 나타내고 있음 AI모델의 하위권 종목들이 중국경기회복에 대한 기대감 등으로 한 사이클을 돌아서 회복되고 있는데 기인함
- 특이할 만한 성과는 새롭게 아이디어를 모아서, 변수를 보다 압축한 모델의 성과가 기존 AI모델보다 지속적으로 아웃퍼폼하는 성과가 나왔다는 점임(격차는 4.7%pt로 상당히 큰 차이를 나타내고 있음)
2. 새로운 모델[QTR-All(New)]모델의 도출과정
- 기존 QTR-All모델의 도출과정을 복습해 보면, 다음과 같음
- 해당 ITEM을 일괄적으로 신경망을 통해 학습시킨 모델이 QTR-ALL 모델이며, 분기별로 학습되고 추론되는 분기별 모델로, 현재까지는 평상시의 상황에서 평균적으로 상관계수가 0.1을 상회하는 유일한 모델로 평가할 수 있음
- 안준환 이사가 새로운 접근법을 통해 기존의 아이템들 중에서 중복되는 부분에 대한 검증을 하기 위해서 상관관계도 등을 검토하였으며, 기존 데이터에서 모호하게 처리된 부분 등에 대한 검토를 하였음
- 일단, 전체 29개의 변수 중에서 상호 상관관계가 높아 신경망에 부정적인 효과를 보일 수 있는 ITEM을 제거하기로 하였음. 3번 P/B(FY1)와 5번 P/B(TTM)을 제거함
- 두번째로는 18, 19, 20, 21번 아이템을 정리하였음. 이유는 신경망에서 별다른 기능을 수행하지 못했으며, 데이터를 처리하는 과정에서 적자전환, 적자지속, 흑자전환 등의 조건변경에 따라 자의적으로 입력값을 정했다는 불안정성이 있었음
- 세번째로는 가격변수 내에서 서로 상관관계가 높은 10번, 1개월전 대비 수익률과 11번, 3개월전 대비 수익률을 제거하여 보았음
- 4월 4일자로 돌렸을 때 1위~10위 종목들의 성과는 매우 개선된 모습을 보였음. 4.7%PT. 아웃퍼폼하였음. (QTR-ALL모델 대비) (16일 오전 2.6%PT.아웃퍼폼으로 축소)
3. 새로운 모델에 대한 추가적인검증
- 새로운 모델의 즉각적인 개선에도 불구하고, 기존의 분기별 모델이 예측이 정확히 이루어지고 있는지에 대한 검증은 필요하다는 생각
- 우선 최근 1년간의 분기모델이 예측랭킹과 실제 랭킹 간의 상관계수가 어떤 수치로 나타나고 있는 지로 검증을 해 보아야 하며, 둘째로는 23년 4분기 자료의 경우, 모델별로 일관성 있는 예측력을 보이고 있는지 또한 검토해볼 필요가 있음
- Qtr-P7과 Qtr-All(new)의 4분기의 압도적인 성과에도 불구하고, 상관계수는 오히려 Qtr -All이 높게 나왔는데, 그 내용을 살펴보면 아래의 그림으로 표현될 수 있음
- 1위~10위까지의 종목들은 매우 좋은 성과를 보였으나, 이후의 분위에서 상관계수가 떨어지는 패턴이 발생하여, 실제로 운용시(AI-PM모델 적용시)에는 혼란이 생길 수 있는 단점은 있는 것으로 보임
4. 향후 대응방안
- 추가적인 분석을 통해서, 데이터를 줄이는 것이 어떤 효과를 보이는지에 대한 연구가 필요함
- 우리가 줄였던 8개의 item이 어떻게 신경망에서 작용해서, 전반적인 예측을 정확도를 높이는 것인지에 대해서 추정해봐야 할 것으로 보임
- TAIGAN모델의 변수들과 결과치의 상관성을 테스트해서, 보다 가벼운 AI모델로 변환하는 안준환 이사 아이디어에 대해함께 검증하고 실행할 방안을 연구할 계획