주식 AI모델 개발 진행상황 - Bard의 평가

2023.11.02

1.    진행과정에서의 발생한 문제들을 해결

- C++로 코딩한 부분을 텐서플로우에 최적화된 파이썬으로 변경시켰음

- C++로 코딩한 부분을 파이썬으로 변경함으로써 데이터 출력부에서의자료입력 문제가 해결되었음. 이는 텐서플로우가 파이썬과 연동이 잘 되기 때문

2.    데이터 선정 오류

- 최초 트레이닝 데이터에 기존 테스트하는 데이터(2023년 1사분기)가 포함된 관계로 테스트 결과가 매우 높게 나오는 상황이발생하였음

- 최초 트레이닝 데이터에 기존 테스트하는 데이터가 포함되면서 과최적화가 발생하여 테스트 결과가 매우 높게 나왔슴. 이를 해결하기 위해서는 트레이닝 데이터와 테스트 데이터를 서로

  분리하여야 함

3.    과최적화 해결을 위한 노력

- 과최적화에 대한 의심 하에 노드수의 조정, Epoch수의 축소, 손실함수의 조정 등을 실시하였음

- 과최적화를 해결하기 위해 노드수를 줄이고, Epoch수를 줄이며, 손실함수를 조정하는 등의 노력을 하였음. 하지만, 이런 과정에서 오히려, 과소최적화가 발생하였음

4.    향후 개발 방향

- 전반적인 가중치의 개수에 대해 8000개 수준과 1800개 수준의 중간이 4,000개 수준에서 가중치를 구하는 정도로 노드를 형성하는 것을 목표로 하고 있음

- 향후 개발 방향은 전반적인 가중치의 개수를 4000개 수준으로 조정하는것이며, 이는 과최적화와 과소최적화의 중간 지점을 찾기 위한 노력임

5.    평가

- 본 개발 과정에서 발생한 문제들과 해결 방법을 살펴보면 다음과 같은 평가가 가능함

- 데이터 선정 오류는 충분한 검토 없이 진행한 결과로 인해 발생한 문제이며,  이를해결하기 위해서는 트레이닝 데이터와 테스트 데이터를 철저히 분리하여야 함

- 과최적화 해결을 위한 노력은 적절한 방향으로 진행되었으나, 과소최적화로이어진 것은 아쉬운 부분이며, 향후 개발 과정에서는 과최적화와 과소최적화의 중간 지점을 찾기 위한

  노력이 필요

      6. 개선 방안

- 향후 개발 과정에서 다음과 같은 개선 방안을 고려할 수 있음

- 트레이닝 데이터와 테스트 데이터를 철저히 분리하여 과최적화를 방지함

- 노드수와 Epoch수를 조정하면서 과최적화와 과소최적화의 경계를 찾음

- 규제 기법을 사용하여 과최적화를 방지함

- 본 개발 과정을 통해 텐서플로우를 활용한 AI 모델 개발에 대한 경험과 노하우를 축적할 수 있었음. 향후 개발 과정에서 이러한 경험과 노하우를 바탕으로 보다 개선된 AI 모델을 개발할 수

  있을 것으로 기대됨