AI모델 개발 진행사항

2023.11.02

1.    진행과정에서의 발생한 문제들을 해결

텐서플로우를 활용한 AI모델을 개발하는 과정에서 데이터 출력부에서의자료입력이 되지 않는 등의 이슈가 있었으나, C++로 코딩한 부분을 텐서플로우에 최적화된 파이썬으로변경시켰음

2.    데이터 선정 오류: 최초의 목표는 일단 한번처음부터 끝까지 트레이닝을 하고, 테스트를 한 다음, 그결과치를 받아 보는 것이었는데, 최초 트레이닝 데이터에 기존 테스트하는 데이터(2023년 1사분기)가포함된 관계로 테스트 결과가 매우 높게 나오는 상황이 발생하였음

3.    이후 새로운 데이터(2023년 2사분기 Data)로 Test를돌렸는데, 기존에 예상했던 상황과 괴리도가 발생하여, 과최적화에대한 의심을 하였음. (트레이닝에서 잘 맞던 데이터값이 테스트 세트에서 잘 맞지 않는 경우, 과최적화를 의심함)

4.    과최적화에 대한 의심 하에 이런 우려를 낮추기 위한 노드수의 조정을 하였음. 50개씩 3노드로 진행되던 부분은 30, 30, 3개로 축소하였음

5.    Epoch수도 100,000번에서 10,000으로 축소하고, 손실함수를 낮추는 트레이닝을 실시하였는데, 그 결과치가 예상보다현저하게 낮은 수준으로 나옴에 따라, 이런 조건하에서는 과소최적화가 발생한 것으로 추정하였음

6.    그 결과, 향후의 개발 방향은 전반적인 가중치의개수에 대해 8000개 수준과 1800개 수준의 중간이 4,000개 수준에서 가중치를 구하는 정도로 노드를 형성하는 것을 목표로 하고 있음