AI 입문 회고록

안녕하세요, 오늘은 제가 AI 입문 과정을 공유해보려고 합니다. "아 이런 사람도 있구나?" 하고 봐주시면 좋겠습니다. ㅎㅎ

 

정보과학세미나: Machine Learning in Practice

시작은 고등학교 마지막 학기에 수강한 정보과학세미나 수업이었습니다. 본 과목은 말 그대로 머신러닝의 입문을 다루었습니다.

초반에는 Objective function, Optimization algorithm, Back propagation 등 학습에 대한 fundamental을 배웠습니다.

그 이후로는 NN, CNN, RNN 등의 basic 아키텍처들을 배웠습니다. 특이한 점이 있다면 본 과목은 RL에 대한 비중이 높은 편이었습니다. 전체적으로 본 과목은 수학을 강조하는 편이었습니다. 수학을 좋아하는 사람으로서, 이런 부분은 정말 좋았습니다. 다만 mathematical representation을 많이 강조해서 수학을 못한다면 따라가기 어려울 수 있겠다는 생각이 들었습니다.

수업 내용은 좋았지만, 여담으로 이제 와 고백하자면, 당시 대학 입시 준비로 수업을 열심히 듣지 않았던 것 같습니다. 이점은 아직까지도 후회로 남네요...ㅜㅜ

hidden layer에 대한 첫인상이 썩 좋지 않았다

 

AI 해커톤 + AIBIZON 인턴

대학 입학 이후 1학년에는 필수 과목을 듣기 바빠 별도 AI 관련 과목을 수강하지 않았습니다. 그리고 2학년이 되는 해에 친구들과 AI 해커톤을 참여하게 됩니다. 당시 저희는 AI에 대한 지식이 부족했습니다. 그래서 해커톤을 위해 하나의 thesis를 잡고 관련된 논문들만 냅다 읽기 시작했습니다. AI 분야로 전반적인 시야가 부족했기에 하나의 우물만 파서 프로젝트를 진행하는 것이 저희 전략이었죠. 전략은 운이 좋게도 잘 먹혔지만, 지금 되돌아보면 AI 입문하는 사람에게 이 방식은 권하고 싶지 않습니다. 어느 정도 전반적인 기초와 시야를 가지는 것이 우선이라고 생각됩니다. 

그 이후, 해커톤에서 만나 뵙게 된 교수님께 인턴 자리를 소개 받아 짧게 인턴십을 하게 됬습니다. 이때는 주로 software engineering 쪽으로 일을 했지만, 후반부에는 RAPTOR 모델에 대한 실증 연구를 진행했었습니다. 역시 이 때도 주제가 어느 정도 정해져 있어, 관련 논문을 읽는 것만으로 요구사항들을 충족할 수 있었지만, 조금 더 뚜렷한 시야가 있었다면 좋았겠다는 생각이 강하게 들었습니다.

근시로 비유해 볼 수 있을 것 같습니다. 실질적인 물체(주제)에 대해 눈 앞으로 들고 와서 관찰하는 것은 가능하겠지만, 멀리서 보면 뿌옇게 보여 특징 없는 그저 수많은 물체 중 하나가 되는 것. 이때, 이러한 근시를 교정해 주는 것이 바로 탄탄한 기초인 것 같습니다.

 

다시 기초부터

앞선 경험들을 통해 기초의 중요성을 느끼게 되었고, 무엇을 공부해야 될지 많이 고민하였습니다. 여러 커뮤니티에서 AI 학습 순서를 찾아보았고, 저는 아래와 같은 순서를 추천합니다!

 

1. 수학적 background

대학교에서 공학수학과 선형대수학을 수강했다면, 어느정도는 갖추어져 있다고 볼 수 있습니다. 부족한 부분은 책을 통해 채우는 것을 추천합니다.

추천하는 책: Marc Peter의 'Mathematics for Machine Learning'

위 책이면, 기초 수학은 다 채울 수 있는 것 같습니다. 그 이후로 논문을 보다가 모르는 수학적 개념이 있다면, 그때 찾아보고 공부하는 방식이 좋은 것 같습니다.

 

2. 전반적인 AI 흐름(?)

대학 강좌를 수강하는 방법을 추천합니다. 유튜브에 올라와 있는 수 많은 AI 관련 open course들이 많은데 제 경우에는 Stanford의 강의들이 도움이 되었습니다. (추천 강의: CS231N, CS224N)

영어가 싫다! 하시는 분들에게는 서울대학교 이준석 교수님의 MLDL 강의를 추천합니다.

책이 좋다! 하시는 분들에게는 머피책을 강추합니다. 내용이 상당히 많다보니 저도 아직 끝을 보지 않았지만, 유명한 데에는 이유가 있음을 읽으면서 계속 느끼고 있습니다.

 

3. 그 이후

주요 논문들을 읽어보거나, code implementation 하는 것을 추천합니다. AI 분야를 하다 보면, 논문은 수도 없이 읽어야 하기 때문에 논문 읽는 실력(?)을 늘릴 겸 읽어보는 것이 좋다고 생각합니다. Code implementation은 필수라고 생각하지는 않지만, 실무/구현에 관심이 있다면 추천합니다.

 

랩 인턴

2024년 여름부터 이상구 교수님 랩실에서 연구 경험을 쌓았습니다. UROP(Undergradute Research Opportunity Program)을 통해 NLP 분야로 실제 연구 경험을 쌓을 수 있었습니다. NLP, 특히 text-to-sql이라는 주제로 연구를 했었는데, 여느 때와 다르지 않게 많은 논문을 읽어야 했습니다. 그래도 얄팍한 지식을 가지고 접근했던 과거 경험들과는 다르게, 어느 정도의 시야를 가지고 연구를 했었던 것 같습니다. 또한, 논문을 읽다 보니 reference tracking 하는 능력도 늘었던 것 같습니다.

 

폐관수련-ing   (feat. 군대)

지금 현재는 군 입대를 한지 1년 되었습니다. 다행히 업무 자체가 AI 관련이다 보니 관련 논문을 읽고 구현해 볼 수 있어 꾸준히 공부할 수 있는 것 같습니다. 그 외로 복무를 하면서 다양한 AI 관련 대회들을 참여하고 있고, 아까 언급한 머피책과 요즘 관심을 가지게 된 multimodal 쪽 survey 논문들을 읽어보고 있습니다. 아직 9달이나 남았기 때문에, 무엇을 어떻게 공부해야 될지 계획을 잘 세워야 할 것 같네요.

 

지금까지 저의 AI 입문기를 공유해봤는데, AI 입문하시는 분들은 이를 하나의 예시로 참고해 보면 좋을 것 같습니다. ㅎㅎ