CV 관련 영상을 보다, 문득 코사인 유사도가 생각났다.
'이게… 벡터 간 각도…'
정의가 또 가물가물

내가 AI라면, 지금 catastrophic forgetting 경고 떴을 듯

이게 한두 번이 아니다.

  • 밑바닥부터 딥러닝을 읽었는데 내 뇌에 정작 남은 건 없는 듯한 느낌……
  • 기초 벡터, 공리, 정의도 기억 안 나고
  • 배워도, 며칠 뒤면 또 까먹는다.

이쯤 되면 의심된다

"왜 자꾸 까먹는 걸까?"
"지능의 문제…?!"

나만의 문제가 아니었어

kakao

카카오톡 오픈채팅방에서 이 대화를 보며 위로를 받았다.
나만 그런 게 아니었다.
우리는 모두 'catastrophic forgetting'과 싸우고 있었던 것이다.

Catastrophic Foregtting: AI만의 문제가 아니다

'Catastrophic forgetting'은 원래 인공신경망에서 새로운 정보를 학습할 때
이전에 학습한 정보를 급격히 잊어버리는 현상을 일컫는 용어다.
그런데 인간도 비슷한 경험을 하고 있지 않은가?

  • 어제 공부한 공식이 오늘 기억나지 않는다
  • 한 달 전에마스터했다고 생각한 개념을 다시 봐도 낯설다
  • 책 한 권을 완독해오 며칠 후면 핵심 내용조차 기억이 안 난다

인간의 기억력은 완벽하지 않게 설계되었다

인간의 뇌는 모든 정보를 영구적으로 저장하도록 설계되지 않았다. 오히려 '중요한 것'만 남기고 나머지는 과감히 버리는 방식으로 진화했다. 그렇다면 뇌는 어떤 기준으로 '중요한 정보'를 판단할까?

  1. 반복적으로 접하는 정보
  2. 감정적으로 강한연결이 있는 정보
  3. 실제 사용하는(적용하는) 정보

Dunning-Kruger의 역설: 나는 항상 모르는 것 같다

dunning-kruger

보통 더닝-크루거 효과는 능력이 부족한 사람일수록 자신의 능력을 과대평가하는 경향을 말한다.
그런데 흥미롭게도, 많은 개발자와 연구자들은 오히려 그 반대 현상을 경험한다.
처음부터 "모르는 게 너무 많아"라고 느끼고, 공부를 계속할수록 그 느낌은 더 강해진다.

AI 분야는 특히 그렇다. 한 개념을 이해하려면 그 뒤에 숨은 수많은 개념들을 함께 이해해야 한다. (하나를 이해하기 위해 새로 공부해야 하는 게 3개 생김)
코사인 유사도 하나만 제대로 이해하려 해도 벡터, 내적, 노름… 끝없는 개념의 토끼굴이 펼쳐진다.

나는 한 번도 '이 정도면 꽤 알지!'라고 느껴본 적이 없다. (잘하고 있다 착각이라도 해봤으면..)

아이러니하게도 이게 "전문가의 겸손함"을 가지고 있다는 신호라거나,
"성장의 증거"라고 하는데, 정말일까…?

어떻게 대처할 것인가?

  • 세컨드 브레인 활용
    • 내 전박적인 삶에 큰 영향을 끼친 세컨드 브레인
  • quantity over quality
    • 둘 다 중요하지만, 하나를 고르라면 양이다.
    • 특히나 아직 내가 뭘 모르는지도 모르는 상태라면 더더욱.
    • 결국에는 질조차 양이 정하게 되어있다.

완벽한 기억력은 필요 없다

가장 중요한 점: 필요한 것은 완벽한 기억력이 아니라, 필요할 때 정보를 찾을 수 있는 능력!

요새는 GPT가 있다만, 구글의 엔지니어들도 스택오버플로우를 검색한다.
중요한 것은 모든 것을 기억하는 것이 아니라, 필요한 정보를 어디서 어떻게 찾을 수 있는지 아는 것이다.

결론: 까먹음을 받아들이고, 그냥 하기

지식의 망각은 자연스러운 현상이다.
꾸준히 공부하고 지속적으로 성장하는데 초점을 맞추자.
그리고 가끔은 스스로를 다독여주기.

"인공지능도 catastrophic forgetting 문제로 고민하는데, 괴로워할 이유 없다"

공부가 힘들 때 또 꺼내서 읽어보기.
오늘도 까먹고, 다시 배우고, 조금 더 성장하는 하루가 되길.

오늘도 잊는다
하지만 다시 쓴다.
결국 기록하는 사람이 생존한다.