오늘은 정말 소오름 끼치는 하루를 보냈다.
평소 구독 수준으로 즐겨보는 블로그가 있다. 알만한 사람들은 모두 다 알고 있는, 이름하야 파비 블로그이다.
내가 데이터 업무를 얕게 나마 시작한 이후부터, 나의 데이터 직무에 관한 가치관을 쌓아나가는데 지대한 영향을 미친 블로그이다.
숨길 수 없는 강한 어조 탓에 불쾌감을 굉장히 짙게 드러내는 분들도 많지만, 굉장한 high level이라는 건 글 몇 개만 보더라도 충분히 느낄 수 있어 최대한 감정은 빼고 지식만 보자(직관을 얻자)는 느낌으로 쭉 보고있다.
현재는 조금 시끌시끌해도 대학원까지 성공적으로 운영하고 계신 것 같고, 대학원 설립 전에는 특강 형식으로 수업을 하셨는데 강의 수강료가 워낙 비싸 수강하진 못했고 그 대신 몰라도 무작정 블로그 글들은 올라오는 족족 다 열심히 읽었다.
그런데, 놀랍게도 오늘 파비 블로그에서 강조하던 몇 가지 내용을 교수님이 정말 그대로 말씀을 하셨고, 속으로 몇 번이나 소름끼쳤는지 모르겠다.
<소름 포인트 1>
해외 빅테크 기업들이 엄청난 계산 방법론의 알고리즘을 쓸 것 같지만,
많은 경우 간단한 Regression으로 해결하고, OLS로만 해결하는 경우도 상당히 많다.
다만 그 안의 의미가 나 같은 원숭이는 이해하지 못할 정도로 깊다고 말씀해주셨다. 파비블로그를 보다 보면 위의 내용을 심심치 않게 볼 수 있었는데, 그 말씀을 그대로 하셔서 정말 깜짝 놀랐다.
<소름 포인트 2>
Neural network는 결국 Regression의 촘촘한 집합일 뿐이다
UAT(Universal Approximation Theorem)에 의해 Neural network 구조가 일반적인 근사함수 형태로 표현될 수 있다는 것이 증명되었다. 따라서 네트워크를 이루는 perceptron의 개념을 풀어가면서, Hidden layer가 등장하게 된 배경과 Neural network는 결국 perceptron을 이어나가는 방식일 뿐이라는 것, 그리고 그 단일 perceptron의 계산 방식이 결국 regression을 풀어나가는 것과 크게 다르지 않다라는 말은 파비 블로그에서 늘 강조해오던 말이었는데, 그 말을 직관적으로 이해할 수 있었다.
<소름 포인트 3>
해외 빅테크 기업의 면접에서는 Causation vs Correlation에 관하여 정말 집요하게 물고 늘어진다
교수님께 앞으로의 내 연구주제로 삼고 싶다고 말씀드렸던 분야가 causal inference다. 이에 대한 감을 잡기 위해
정말 괜찮은 유튜브 채널을 하나 찾아서 틈날 때마다 필기까지 해가면서 열심히 강의 session을 수강하고 있다.
https://www.youtube.com/watch?v=3JUlFC1LuIk&list=PLKKkeayRo4PWyV8Gr-RcbWcis26ltIyMN
그런데 해외 빅테크 기업의 면접 사례를 말씀해주시는데, 마침 나의 관심분야에 대해 알고계셨던 것처럼 정확히 그에 대한 말씀을 하셔서 소-오름이었다.
결론적으로, 그동안 고민하던 연구방향과, 앞으로 어떤 공부를 하고싶은지 교수님께 말씀드렸고, 교수님께서도 긍정적으로 반응해주셔서 기분좋게 하루를 마무리 할 수 있을 것 같다.
참고로 2021년 노벨경제학상은 Causal inference를 연구하셨던 분이다. 어쩌면, 내가 원하던 그 멋있는 Data Scientist가 되기 위해서 계량경제학 공부는(그 내면에 산재되어 있는 여러 수학/통계 공부는) 인생에 있어서 몇 안 될 신의 한수가 될 것 같다.
'끄적끄적' 카테고리의 다른 글
(22.10.) 중앙교육연수원 9급 신규자 직무역량 과정 강의 후기 (0) | 2022.12.30 |
---|---|
(22.08.) 중앙교육연수원 신임 장학사/교육연구사 대상 강의 후기 (1) | 2022.12.29 |
Data-centric AI (0) | 2022.04.20 |
pytorch lightning 기초 형태 정리 (0) | 2022.03.19 |
데싸 얘기, 면접질문 등 (0) | 2022.02.18 |