데분데싸

확률분포 생김새 확인!

번역글 출처: https://m.dcinside.com/board/github/31416 Matthew Lai, Research Engineer at DeepMind, coauthor of "AlphaGo" : 퍼포먼스를 예측할 때 면접자의 경험은 형편없는 지표이기 때문입니다. 저는 이제 경력 5년차이며, 알파고 프로젝트를 포함한 많은 첨단 머신러닝 프로젝트에 참가했습니다. 경력이 고작 2년뿐인데도 지금의 저보다 훨씬 유능한 사람을 저는 여러 명 보았습니다. 경력을 20년 넘게 쌓았는데도 제가 대학에 입학할 당시보다도 훨씬 실력없는 사람을 저는 수도 없이 봅니다. 저는 CTO라든지 기술 리드라든지 하는 멋진 직함을 가진 사람들을 많이 면접 보았습니다. 이 중 많은 사람들은 제가 기술적 질문을 하기 시작하..

GPT-4를 요즘 일할 때에도, 공부할 때도 정말 적극적으로 활용하고 있다(문명의 발전 만세!!!). ChatGPT로는 워낙 장난을 많이쳤더니, 얘가 말하는 것을 도저히 믿을 수가 없어라. 그래서 GPT-4를 결제했다. 결제 후 결과는 이렇게 만족스러울 수가 없는데, 특히 오늘은 논문을 공부할때 꽤나 도움을 받는 방법을 발견해서 공유하고자 글을 쓴다. 해당 논문은 졸업 논문을 작성하기 위해 학습하는 내용이 담겨져 있는 논문이다. 위 논문을 이해하기 위해 GPT-4를 쓴다고 해보자. 그런데 만약 저 수식이 이해가 안된다면 어떻게 해야할까? 어떻게 GPT-4에게 설명해달라고 할 수 있지? GPT-4는 latex로 주면 이를 이해해서 설명해준다고 한다. 그럼 논문 paper를 latex로 변환시키면 되잖아? ..

MC(Monte Carlo)/TD(temporal difference) Control 구현¶ 간략화된 정책 이터레이션 사용함 얕은 정책 평가 1번, 정책 개선 1번 번갈아 진행 순서 한 에피소드의 경험을 쌓음 경험한 데이터로 q(s, a) 테이블의 값을 업데이트 하고(정책 평가) 업데이트된 q(s, a) 테이블을 이용하여 $\epsilon-greedy$ 정책을 만들기(정책 개선) In [1]: import random import numpy as np In [2]: class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): # 0번 액션: 왼쪽, 1번 액션: 위, 2번 액션: 오른쪽, 3번 액션: 아래쪽 if a==0: self..

MC(Monte Carlo)/TD(temporal difference) Prediction 구현¶ 4가지 요소를 구현하여야 함 환경: 에이전트의 액션을 받아 상태변이를 일으키고, 보상을 줌 에이전트: 4방향 랜덤 정책을 이용해 움직임 경험 쌓는 부분: 에이전트가 환경과 상호작용하며 데이터를 축적 학습하는 부분: 쌓인 경험을 통해 테이블을 업데이트 In [1]: import random import numpy as np class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): # 0번 액션: 왼쪽, 1번 액션: 위, 2번 액션: 오른쪽, 3번 액션: 아래쪽 if a==0: self.move_left() elif a==1: sel..

지난 강의에 이어, 감사하게도 중앙교육연수원에서 새롭게 강의를 요청해주셨다. 이번엔, 전국 9급 신규 임용자 150명을 대상으로 빅데이터에 대한 이해와 사례들을 위주로 2시간 강의를 요청해주셨다. 지난 강의는 내가 있는 센터에 대한 소개와, 센터에서의 데이터 분석 사례들을 위주로 강의를 진행했다면 이번에는 센터가 아닌 데이터 그 자체에 대해 조금 더 초점을 맞춰서 준비를 할 수 있었다. 강의를 준비하면서, DALL-E 2가 정말 핫해서 써보고싶었는데, 아쉽게도 사용할 수 없어 DALL-E를 사용해서 입력 키워드가 무엇일지 막간을 이용한 퀴즈도 냈다. DALL-E 2 대신 퀄리티 좋은 그림을 무료로 그려주는 인공지능 서비스도 몇 개 더 활용했다. https://midjourney.com/ 에서 그림을 그릴..

중앙교육연수원에서 전국 신임 장학사 및 교육 연구사 150명 대상의 역량강화 과정으로, 빅데이터에 관한 교육 요청을 받아 강의를 할 기회가 생겼다. 원래 내가 강의를 맡을 계획은 아니었지만 당초 강의를 진행할 예정이었던 회사 선배가 강의 직전 주말 코로나에 걸리는 바람에 땜빵으로 급하게 내가 강의를 진행한 것이었다. 한 번 강의를 해보는 것도 재밌고 좋은 경험일 듯 하여 선뜻 나섰고, 주말을 반납하고 내 식대로 강의자료를 보완하고 다듬었다. 지금까지 일을 해오신 경력과 연륜이 있으신 분들 앞에서 이야기를 하려니 떨리기도 했지만, 책을 펼치면 단순히 3V, 5V로 밖에 표현되지 않은 빅데이터의 특징을 내가 지금껏 경험하면서 느낀 직관과 경험을 토대로 더욱 풍성하게 덧대어 이야기 할 수 있어 좋은 경험이었다..

가끔씩 다시 보면 생각이 잘 안난다. 맨날 까먹네. 공부가 부족한가보다. [데이터 사이언스에 많이 사용되는 확률밀도함수들] - Bernoulli 동전의 앞/뒤처럼 이벤트가 0 또는 1밖에 일어나지 않는 분포를 말합니다. 동전은 확률이 0.5/0.5 겠지만 다른 경우도 있을 수 있겠죠 - Uniform 주사위처럼 모든 결과에 대한 확률이 동일한 확률분포입니다. - Binomial 동전을 n번 던졌을 때 p번만큼 앞면이 나올 확률은? Binomial은 이렇게 0 또는 1이 나오는 이벤트(각각이 Bernoulli확률을 갖는 이벤트)에 대해 1이 발생활 횟수에 대한 확률입니다. - Poisson 1시간에 평균 10번의 전화통화가 온다고 해봅시다. 그렇다면 한시간에 12번 전화통화가 올 확률은? 이것이 바로 po..

생전 처음 보는 오류를 접했다. 티스토리에서 블로그 본문으로 쓸 수 있는 길이를 초과했다고 하는데, 본문 글을 보면 특별히 길지 않은데 아마 본문 글에 plotly 그래프가 여러개 삽입되서 오류가 나는 것 같다. 그래서 그냥 html 파일로 업로드를...!

LightGBM을 활용한 지도학습 기반의 이상 데이터 탐지 모델 개발¶ 활용 데이터: 차량 해킹 공격 데이터셋 (https://ieee-dataport.org/open-access/car-hacking-attack-defense-challenge-2020-dataset), 1. 분석 배경 및 목적 설명¶ 1) 배경¶ 차량 해킹 공격 데이터 셋은 차량 내 네트워크에서 널리 사용되는 표준인 CAN(Controller Area Network)의 공격 및 탐지 기술 개발을 목표로 고려대학교 해킹대응기술연구실에서 수집한 데이터 셋입니다. 본 자료에 활용된 데이터 셋은 현대 아반떼 CN7을 탑승하여 실제 수집한 데이터입니다. 따라서, 데이터셋은 일반 메시지와 공격 메시지를 포함하는 아반떼 CN7 CAN 네트워크 트..