Baek Seung Jin

배우고 경험한 것을 기록합니다.

방문자 수

Attention is all you need

13 분 소요

Transformer의 토큰화·임베딩·위치 인코딩, Query·Key·Value 셀프 어텐션, 멀티헤드 어텐션, 디코더의 크로스 어텐션을 작은 예제의 수치 계산과 함께 따라가며 정리합니다.

Deep Speech 2

4 분 소요

발음 사전과 프레임 정렬 없이 음성을 바로 텍스트로 바꾸는 바이두의 종단간 음성 인식 모델 Deep Speech 2의 구조와 학습·배포 기법, 그리고 이 논문이 보여준 대규모 엔지니어링의 의미를 정리합니다.

RNN regularization

3 분 소요

RNN의 순환 연결에 드롭아웃을 그대로 쓰면 왜 장기 기억이 무너지는지 살펴보고, 드롭아웃을 층간(수직) 연결에만 적용해 큰 LSTM의 과적합을 줄인 방법과 그 효과를 정리합니다.

LSTM

2 분 소요

긴 시퀀스에서 앞부분 정보를 잊어버리는 RNN의 한계를 짚고, LSTM이 Cell State와 Forget·Input·Output Gate로 장기 기억을 유지하는 원리를 수식과 함께 정리합니다.

RNN은 불합리할 정도로 유효하다 - 안드레 카파시

5 분 소요

안드레이 카파시의 ‘The Unreasonable Effectiveness of Recurrent Neural Networks’를 따라 글자 단위 RNN 실험과 당시의 논쟁을 살펴보고, hidden state를 중심으로 RNN의 구조와 계산 과정을 정리합니다.

ResNet

10 분 소요

깊은 신경망에서 생기는 Vanishing Gradient와 Degradation 문제를 짚고, ResNet이 Residual Connection으로 이를 어떻게 풀었는지와 한계, ResNet v2, dense prediction으로의 확장까지 정리합니다.

AirFlow에 대해서

5 분 소요

최근 한 기업의 데이터 엔지니어링 과제 전형을 진행하면서 공부한 AirFlow에 대한 개념을 정리하며 회고하는 글입니다.

데이터 엔지니어링 아키텍처

7 분 소요

데이터 웨어하우스의 필요성과 차원 모델링 (차원/사실 테이블), 스타 스키마, 스노우플레이크 스키마와 같은 구조와 ETL(추출-변환-적재), 데이터 레이크, Hadoop 에코시스템(HDFS, MapReduce, YARN), Spark에 대해 공부하고 기록합니다.

웹 서비스와 보안

17 분 소요

HTTP 프로토콜의 원리와 요청/응답 구조, HTTPS의 개념과 SSL/TLS 암호화 과정, DNS의 역할과 작동 원리(재귀적/반복적 질의), HTTP 상태 관리: 쿠키, 세션, JWT 비교, XSS, CSRF, SQL Injection 개념 및 방어 기법을 공부하고 기록합니다.

네트워크 통신

5 분 소요

인터넷과 프로토콜 개념, 회선 교환 vs 패킷 교환 방식 비교, 네트워크 계층(TCP/IP, OSI 7계층), 캡슐화/비캡슐화, 네트워크 장비의 종류를 공부하고 기록합니다.