Everything is a
trade-off relationship.

AI/ Deep Learning

FD-VLA 논문리뷰

서론 1. 기존 문제점 VLA가 정밀한 접촉 작업을 수행하려면 힘(Force) 정보가 중요하지만, 힘-토크 센서는 비용이 높고 하드웨어 복잡성을 증가시킨다. 2. 핵심 아이디어 학습 단계에서는 실제 힘 센서 정보를 활용하되, 추론 단계에서는 카메라 영상과 로봇 상태만으로 힘과 관련된 특징을 예측하는 FD

2026년 10월 16일

AI/ Deep Learning

HapticVLA 논문리뷰

서론 1. 기존 문제점 VLA가 정교하고 안전한 접촉 작업을 수행하려면 촉각 정보가 중요하지만, 전용 촉각 센서는 비용이 높고 로봇 플랫폼 간 재현성이 떨어진다. 2. 핵심 아이디어 학습 단계에서는 촉각 센서를 활용하되, 추론 단계에서는 촉각 센서 없이도 촉각을 고려한 행동을 수행하는 VLA를 제안한다.

2026년 10월 16일

AI/ Deep Learning

PFD 논문 분석

9/28 Student가 관측하는 정보를 H Teacher와 Student의 출력차이 correction을 r Adapter를 g(\cdot) 하자. → Student가 가진 정보 H만으로 실제 correction r을 어디까지 예측할 수 있을까? 설정 Teacher: (\text{propriocepti

2026년 10월 11일

AI/ Deep Learning

Protecting Language Models Against Unauthorized Distillation through Trace Rewriting 논문리뷰

서론 Knowledge Distillation은 LLM의 능력을 더 작고 효율적인 Student 모델로 전달하기 위해 널리 사용되는 기술이다. 그러나 공격자가 Teacher API의 응답을 대량 수집하여 Student를 학습시키면, 원본 모델 개발에 투입된 비용을 부담하지 않고도 그 능력을 모방할 수 있

2026년 10월 10일

AI/ Deep Learning

Distillation Robustifies Unlearning 논문리뷰

서론 기존 LLM의 Unlearning은 특정 지식을 잊은 것처럼 행동하도록 만들지만 내부의 잠재 능력은 여전히 남아 있어 조금의 Fine-tuning만으로도 해당 지식이 복구되는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 Unlearning과 Knowledge Distillation을 결

2026년 10월 10일

AI/ Deep Learning

PFD 논문 연구 실험

0. R의 문제 R=\frac{(m(h)-c)^2}{E[(r-c)^2\mid H=h]} 분모는 Student가 동일한 입력 h를 받았을 때 발생할 수 있는 모든 Teacher residual r에 대한 평균 오차. 예를 들어 Student가 입력 A를 받았다고 하자. Student는 Aa와 Ab를 구분하

2026년 10월 9일

Reinforcement Learning

PPO의 평균과 분산 해석

서론 학습도중 P1_v8(보라색) 그래프의 개형이 Reward는 상승하는데 Entropy가 감소하지 않는 것이 어떻게 발생하는지에 대해서 알아본다. 본론 L^{CLIP} = \mathbb E_t \left[ \min \left( r_tA_t,\; \operatorname{clip}(r_t,1-\epsil

2026년 9월 30일

AI/ Deep Learning

생성 모델 2장 (작성중)

서론 이번장은 1장의 마지막 질문인 Z_\theta=\int f_\theta(x)dx 라는 적분을 실제로 어떻게 다룰 것인가?에 대해서 이여서 다뤄본다. 이를 해결하기 위한 방법 ① 이미 풀린 꼴을 이용하는 방법(가우시안) ② 표본 평균으로 적분을 근사하는 방법(몬테카를로) 를 다뤄본다. 본론 1장에서

2026년 9월 26일

AI/ Deep Learning

생성 모델 1장

서론 생성 모델의 핵심 문제는 단순히 학습 데이터를 외우는 것이 아니라, 데이터가 어떤 규칙에 따라 나타나는지를 나타내는 관측된 데이터의 분포를 학습하는 것이다. 그런데 여기서 딜레마가 생긴다. 복잡한 데이터 분포를 충분히 표현하는 것과 그 분포에서 확률 또는 확률밀도를 실제로 계산할 수 있게 만드는 것

2026년 9월 20일

AI/ Deep Learning

PFD 논문리뷰

서론 PFD는 “미래 영상을 예측하도록 학습시키는 것이 실제 행동 성능에 왜 도움이 되는가?”라는 질문에서 출발한다. 학습할 때 World Action Model은 보통 두 가지를 같이 학습한다. 현재 장면을 보고 로봇 action 예측 현재 장면을 보고 미래 영상 예측 그런데 최근 연구에서 학습이 끝난

2026년 9월 15일

Mathematics

수반행렬(Adjoint Matrix)

소행렬식(Minor Determinant) n\times n 정방행렬 A에서 어떤 원소 a_{ij}를 기준으로 i번째 행과 j번째 열을 제거한 뒤 남은 부분행렬의 determinant를 소행렬식이라고 한다. 이를 예를 들어 (1, 1) 원소의 소행렬식 위와 같은 행렬이 있을 때 1행과 1열을 제거한 행렬

2026년 9월 10일

AI/ Deep Learning

[ML] Jacobian 2

서론 이 장에선는 Jacobian이 다루는 함수 구조에 대해서 자세히 알아본다. Jacobian shape 다변수 벡터 함수 ‭f: \mathbb{R}^n \to \mathbb{R}^m‬‭‬ ‭‬‭‬‭‬은 ‭n\times1 차원의 실수 성분을 입력받아 ‭m\times1‬개의 실수 성분을 출력하는 구조를

2026년 9월 9일