LLM 최적화

입력 표현을 바꾸는 방법과 모델 가중치에 직접 개입하는 방법을 분리해 비교한다. 토큰화·입력 표현의 변화가 모델 내부의 특정 표현 방향과 낮은 확률의 목표 출력에 미치는 문제, 출력 방향을 바꾸는 국소 개입, 여러 모델과 작업에서 유지될 LLM용 일반 언어의 표현 규칙을 연구 대상으로 둔다. 각 개입은 같은 기준 입력과 모델에서 반복하고 목표 출력의 변화뿐 아니라 정확성·일관성·일반 능력 손실·예상하지 못한 부작용을 함께 기록한다. 특정 답변을 만들었다는 사실만으로 지식 수정이나 최적화가 성공했다고 판정하지 않는다.

현재 공개적으로 확정된 최적화 기법은 없다. 입력 변형과 가중치 개입은 효과의 크기, 지속성, 전이, 복구 가능성이 다르므로 별도 실험으로 다뤄야 한다. 목표 출력 확률의 증가는 사실성이나 일반 성능의 향상과 동일하지 않다.

강화하려는 방향 성분을 모델과 토크나이저에 의존하지 않는 측정값으로 어떻게 정의할 것인가? 입력 변형과 가중치 개입의 효과를 같은 비용·성능·부작용 기준으로 비교할 수 있는가? LLM용 일반 언어의 표현 단위와 조합 규칙은 모델이 달라져도 유지되는가? 개입을 제거했을 때 원래 동작으로 안전하게 복구되는가?