LLM 코딩 연구

이 연구는 LLM이 코드베이스를 읽고, 변경안을 만들고, 도구를 사용해 검증하는 과정을 하나의 코딩 시스템으로 본다. 모델의 답변 자체와 파일 구조·의존성·빌드·테스트·사람의 검토가 제공하는 근거를 구분해 기록한다. 현재 공개 범위는 코드베이스 맥락 구성, 코드 생성·수정, 실행·검증 루프, 계획과 도구 호출을 포함한 에이전트 구조다. 특정 모델이나 도구가 일반적으로 더 우수하다고 전제하지 않으며, 실제 저장소·요구사항·실행 환경이 바뀌면 같은 변경안도 다른 결과를 낼 수 있음을 전제로 둔다. 통과한 테스트나 생성된 코드만으로 변경의 정확성·안전성·유지보수성을 확정하지 않는다. 검증 범위와 남은 반례를 함께 남기는 것을 공개 기록의 기준으로 둔다.

현재 공개적으로 확정된 것은 평가와 기록의 경계다. 코드 생성 품질, 저장소 맥락의 충분성, 에이전트의 도구 사용은 서로 다른 문제이므로 하나의 성공 지표로 합치지 않는다. 보편적으로 유효한 코딩 에이전트 구조나 검증 절차는 아직 확정하지 않는다.

파일·의존성·실행 조건 가운데 어떤 맥락이 코드 변경의 정확성에 실제로 필요한가? 빌드와 테스트 통과를 요구사항 충족·보안·유지보수성의 근거와 어떻게 구분할 것인가? 계획·도구 호출·검증·수정의 반복에서 모델 기여와 도구·환경 효과를 어떻게 분리할 것인가? 동일한 과제를 다른 저장소와 환경에서 재현할 때 어떤 기록을 남겨야 비교가 가능한가?