LLM Research LabLLM 알고리즘 연구로 돌아가기

MODEL LAB · 로컬 통합 후보

모델 실험실

작은 모델을 직접 학습하고, 생성 결과와 행렬의 실제 숫자를 살펴봅니다.

현재 웹에서 실행하는 모델은 241파라미터 tiny ABC 하나입니다. 기존 Graph/Session JS Float64 계산을 사용하며 Eigen과 수치 대조한 범위만 검증됐습니다. 한 문장 암기 실험이며 원본 대형 모델의 능력을 재현한 결과가 아닙니다.

모델 목록 7

선택 전에는 수치 모듈·Worker·체크포인트를 준비하지 않습니다. 나머지 항목은 기존 기록 또는 구조 설명이며 이 페이지에서 실행하지 않습니다.

검증된 작은 Transformer · ABC

이번 JS 실행 검증 모델 · 선택 후 준비

독립 파라미터
241
구조 기록
{"B":1,"T":4,"V":5,"d_model":4,"heads":1,"head_dim":4,"ffn":8,"layers":1,"seed":42}

기존 연구 ABC C8

기존 CPU 학습 기록 · 이 페이지 실행 미연결

독립 파라미터
1,365
구조 기록
{"vocabSize":5,"c":8,"context":8,"heads":2,"layers":2,"ff":16,"seed":42}

기존 한국어 C32

기존 CPU 학습 기록 · 이 페이지 실행 미연결

독립 파라미터
27,991
구조 기록
{"vocabSize":23,"c":32,"context":32,"heads":2,"layers":2,"ff":128,"seed":42}

기존 study-4×4

기존 추론 자료 · 이번 페이지 실행 미검증/미연결

파일에 저장된 원소 수
316 · 독립 파라미터 수와 다를 수 있음
구조 기록
{"model_type":"study-4x4","n_layer":1,"n_head":1,"n_embd":4,"vocab_size":4,"block_size":4,"embd_pdrop":0.1,"resid_pdrop":0.1,"attn_pdrop":0.1}

기존 nano-gpt 정렬

기존 추론 자료 · 이번 페이지 실행 미검증/미연결

파일에 저장된 원소 수
86,091 · 독립 파라미터 수와 다를 수 있음
구조 기록
{"model_type":"gpt-nano","n_layer":3,"n_head":3,"n_embd":48,"vocab_size":3,"block_size":11,"embd_pdrop":0.1,"resid_pdrop":0.1,"attn_pdrop":0.1}

기존 구조 실험 base/shared/untied/mlp

구조 소스 정의 · 이번 페이지 실행 미검증/미연결

구조 기록
{"c":4,"heads":1,"ff":8,"context":8}

기존 GPT-2 small/XL · GPT-3 모양 카드

구조 설명 카드만 · 가중치/실행 미연결

작은 모델 실행

재시도는 검증된 60회 체크포인트로 돌아갑니다. 여기서 새로 적용한 61회 이후 상태는 저장되지 않습니다. 취소·페이지 이동 후 학습 상태 저장/복원을 지원한다고 해석하지 마세요.

코드와 원본 체크포인트의 파일 한도는 1MiB입니다. 이는 전체 실행 RAM 보장이 아닙니다. 대형 모델은 연결하지 않았습니다. 화면은 선택한 행렬의 최대 24칸만 표시합니다.

모델 선택 대기 · 아직 계산하지 않았습니다.

현재 학습 회수와 loss는 모델을 준비하면 표시합니다.

실제 실행 결과 JSON
아직 실행 전입니다.
실제 준비 단계 기록

    후속 구조 실험 제안 4

    아래는 구조를 바탕으로 새로 학습할 제안입니다. 원본 가중치 압축판이 아니며, 아직 실행할 수 없습니다.

    GPT-2 구조 기반 재학습 실험 제안

    후속 제안 · 연산/예산 검증 전 · 실행 불가

    구조 기록
    {"layers":2,"d_model":32,"qHeads":4,"headDim":8,"ffn":128,"context":[32,64]}

    현대 GQA 구조 기반 실험 제안

    후속 제안 · 연산/예산 검증 전 · 실행 불가

    구조 기록
    {"layers":2,"d_model":32,"qHeads":4,"kvHeads":2,"headDim":8,"ffn":80}

    Qwen3 구조 기반 실험 제안

    후속 제안 · 연산/예산 검증 전 · 실행 불가

    구조 기록
    {"layers":2,"d_model":32,"qHeads":4,"kvHeads":2,"headDim":8,"ffn":96}

    후속 MoE 실험

    후속 제안 · 연산/예산 검증 전 · 실행 불가

    구조 기록
    {"experts":4,"topK":2,"expertFFN":48}