구차니의 잡동사니 모음

그냥 클로드가 다해줘버리는 느낌이라 모르겠다 ㅋㅋㅋㅋ

아무튼, 이번 실험의 주제는 model이 우선이냐, sft가 우선이냐 인데

결론만 보면 "결과물의 품질은 model이 우선이다, 하지만 사용자 체감은 model 이 동등할 경우 sft가 크다." 이다

정작 학습된 모델도 openSCAD로 내가 원하는대로 작동을 만들어낼 순 없긴한데..

얼마나 더 많은 자료와 gpu를 때려박아야 작동할까 -ㅁ-?

아래는 그나마 그려지는 예. 그 와중에  python 으로 하라는데 sft 영향을 강하게 받아서 openSCAD로 해버린다.

> cube each 1m cube([1,1,1]); [ Prompt: 9.9 t/s | Generation: 40.3 t/s ]
> donut cylinder (h=1, r1=1.5, r2, $fn=32); [ Prompt: 155.9 t/s | Generation: 39.6 t/s ]
> rectangle in python cylinder (h=1, r1=1, r2, $fn=32); [ Prompt: 177.6 t/s | Generation: 42.0 t/s ]

일단 이번 테스트 요약하면

1. model의 크기, 정보량이 결국은 결과의 품질을 보장한다.

2. epoch가 높진 않다. 1~2 epoch. 그래서 미친듯이 원본 데이터를 수집하는 거군.. ai 업체들이 톤 단위로 책 사들이는 이유..

3. sft는 생각외로 사용자 체감이 크고, 본 학습 시간보다 sft는 빠르게 끝난다. 좋게 보면 학습에 대한 효율이 좋다.

요즘 가장 핫한 녀석

llama.cpp 처럼 ai 모델을 돌리는 프로그램인데

qwen3.8 flash next를 돌리는데 목적이 있는 것 같다.

[링크 : https://github.com/niko1221/strata]

대충 계산해보면.. 최악의 경우(?) 131 * 3.3G = 432.3GB 정도 되는 모델이고

[링크 : https://huggingface.co/Qwen/Qwen3.8-Flash-Next/tree/main]

Q2 양자화로도 80기가.. 아니 이걸 어떻게 돌리라고 -_-

[링크 : https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/tree/main]

아무튼 VRAM을 최소화(?) 하고 RAM을 미친듯이 먹는걸 보면..

cpu offload는 하지 않고 아주 빈번하고 VRAM을 바꾸면서 연산을 하도록 하여, 대용량 모델을 돌릴수 있게 하나보다.

클로드 갈궈서 어느정도 결과가 나왔지만

검증하다 보니 다시 추가학습을 시켜야 해서 일단 part 2로 가야 할 듯 -_ㅠ

실험의 목적

• sft(supervised fine tunning)이 모델의 효용을 올리는데 얼마나 중요할까 (= 모델빨 vs 대답 채찍질 빨)
• sft의 형상에 따라 LLM이 얼마나 코딩을 잘하게 될까

실험설계

• 프로그래밍 하려면 이전의 것으로는 안된다고 함
  • 프로그램을 위해서는 토크나이저가 공백, 엔터, 탭등을 날려먹으면 안되니까
• 다국어 하려니 학습셋과 시간이 문제라 영어로만 제한
• 프로그래밍을 위해 python과 openSCAD 문법을 중심으로 학습
• sft 하나는 python에 특화, 다른 sft는 openSCAD에 특화 시키기
• 이런저런 이유로 110M 정도 까지 모델 크기가 증가했고, 그래픽 카드 양쪽으로 나눠서 학습 진행

현재상태

• 학습 완료. 다만 입력 포맷만 다른 두개의 모델이 되어버려서, 추가로 학습중
• 기존은 python / openSCAD를 다루고 (대화로),
• 새로 할 것은 openSCAD에 대한 sft만 진행하고 python을 물어봐서 품질을 볼 것임

으아아 내 26시간 ㅠㅠ

일단 특이하게도 학습 자체는 1 epoch만 돌리는게 표준이라고 한다. 반복해서 보는 것 보다 새로운걸 보는것이 이득이라고 하는데

sft 자체는 2~3 epoch 정도 반복으로 보는게 낫다고 한다.

아래가 잘못 진행된 실험.

base 모델은 llama-completion으로 말을 주면 이어 나가도록 구성된 모델이고

sft_plain은 sft를 통해 openSCAD 형태의 출력을 학습시킨 모델

sft_chat은 llama-cli 를 통해서 채팅 형태로 학습된 모델

[링크 : https://www.aitimes.com/news/articleView.html?idxno=170323]

[링크 : https://en.wikipedia.org/wiki/Cyc]

[링크 : https://ko.wikipedia.org/wiki/Cyc]

[링크 : https://cyc.com/]

[링크 : https://arxiv.org/abs/2006.08381]

여긴 키워드로 긁혀져서 보는데..

이건 diffusion model 비스므리하게(?) 생성되는 느낌이고

[링크 : https://github.com/DreamLM/Dream-Coder]

이건 일종의 에디터 같기도 하고?

[링크 : https://www.dreamcoder.ai/]

1시간 일찍 사용을 시작하면 좋겠다 싶어서  (리셋 때문에)

찾아보게 되었는데

옆자리 분은 tmux로 클로드 띄우고 특정 터미널이나 tmux에게 명령 보낼수 있으니

간단하게 ping 하면 pong 하라는 걸로 haiku 모델로 설정해서 쓰신댔는데

인터넷 검색하니 레딧에서 루틴이라는게 있대서 시도해봤는데

제법 깔끔하게 잘 작동하는 듯 하다.

출근하고 10시에 작동하면 매번 3시에 리셋되어서 좀 불편했는데

2시 리셋이면 밥 먹고 와서 딱 연결해서 하면 하니 좋아좋아.

이게 어떤 조건으로 주는건지 모르겠는데

음.. 5시간 및 주간 한도 리셋이라..

"이번이 유일한 초기화 기회"라..

llm 초기값

모든 값이 동일하면(0.0이거나 1.0이거나)

뉴런이 하나인거나 다름없어서 학습이 시작조차 못해서

랜덤값으로 초기화한다고

어떻게 보면 질서속 노이즈 속에서 인간의 지능도 생겨난거라 생각하니 신기하다

+

이번에 LLM 만드는데 sft(supervised fine tuning)을 거치면 그럴싸하게 대답을 하는데

모델 자체를 학습하지 않고 모든 값을 0으로 설정해서 sft를 하면 어떻게 될까 궁금했는데

claude 말로는 0으로 초기화 하나 1로 초기화 하나 뉴런이 1개인것 처럼 작동해서 학습 자체가 성립되지 않는다고 한다.

그걸 symmetry (대칭성) 문제라고 하는데 실제 존재하는건진 모르겠고(!)

Xavier 초기화 He 초기화 등으로 적용되나보다.

아래 내용 요약하면 Xavier 초기화 하면 정규분포로 노이즈를 생성하고, ReLU 에서 역전파시 음수값 날려먹어서 학습이 안되어

그걸 개선하기 위해 He 초기화는 2/n 으로 더 큰 표준편차를 이용하여 음수 영역을 제거하나 보다.

[링크 : https://yijoon009.tistory.com/entry/weight-initialization-Xavier-initialization-He-initialization]

일정한 규칙 속에 노이즈에 가까운 값이 문제없이 학습을 계속할수 있게 만드는데  "규칙속의 카오스" 라는 느낌마저 든다.

그런데 행렬을 곱하고 더하고 하면서

nvidia volta 이후 tensor core 에서는 mad 명령을 지원하는데 npu의 접근을 어떻게 보면 gpu에서도 끌어온거고

게임에는 전혀 도움이 안되지만 행렬곱+행렬 덧셈으로 이어지는 신경망에서는 큰 도움이 된다고 한다.

고민해보면 행렬곱하면서 특정 값들은 0을 곱해서 날려버리는데

특정 조건의 경계치를 넘지 못하면 0을 곱한다면 if-else와 동등해지고

결국 신경망은 행렬 곱/합 으로 이루어진 고차 방정식(?)과 제어문으로 이루어진 코드와도 동등하지 않나 생각이 된다.

신경망이라는게 어짜피 회귀분석을 통해 최적 값을 찾아가게 할 뿐 그 안에서 이뤄지는 행렬식 자체는 고민 안해봤었는데

그렇게 생각하니 참 신기한 접근이구나 싶기도 하다.

그 이외에 망상을 더해서 안드로메다로 가버린 대화내용 ㅋㅋㅋ

[링크 : https://claude.ai/share/4e3cd6bc-c3b0-4e4d-bb71-e488ff76b524]

+

그런데 ai가 어떻게 보면.. 사람을 망상선(불교)로 끌어들이는 것 같기도 하고..

그런 망상선을 통해서 brute force 하듯 인간이 깨닫지 못하는 그 위로 올라가버리는 것 같기도 하고..

음.. 가장 최신은 아니지만

b11158 를 받아서 빌드된걸 보니 llama-diffusion-cli가 없다.

그래서 빌드해둔거 보니까 있네? 머지?

용량 자체는 동일 양자화면 차이가 거의 나지 않는다.

diffusiongemma-26B-A4B-it-Q4_K_M.gguf 16.8 GB

[링크 : https://huggingface.co/unsloth/diffusiongemma-26B-A4B-it-GGUF]

gemma-4-26B-A4B-it-UD-Q4_K_M.gguf 16.9 GB

[링크 : https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF]

근데 실행이 안된다?

으음? 봐도 모르겠다!?

모델 카드랑 claude에서 해보니

정식으로 gemma-diffusion은 llama.cpp에서 채택이 안되고 특정 커밋으로 가야 한다고 한다.

그래도 돌릴 수 있는게 어디냐~

[링크 : https://huggingface.co/unsloth/diffusiongemma-26B-A4B-it-GGUF]

다시 보니 여기서도 diffusion model이라고 하지 gemma-diffusion이라고 하진 않았네

[링크 : https://github.com/ggml-org/llama.cpp/blob/master/examples/diffusion/README.md]

응 니꺼에서는 못돌려~

클로드 붙여서 어떻게든 돌려보려고 발악(!)

context도 확 줄여도 메모리 엄청 먹나보다. 둘 다 거의 100% 때려버리네

뭔가.. 기본 질문이라도 있나? 프롬프트 없이 돌려도 이러고 난리다

아래 옵션으로 하니 먼가 되기 한다.  ai님 만세!

일단 아까 설정한 -n 1024 로 한번에 1024 토큰 생성하는 거라서 그런가

답변이 넘어가면 diffusion step 이 다시 0/... 으로 돌아가버린다.

생성 토큰이 짧게 제한되서 그런가 답변이 나오다 끊어진 느낌

그래도 좀 신선하네 ㅎㅎ

unsloth 형님들 만세!

3달전에 올라온 따끈한 모델

[링크 : https://github.com/ggml-org/llama.cpp/blob/master/examples/diffusion/README.md]

[링크 : https://huggingface.co/google/diffusiongemma-26B-A4B-it]

[링크 : https://huggingface.co/unsloth/diffusiongemma-26B-A4B-it-GGUF]

어우 도대체 프론티어 모델들을 돌리는 데이터는 얼마나 어마어마하게 쌓여있어야 하고

얼마나 대단한 컴퓨팅 파워를 필요로 하는걸까?

대답은 이 난리가 나고 있다.

대충 9 epoch / 23118 스텝 학습