유망 국내 AI 모델에 대한 의혹 제기, 기술적 의견 전문가 의견 26-002 ''독자 AI 파운데이션 모델 Solar-Open-100B의 GLM-4.5-Air 파생 주장''
2026.1.2. 엠바고 없음
|
|
|
-
배경
- 1일, 국내 인공지능(AI) 기업 SionicAI의 고석현 CEO가 국내 AI 기업인 업스테이지의 독자 파운데이션 모델 Solar-Open-100B에 대해 의혹을 제기했습니다.
- 중국 기업 Z.ai의 모델(GML-4.5-Air)을 활용한 파생 모델이며, 이를 미세조정만 했다는 의혹입니다.
- 이에 대해 김성훈 업스테이지 대표는 "명백히 밑바닥부터(from scratch) 모델을 만들었다"고 반박하고, 공개 검증을 제안했습니다.
- 2일 오후 서울에서 공개 검증을 진행하기로 했습니다.
- 다른 전문가들도 검증에 참여(1) (2) (3)하는 등 공방이 이어지고 있습니다.
-
- 이번 논쟁에 대한 기술적 의견 또는 해설
- 논쟁이 나온 배경이나 맥락
- 제기된 논쟁을 이해할 수 있는 주요한 용어나 논리(예: Layernorm 파라미터의 의미, 코사인 유사도를 통한 모델 비교의 의의, 판정에 활용한 통계 등)
- 주장이나 반박, 검증 방법에 대한 의견이나 입장(예: 모델 레이어 비교에 코사인 유사도 사용이 적합한가, 아키텍처 비교는 타당한가 등)
|
|
|
기자 여러분은 아래 주의사항을 참고해 활용해주시길 부탁드립니다.
- 엠바고는 없습니다. 자유롭게 활용 가능합니다.
- 되도록 원문을 그대로 활용해주시길 부탁드립니다.
- SMCK를 꼭 인용할 필요는 없습니다. 만약 인용 출처가 필요한 경우, 아래 형식을 따를 수 있습니다.
- "ㅇㅇㅇ(전문가)는 한국과학기술미디어센터에 ㅁㅁㅁ라고 말했다."
|
|
|
임성빈 고려대 통계학과 교수
*2026.1.2.
두 LLM의 LayerNorm 파라미터의 cosine similarity(코사인 유사도)가 유사하다고 해서 “from scratch 학습이 아니다”라고 주장하는 것은 통계적으로 다소 무리가 있습니다. 왜냐하면 LayerNorm의 learning dynamics 때문입니다. LayerNorm의 initialization이 1 로 초기화되는데, layer(층)가 깊어질수록 1 근처에서 perturbation만 일어나기 때문에 cosine similarity 수치만 보면 0.9 이상 나오기 쉽습니다. 그러므로 이 경우 “from scratch가 아니다” 라고 결론을 내리는건 주의해야 합니다.
(*이를 반박하기 위해 다른 레이어 층간의 cosine similarity 비교도 한 것으로 보입니다만, 다른 독립적인 실험과 상반된 결과가 나와서 신뢰하기 어렵습니다.)
좀 더 신뢰성 있는 검정을 하려면 두 모델 layer 간 cosine similarity보다 파라미터의 분산과 절대적인 수치 차이를 봐야합니다. 즉, 모델이 학습하는 과정에서 데이터의 특성에 맞춰 parameter variation이 큼에도 두 모델의 cosine similarity가 높다면 from scratch가 아닌 fine-tuning(미세조정) 가능성이 높아집니다. 특히 파라미터 분포를 그려봤을 때 outlier(이상치) 위치가 일치한다면 의심해볼 여지가 있습니다.
(*다른 독립적인 실험에서 difference norm을 측정해주셨는데 fine-tuning 모델이라면 difference 벡터의 크기가 매우 작아야 합니다만, 그렇게 판정할 통계적인 수치는 아닌 것으로 보입니다)
*COI: 저는 특정 LLM 개발 회사와 관련이 없습니다.
sungbin@korea.ac.kr
|
|
|
한국과학기술미디어센터(SMCK) 소개
한국과학기술미디어센터는 근거 기반의 과학 정보를 언론에 제공하는, 과학계와 미디어 사이의 다리 역할을 하는 독립 비영리 조직입니다. 잘못된 정보와 가짜 뉴스가 넘쳐나는 세상에서, 제대로 된 전문가의 해설과 의견을 빠르고 다양하게 기자들에게 제시하고 이를 체계적으로 아카이빙하는 역할을 합니다.
2025년 7월 이사회를 구성하고(이사장 노정혜 전 한국연구재단 이사장) 센터장(이근영 전 한겨레 과학전문기자)을 선임했으며, 같은해 9월 개소식을 열며 활동을 시작했습니다.
*참고 기사:
SMCK 역할
SMCK는 세 분야 전문가인 과학자, 기관 커뮤니케이터(홍보팀), 기자에게 구체적인 도움을 드리고자 설립됐습니다. 각각 아래와 같습니다.
- 과학자, 연구자에게는 의견과 해설이 온전한 맥락과 함께 제공되는 안전한 발언 공간이 돼줍니다. 선의를 위해 한 논평이 기사화 과정에서 왜곡되거나 부정확하게 변질될 우려를 줄이는 완충 작용을 합니다.
- 기관 홍보 담당자에게는 기관의 성과를 기자들에게 보다 객관적이고 정교하게 알리고, SMC 글로벌 네트워크를 통해 영향력을 높일 기회를 제공합니다.
- 기자에게는 사안을 해석하는 데 도움이 될 치우침 없는 종합적인 정보를 빠르고 풍성하게 제공하고, 이를 통해 기사에서 과학과 기술을 보다 자유롭고 편리하게 활용하도록 돕습니다.
SMCK는 이를 통해, 궁극적으로 근거에 기반해 사안을 합리적으로 판단하고 이것이 정책에까지 반영되는 사회를 만드는 데 기여하고자 합니다.
해외 협력
사이언스미디어센터(SMC)는 2002년 영국에서 최초로 설립됐고 현재 호주와 뉴질랜드, 독일, 스페인, 대만 등으로 확장됐습니다. 글로벌 네트워크에 포함된 6개 조직은 엄격한 독립성과 신뢰성이라는 가치를 공유하고 있으며 협력을 통해 주요한 국제 과학 이슈에 공동 대응하고 있습니다.
한국은 신생 조직으로서 글로벌 네트워크와 긴밀히 협력하고 있습니다.
|
|
|
* 지난 의견은 '지난 의견 다시 보기'를 선택해주세요. |
|
|
내용문의: 윤신영 미디어국장 yoonsy@smck.or.kr
한국과학기술미디어센터(SMCK)
|
|
|
|
|
