두 LLM의 LayerNorm 파라미터의 cosine similarity(코사인 유사도)가 유사하다고 해서 “from scratch 학습이 아니다”라고 주장하는 것은 통계적으로 다소 무리가 있습니다. 왜냐하면 LayerNorm의 learning dynamics 때문입니다. LayerNorm의 initialization이 1 로 초기화되는데, layer(층)가 깊어질수록 1 근처에서 perturbation만 일어나기 때문에 cosine similarity 수치만 보면 0.9 이상 나오기 쉽습니다. 그러므로 이 경우 “from scratch가 아니다” 라고 결론을 내리는건 주의해야 합니다.
(*이를 반박하기 위해 다른 레이어 층간의 cosine similarity 비교도 한 것으로 보입니다만, 다른 독립적인 실험과 상반된 결과가 나와서 신뢰하기 어렵습니다.)
좀 더 신뢰성 있는 검정을 하려면 두 모델 layer 간 cosine similarity보다 파라미터의 분산과 절대적인 수치 차이를 봐야합니다. 즉, 모델이 학습하는 과정에서 데이터의 특성에 맞춰 parameter variation이 큼에도 두 모델의 cosine similarity가 높다면 from scratch가 아닌 fine-tuning(미세조정) 가능성이 높아집니다. 특히 파라미터 분포를 그려봤을 때 outlier(이상치) 위치가 일치한다면 의심해볼 여지가 있습니다.
(*다른 독립적인 실험에서 difference norm을 측정해주셨는데 fine-tuning 모델이라면 difference 벡터의 크기가 매우 작아야 합니다만, 그렇게 판정할 통계적인 수치는 아닌 것으로 보입니다)
한국과학기술미디어센터는 근거 기반의 과학 정보를 언론에 제공하는, 과학계와 미디어 사이의 다리 역할을 하는 독립 비영리 조직입니다. 잘못된 정보와 가짜 뉴스가 넘쳐나는 세상에서, 제대로 된 전문가의 해설과 의견을 빠르고 다양하게 기자들에게 제시하고 이를 체계적으로 아카이빙하는 역할을 합니다.
2025년 7월 이사회를 구성하고(이사장 노정혜 전 한국연구재단 이사장) 센터장(이근영 전 한겨레 과학전문기자)을 선임했으며, 같은해 9월 개소식을 열며 활동을 시작했습니다.
SMCK는 세 분야 전문가인 과학자, 기관 커뮤니케이터(홍보팀), 기자에게 구체적인 도움을 드리고자 설립됐습니다. 각각 아래와 같습니다.
과학자, 연구자에게는 의견과 해설이 온전한 맥락과 함께 제공되는 안전한 발언 공간이 돼줍니다. 선의를 위해 한 논평이 기사화 과정에서 왜곡되거나 부정확하게 변질될 우려를 줄이는 완충 작용을 합니다.
기관홍보담당자에게는 기관의 성과를 기자들에게 보다 객관적이고 정교하게 알리고, SMC 글로벌 네트워크를 통해 영향력을 높일 기회를 제공합니다.
기자에게는 사안을 해석하는 데 도움이 될 치우침 없는 종합적인 정보를 빠르고 풍성하게 제공하고, 이를 통해 기사에서 과학과 기술을 보다 자유롭고 편리하게 활용하도록 돕습니다.
SMCK는 이를 통해, 궁극적으로 근거에 기반해 사안을 합리적으로 판단하고 이것이 정책에까지 반영되는 사회를 만드는 데 기여하고자 합니다.
해외협력
사이언스미디어센터(SMC)는 2002년 영국에서 최초로 설립됐고 현재 호주와 뉴질랜드, 독일, 스페인, 대만 등으로 확장됐습니다. 글로벌 네트워크에 포함된 6개 조직은 엄격한 독립성과 신뢰성이라는 가치를 공유하고 있으며 협력을 통해 주요한 국제 과학 이슈에 공동 대응하고 있습니다.
