진행 상황 로그

251010 - 논문 리뷰

토마토 스마트팜 특화 소형 언어모델의 효율적 경량화 연구

작성하신 논문을 간단히 2회독을 하고 생각나는대로 적어본 강점 및 약점입니다. 읽어보시고 수정해보심이 좋을 듯 합니다.

강점

1. LLM을 적용하기 어려운 자원 제약이 있는 스마트 농업 환경에 소형 언어 모델을 경량화 해 배포하려는 연구 목포를 설정하였으며 실질적 산업적 요구를 해결 및 스마트 농업 지속 가능 발전에 기여.
2. BLEU, ROUGE와 같은 정량적 지표와 LLM-as-a-Judge를 활용한 정성적 평가를 사용 정량적 및 정성적 평가를 하려고 한 시도 자체가 좋음.

약점

1. 폰트 크기 제각각 및 잦은 띄어쓰기 누락 및 추가
   1. 표 크기 및 형태 제각각이며, Table 제목 크기가 다 제각각
   2. 논문 양식에서 벗어나지 않게 잘 작성해야 함(쪽, 페이지 규격 등). 아래 표 2의 제목은 평균 폰트보다 작고, 표 3의 내용 역시 평균 폰트보다 작다. 문단 당 여백은 계속 다르고 일정하지 않다. 표 2는 페이지 규격을 넘어 침범했다.
2. 전반적 명료성이 부족
   1. 모든 논문의 문장은 주어와 동사를 갖춘 완전한 문장으로 작성해야 함
   2. 각 블록이 전하고자 하는 핵심 메세지를 명확히 서술해야 함
3. GPT-5를 사용해 데이터셋을 생성했다고 언급했으나, 어떻게 생성했는지 설명이 전혀 없어 연구 재현성 및 투명성이 결여되어 있음
   1. 생성된 데이터 규모, 특성, 품질 검증 방법에 대한 정보가 없어 데이터 편향 가능성을 평가 할 수 없으며 따라서 모델 성능 평가의 신뢰도를 낮춤(훼손)
      1. 제시된 수치들의 의미가 불분명 벤치마크 생성 방법론에 따라 GPT-5를 사용한 프롬프트 엔지니어링 전략, 데이터 생성 및 정제 과정을 상세히 기술하고, 생성된 데이터 셋의 총 개수, 질문-답변 쌍의 예시, 통계적 특성(평균 길이라던가 어휘 다양성 등등)을 명시해 투명성 확보해야 함. 생성된 데이터 품질을 검증한 방법을 명확하고 구체적으로 서술하고 GPT-5 사용에 따른 잠재적 편향 완화 위한 노력을 설명해 데이터셋 유효성을 입증해야 함.
4. 관련 연구 섹션이 지나치게 간략하며, LoRA, 양자화, SLM 등 핵심 기술에 대한 선행 연구 검토가 매우 부족하며, 스마트 농업 분야 유사 경량화 시도등의 동일 도메인 유사 연구와의 비교 분석이 없어 본 연구의 독창성 및 학문적 위치가 불명확.
   1. 선행 연구를 충분히 다루지 않아 문헌적 위치 설정이 불충분 연구 섹션을 확장해 LoRA, 4비트 양자화, 모델 압축, 엣지 AI 배포에 대한 문헌 검토를 추가해야 함. 스마트 농업 분야 SLM을 활용한 연구, 특히 Gemma3-1B-it와 유사한 경량 모델을 사용한 연구를 검토해 본 연구와 구체적 기술적 차별점을 명확히 재시해 선행 연구 대비 본 연구의 혁신성이나 차별점을 부각시켜야 함. 단순 선행 연구 나열이 아닌 본 연구가 기존 연구들의 어떤 한계를 극복하고, 어떤 새로운 기여를 하는지 명확히 논의해 연구 독창성을 강화해야 함.
   2. FNN 경량화에 대한 설명이 FFN의 일반적 특징에만 집중되어 있고 제안된 FFN 경량화 방법론이 기존 다른 모델 압축 기법(프루닝, 지식증류, 양자화 등)과 무엇이 어떻게 다른지나 독창적 요소를 포함하는지에 대한 구체적 기술적 설명이 없음(기술 혁신 주장이 약하며, 차별성이 없음).
5. 논문은 기본적으로 투명히 실험 과정을 보여주고, 재현가능해야 하는데, 실험 결과 제시 방식을 봤을때 너무 불분명함.
   1. BLEU, ROUGE 점수 변화와 어떤 응답시간이 6.14초에서 1초로 단축되었는지 정확한 의미와 계산 기준이 명시되지 않음. 여러 경량화 기법의 개별적 효과 및 조합 효과가 분리되어 있지 않아 각 기법 기여도를 알 수 없음 실험 설계를 명확히, 잘 해놓았다면 이러한 혼란이 줄 수 있으며, 위 분리의 경우 새로 테스트를 추가하여 명확히 하는 것이 좋아보임. 성능 지표 설명이 불명확해 어떤 LoRA 모델 대비 개선되었는지 기준이 모호함. 성능 수치가 실제 운영적, 경제적 가치로 어떻게 이어지는 지 해석이 부족. 갑작스레 제시되는 숫자들의 문맥이 부족해 해석에 혼란을 야기.
6. 연구 평가가 단일 하드웨어 환경(MacBook Pro M3)에 국한되어 있어 결과 일반화 가능성에 한계가 있음.
   1. 이는 나중에 라즈베리 파이가 도착하면 실제로 수행하여 제출용에서 수정하는 것이 좋아 보임. 이유인 즉슨 실제 환경에서는 맥북과 같은 고성능 고비용 디바이스가 아닌 저성능 저비용 디바이스에서의 성능이 중요하기에, 비슷한 환경을 구축하고 그 환경에서 테스트해야 의미가 있음.
7. 경량화 모델이 농부와 스마트 농업 산업에 미칠 구체적인 사회적, 경제적 영향에 대해 언급하는 것이 좋아 보임(예시를 들면, 어느정도 기간에, 어느정도 비용이면 실시간으로 어떤 네거티브한 상황을 어느정도의 확률로 예측해 즉각 조치를 취함으로 작물 손실을 최소화하고 수익성을 높일 수 있다. -> 즉 현재의 유지 비용보다 경제적이거나, 없던 효과가 발생함으로 얻는 이익을 부각시켜야 함, 추가적으로 아이디어를 주자면 개도국이나 소규모 농가에게 저렴한 하드웨어에서도 동작하는 AI 솔루션을 통해 정보 격차를 해소하고 지속 가능한 농업 발전에 기여 가능).
8. BLEU와 ROUGE와 같은 일반적인 NLP 평가 지표가 왜 스마트 농업이라는 특정 도메인 QA Task의 성능을 평가하기 적합한지에 대한 고찰이 없음. 이런 지표가 없을 경우 사실적 정확성 및 농업적 유용성을 측정하지 못하므로 스마트 팜과 연결성이 저하됨. 잠깐만 찾아봐도 AgXQA나 AgriEval과 같은 농업 관련 벤치마크가 있는데 이걸 사용하지 않은 이유를 모르겠음. 만약 이런 벤치마크가 싫다면, 현재 타게팅한 도메인에 필요한 기능은 A이기에, A관련 벤치마크를 제안한다는 의견을 다는 것이 좋아 보임(예시로 농민의 의사결정을 지원해야하기에, 의사결정 지원 측면 정량적 효과를 측정할 수 있는 B 벤치마크를 활용해 성능 평가).
9. 굳이 M3 Pro 환경 외의 환경이 없는데 이 단어를 반복하여 가시성을 떨어뜨릴 이유가 없음. 해당 환경이라던가 대치할만한 단어를 찾는 것이 좋아 보임.

250924

TA 전체 총평

다들 이전보다는 방향성을 잡은 듯 싶은데 각자 의견에 제가 그 방향성에서 살을 좀 붙여보았습니다. 같이 의논해서 마음에 드는 방향성대로 가보셨으면 좋겠네요.

LLM은 LM의 한 종류

여러분들이 AI를, LLM을 많이 활용하다 보니 혼용하여 이러한 결과가 나온 것 같아 간단히 짚겠습니다.

• Artificial Intelligence, AI: 인간 지능을 모방하여 학습, 추론, 문제 해결등 능력을 컴퓨터 프로그램으로 구현하는 것
• Language Model, LM: AI의 한 분야. Natural Language Processing의 핵심, Tokenization을 하여 다음 Sequence가 얼마나 자연스러운지, 어떤 Sentence가 나올지 계산하는 모델
• Large LM, LLM: Parameter가 방대한 LM. 특징으로 범용성이 뛰어나 여러 광범위한 작업이 가능

SLM은 LM의 한 종류

• Small LM, SML: Parameter가 수십억 개 이하인 경량화된 LM. SLM은 명확한 장점이 있음.
  • 일반적인 GPU로도 구동가능, 오픈소스로 공개된 LM이 많음(비용 효율성)
    • 비용효율성을 활용해 개인화, 보안성 등등 활용성 ++
  • 수 시간에서 수 일 내로 훈련 및 파인튜닝 가능(빠른 개발 사이클)
  • 오픈소스이기에 화이트박스

재윤씨 내용

스마트팜 운영의 문제에 해당하는 일들을 도메인으로 삼고 개인 비서쪽으로 진행하는 것도 방법일 듯 싶음 이렇게 진행 될 경우 스마트폰에 온디바이스인 게 의미가 있을 수 있으나 항시 리소스를 잡아먹는 문제를 어떻게 개선할 지 생각해야 함: TSDB를 잘 활용하면 될 지도 모르겠음 여러 민감한 정보를 받아 경영 제안을 해주는 SLM을 제안하는 것이 제시한 문제 상황에 훨씬 더 타당한 프로젝트로 보임

• LSTM(시계열 기반 분석 알고리즘)이 더 적합해 보임
• AI를 활용하는 것은 좋으나 해당 내용의 참고 링크가 실제인지, hallucination 인지 확인하는 작업을 했는지 모르겠으며, 했다 하더라도 링크를 달아 공유하는 것이 바람직해 보임
  • 본문 내용의 대부분 거시적 상황에 대해 말하는 데 반해, 다루는 것은 센서 유지보수에만 국한됨
• SLM은 사실상 센서 유지보수에만 국한되어 있다고 느껴짐
• P.S. 문서 Raw data라서 양이 많은 것은 좋으나 읽는 사람을 배려하여 두괄식으로 적는 습관을 들이는 것이 좋아 보여요!

수민씨 내용

따로 아이디어를 크게 낼 게 없어보임. 그나마 개인화 정도를 추가고려하면 좋아보임

• SML을 활용 방법이 적합하고 그렇게 활용하여 판단 보조만을 맡겨 비용 효율적, 노동을 줄이는 것에 집중
  • 현실가능성 있고 좋아 보임
• 구체적인 인용 논문을 가지고 왔으나 Deep learning-driven IoT solution for smart tomato farming 저 논문은 사실상 이미지를 분석해 토마토가 익었는지 안익었는지 분석하는 내용이 주인 논문이며, Hit rate는 50%가 조금 더 넘음
• 센서의 경우 통계적으로 충분히 해결 가능해 보임

연제씨 내용

지금의 컴퓨터 비전 모델을 활용해 SLM으로 사용하려면 익음도, 병해 여부를 판별해 구조화된 텍스트 데이터로 출력하는 모듈을 제작한 뒤 병해 여부가 있을 시 자가 판단이라던가, 자연어로 수확해야 할 위치를 알려달라고 하면 "A하우스 B구역, C하우스 D구역... 추천 경로는 C하우스를 갔다가 A하우스..."와 같이 소통하는 SLM을 생각할 수 있어 보임

• SLM과 연관성이 많이 떨어짐
  • Computer Vision Model 기술만 나열되어 있어 Language Model을 활용할 수 없을 거 같아 보임
• SML/AI 기반 이상 탐지 or 사람 판단 필요 알림 시스템 구축은 추상적
  • 교수님이나 TA가 한 말을 그대로 반복하는 것 밖에 안됨

태식씨 내용

• SML을 사용해야하는 당위성이 없음
• 언급한 로직대로 동작한다면 통계적으로 해결이 가능한 문제로 보임

성민씨 내용

• 전달받지 못함

250918

내용

• 핵심 기능
  • 챗봇
    • IoT 센서로 부터 수집된 데이터를 기반으로 답변을 제공한다고 하는데 어떤 방식으로 할 것인지 없음
  • 변화 신호 감지
    • 어떤 센서 데이터를 분석하여 어떤 특이사항 발생 시 알릴 지 없음
  • 모델 테스트 및 관리
    • Repository에 Commit하여 Test code를 관리하는 것은 기능이 아님
• SLM에 관하여
  • 역할 및 활용은 위 핵심기능과 동일하며 이는 교수님께 피드백 받은 예시 내용에 그치지 않음
• 팀 운영 및 협업
  • Repository는 총 2개로 모델 개발, 문서로 구성
  • Notion을 활용하여 협업(업무 기여도의 정량적 평가는 어떻게?)
• 시스템 구조 및 계획
  • IoT 센서 정보를 수집한 것을 DB에 저장하고 그 데이터를 분석하여 이상 징후를 알림
    • 위 내용과 동일할 뿐더러 Target DB가 뭔지, 어떤 Logic을 활용하여 분석하여 이상 징후를 알릴 것인지가 없음
    • DB에 일정 기간 센서 데이터를 저장하는 방법론에 대해서도 언급이 없음