나만의 AI비서 만들기

📌 모임 개요

  • 일시: 9월 11일
  • 장소: 미술공작소 2층
  • 주제: 나만의 AI비서 만들기 / 크림빵오리

👥 참석자 (12명)

  • 딸둘, 뭐하지우, 수박, 딧쏭, 크림빵오리
  • 나라바람, 하야로비, PCGEM, 메이정, 하루
  • 으르렁이, 니아핑이

🛠 세션 핵심 내용

🔹 주제 1: 로컬 LLM 구축과 LM Studio 실습

  • 주요 내용: '크림빵오리'님의 주도로 AI의 발전 단계(매크로 → 규칙 기반 → 머신러닝 → 딥러닝)와 토큰화(Tokenization)의 원리를 심도 있게 다루었습니다. 특히 보안이 중요한 환경에서 외부 클라우드 의존 없이 AI를 구동하는 Local LLM의 가치를 재확인했습니다.
  • 실무 기술 포인트:
    • Enable Thinking 모드: 최신 O1 모델과 유사하게 답변의 논리적 추론 단계를 시각화하고 사고 과정을 강화하는 옵션 활용법을 학습했습니다.
    • Serving**(서빙):** 로컬 기기 내에서만 구동되는 AI를 API 형태로 개방하여, 다른 기기나 외부 서비스에서 접속 가능하도록 만드는 연동 과정을 실습했습니다.
    • Quantization**(양자화):** 모델의 소수점 자리를 줄여 용량을 최적화하되, 정확도와의 트레이드오프(Trade-off)를 고려한 하드웨어 리소스 관리 노하우를 공유했습니다.
  • 모델 팁: 한국어 대응 능력이 뛰어난 Gemma-2-2b 모델을 기본으로, 허깅페이스(Hugging Face)에서 Uncensored(무검열) 키워드를 통해 기업 내부의 특수한 민감 정보를 필터링 없이 처리할 수 있는 모델 찾는 법이 논의되었습니다.

🔹 주제 2: AI 이미지 생성 및 비즈니스 자동화 실전

  • 주요 내용: 제조 현장의 디지털 전환 사례가 돋보였습니다. '니아핑이'님은 Gemini API를 활용하여 사내 생산 데이터(ERP)를 관리하고, 이를 NaverWorks(사내 메신저)와 직접 연계하여 업무 지시와 데이터 조회가 실시간으로 이루어지는 '논스톱 시스템' 구축 과정을 공유했습니다.
  • 이미지 생성 및 프롬프트 트렌드:
    • CivitaiLoRA(저용량 미세조정) 파일을 활용한 실사 이미지 생성 기법을 다루었습니다.
    • 최신 프롬프트 트렌드로 중국의 Cidance 등을 언급하며, 이미지 생성 시 번역기를 거치기보다 중국어 원문 프롬프트를 직접 사용할 때 모델의 의도 반영도가 더 높다는 실질적인 팁이 전달되었습니다.
  • 업무 효율화: CS 대응이나 거절 메일 작성 시 상대방의 감정을 고려한 톤 조절 등, AI 에이전트를 활용한 정서적 노동 강도 완화 사례에 대해 참가자들의 높은 공감이 있었습니다.

🔹 주제 3: 스타트업 투자 시장과 엑시트(Exit) 전략

  • 주요 내용: 'PCG'님이 2025년 투자 시장 전망(820조 규모 예산 및 50조 국민성장펀드 등)을 바탕으로, 냉혹해진 투자 환경에서의 생존 전략을 제시했습니다.
  • 전문가적 인사이트:
    • Convertible Bond**(전환사채)의 레버리지:** 투자자에게 '주식 전환권'과 '원금 회수권'이라는 선택지를 부여함으로써, 담보가 부족한 스타트업이 투자를 유치할 수 있는 강력한 전략적 도구임을 강조했습니다.
    • Distillation**(증류) 기법과 시장 패권:** 중국 AI 모델들이 GPT나 클로드의 답변을 학습 데이터로 삼아 성능을 빠르게 추격하는 방식을 언급하며, 현재 글로벌 AI 기술 패권 경쟁 속에서 국내 기업들이 취해야 할 기술적 포지셔닝을 논의했습니다.
  • 투자 핵심 지표: 기술력 자체보다 '대표자의 사업 의지'와 '재현 가능한 기술'을 바탕으로 한 **회수 가능성(Exit)**이 투자의 성패를 결정합니다.

💡 3. 오늘의 Key Insights

  • Insight 1: 데이터 주권과 로컬 환경의 가치 로컬 LLM의 본질은 클라우드 모델과의 성능 대결이 아닌 **'보안'과 '특수 목적'**에 있습니다. 기업 내부망에서 민감한 데이터를 안전하게 처리하는 온디바이스 AI 구축은 향후 B2B 자동화 시장의 핵심 경쟁력이 될 것입니다.
  • Insight 2: 투자는 기술력이 아닌 '라이선스'의 획득 스타트업이 유치하는 **3억 원의 투자는 단순한 현금 유입이 아니라, 시장에서 비즈니스 모델의 완결성을 검증받았다는 강력한 '신호(Signal)'**입니다. 엑시트 전략이 부재한 기술은 투자자에게 매력적일 수 없습니다.
  • Insight 3: 확률적 예측과 Temperature**(온도)의 철학** AI의 답변은 정답이 아닌 '확률적 다음 단어 예측'의 결과물입니다. 사용자는 Temperature 설정을 통해 AI의 창의성과 사실성 사이의 균형을 직접 제어해야 하며, 이는 AI를 도구가 아닌 파트너로 대하는 핵심적인 기술적 이해도입니다.
2.png
3.png
4.png