나만의 AI비서 만들기
📌 모임 개요
- 일시: 9월 11일
- 장소: 미술공작소 2층
- 주제: 나만의 AI비서 만들기 / 크림빵오리
👥 참석자 (12명)
- 딸둘, 뭐하지우, 수박, 딧쏭, 크림빵오리
- 나라바람, 하야로비, PCGEM, 메이정, 하루
- 으르렁이, 니아핑이
🛠 세션 핵심 내용
🔹 주제 1: 로컬 LLM 구축과 LM Studio 실습
- 주요 내용: '크림빵오리'님의 주도로 AI의 발전 단계(매크로 → 규칙 기반 → 머신러닝 → 딥러닝)와 토큰화(
Tokenization)의 원리를 심도 있게 다루었습니다. 특히 보안이 중요한 환경에서 외부 클라우드 의존 없이 AI를 구동하는Local LLM의 가치를 재확인했습니다. - 실무 기술 포인트:
- Enable Thinking 모드: 최신
O1모델과 유사하게 답변의 논리적 추론 단계를 시각화하고 사고 과정을 강화하는 옵션 활용법을 학습했습니다. - Serving**(서빙):** 로컬 기기 내에서만 구동되는 AI를 API 형태로 개방하여, 다른 기기나 외부 서비스에서 접속 가능하도록 만드는 연동 과정을 실습했습니다.
- Quantization**(양자화):** 모델의 소수점 자리를 줄여 용량을 최적화하되, 정확도와의 트레이드오프(
Trade-off)를 고려한 하드웨어 리소스 관리 노하우를 공유했습니다.
- Enable Thinking 모드: 최신
- 모델 팁: 한국어 대응 능력이 뛰어난
Gemma-2-2b모델을 기본으로, 허깅페이스(Hugging Face)에서Uncensored(무검열) 키워드를 통해 기업 내부의 특수한 민감 정보를 필터링 없이 처리할 수 있는 모델 찾는 법이 논의되었습니다.
🔹 주제 2: AI 이미지 생성 및 비즈니스 자동화 실전
- 주요 내용: 제조 현장의 디지털 전환 사례가 돋보였습니다. '니아핑이'님은
Gemini API를 활용하여 사내 생산 데이터(ERP)를 관리하고, 이를NaverWorks(사내 메신저)와 직접 연계하여 업무 지시와 데이터 조회가 실시간으로 이루어지는 '논스톱 시스템' 구축 과정을 공유했습니다. - 이미지 생성 및 프롬프트 트렌드:
Civitai와LoRA(저용량 미세조정) 파일을 활용한 실사 이미지 생성 기법을 다루었습니다.- 최신 프롬프트 트렌드로 중국의
Cidance등을 언급하며, 이미지 생성 시 번역기를 거치기보다 중국어 원문 프롬프트를 직접 사용할 때 모델의 의도 반영도가 더 높다는 실질적인 팁이 전달되었습니다.
- 업무 효율화: CS 대응이나 거절 메일 작성 시 상대방의 감정을 고려한 톤 조절 등, AI 에이전트를 활용한 정서적 노동 강도 완화 사례에 대해 참가자들의 높은 공감이 있었습니다.
🔹 주제 3: 스타트업 투자 시장과 엑시트(Exit) 전략
- 주요 내용: 'PCG'님이 2025년 투자 시장 전망(820조 규모 예산 및 50조 국민성장펀드 등)을 바탕으로, 냉혹해진 투자 환경에서의 생존 전략을 제시했습니다.
- 전문가적 인사이트:
- Convertible Bond**(전환사채)의 레버리지:** 투자자에게 '주식 전환권'과 '원금 회수권'이라는 선택지를 부여함으로써, 담보가 부족한 스타트업이 투자를 유치할 수 있는 강력한 전략적 도구임을 강조했습니다.
- Distillation**(증류) 기법과 시장 패권:** 중국 AI 모델들이 GPT나 클로드의 답변을 학습 데이터로 삼아 성능을 빠르게 추격하는 방식을 언급하며, 현재 글로벌 AI 기술 패권 경쟁 속에서 국내 기업들이 취해야 할 기술적 포지셔닝을 논의했습니다.
- 투자 핵심 지표: 기술력 자체보다 '대표자의 사업 의지'와 '재현 가능한 기술'을 바탕으로 한 **회수 가능성(Exit)**이 투자의 성패를 결정합니다.
💡 3. 오늘의 Key Insights
- Insight 1: 데이터 주권과 로컬 환경의 가치 로컬 LLM의 본질은 클라우드 모델과의 성능 대결이 아닌 **'보안'과 '특수 목적'**에 있습니다. 기업 내부망에서 민감한 데이터를 안전하게 처리하는 온디바이스 AI 구축은 향후 B2B 자동화 시장의 핵심 경쟁력이 될 것입니다.
- Insight 2: 투자는 기술력이 아닌 '라이선스'의 획득 스타트업이 유치하는 **3억 원의 투자는 단순한 현금 유입이 아니라, 시장에서 비즈니스 모델의 완결성을 검증받았다는 강력한 '신호(Signal)'**입니다. 엑시트 전략이 부재한 기술은 투자자에게 매력적일 수 없습니다.
- Insight 3: 확률적 예측과 Temperature**(온도)의 철학** AI의 답변은 정답이 아닌 '확률적 다음 단어 예측'의 결과물입니다. 사용자는
Temperature설정을 통해 AI의 창의성과 사실성 사이의 균형을 직접 제어해야 하며, 이는 AI를 도구가 아닌 파트너로 대하는 핵심적인 기술적 이해도입니다.
