AI/Spring AI

1. 시스템 개요연구자가 논문 PDF를 업로드하면 AI가 내용을 분석하고 질문에 답변하는 시스템Notion과 연동해 회의록, 연구일지 등을 조회하고 수정할 수 있다질문 입력 및 스트리밍 답변 수신, 논문 PDF 업로드, 대화 이력 조회 세 가지 기능을 제공한다 2. 전체 아키텍처 3. 주요 컴포넌트1) Spring Boot WASWebFlux 기반 비동기/논블로킹 처리JWT 인증 필터로 토큰 검증SSE 스트리밍으로 AI 응답을 실시간 전달 2) Spring AIChatClient : OpenAI API 호출, 프롬프트 증강, Tool 실행ChatMemory : MongoDB에 대화 이력 저장VectorStore : PGVector와 연동해 문서 유사도 검색 (RAG)Tool Calling : Notion..

1. 전체 구조사용자 (HTML) ↓Spring Boot 챗봇 서버 (WebFlux) ↓OpenAI (gpt-4o-mini) ↓Docker Notion MCP 서버 (port 3000) ↓Notion Workspace 2. 사전 준비1) Notion Integration Token 발급app.notion.com/developers/connections 접속"신규 연결" 클릭권한 설정 (읽기 / 업데이트 / 제거 등)허용할 페이지 지정ntn_xxxxxx 형태의 토큰 발급 2) 시스템 환경변수 등록(1) Windows윈도우 검색 → "시스템 환경 변수 편집" 검색환경 변수 버튼 클릭사용자 변수 → 새로 만들기변수 이름: OPENAI_API_KEY / 변수 값: sk-xxxxxx변수 이름: NOTION..

1. MCP Server란외부 도구나 데이터를 MCP 표준 인터페이스로 포장해서 노출하는 서버 1) 일반 서버와의 차이일반 서버는 "어떤 URL로 어떻게 호출할지" 를 개발자가 코드로 직접 작성한다.MCP 서버는 "어떤 Tool이 있고 언제 쓰는지" 를 description으로 LLM에게 설명하면 LLM이 알아서 판단해서 호출한다.구분일반 서버 (REST API)MCP Server호출 주체사람이 만든 클라이언트 코드LLM이 자율적으로 판단해서 호출인터페이스엔드포인트 URL + HTTP 메서드Tool 이름 + description호출 방식개발자가 직접 코드로 호출LLM이 description 보고 자동 선택·호출통신 규격REST, GraphQL 등JSON-RPC 2.0응답 형식자유롭게 설계MCP 표준 형식..

1. MCP(Model Context Protocol)LLM을 활용하는 AI 애플리케이션이 외부 도구·데이터·서비스와 표준화된 방식으로 통신하기 위한 오픈 프로토콜Anthropic이 2024년 공개했으며, 한마디로 "AI를 위한 USB-C 포트" — 어떤 AI든 MCP 하나로 어떤 도구와도 연결 1) 등장 배경구분내용이전 문제LLM마다 외부 도구 연결 방식이 제각각 (OpenAI Function Calling, LangChain Tool 등)N×M 문제N개의 AI 플랫폼 × M개의 외부 도구(파일, DB, API 등) = N×M개의 커스텀 연동 코드 필요. 도구 스펙이 바뀌면 연동된 모든 AI 플랫폼 코드를 수정해야 함MCP 해결외부 도구를 MCP 서버로 한 번만 구현하면 MCP를 지원하는 모든 AI에서..

1. 전체 구성1) 사용 기술Spring AI : RAG 구현을 위한 프레임워크OpenAI : 임베딩 모델(text-embedding-3-small), Chat 모델(gpt-4o-mini)Ollama : 로컬 Chat 모델(llama3.1:8b)pgvector : Vector DB 2) 전체 흐름[사전 준비]문서 텍스트 → OpenAI 임베딩 모델이 벡터로 변환 → pgvector에 저장[질문 시]사용자 질문 → 임베딩 모델이 벡터로 변환 → pgvector에서 코사인 유사도로 유사한 문서 검색 → 임계치 이상 문서를 프롬프트 context에 삽입 → LLM이 context를 참고해서 답변 생성 2. 의존성 및 설정1) build.gradledependencies { ..

[LLM 발전의 흐름]LLM은 단순히 텍스트를 생성하는 것에서 시작해 외부 지식을 가져오고, 맥락을 유지하고, 실제 도구를 호출하며, 여러 서비스와 표준 방식으로 협력하는 방향으로 확장되었다각 단계는 이전 단계의 한계를 해결하면서 등장했다언어 중심 → 지식 중심 → 외부 지식 → 맥락 중심 → 행동 중심 → 생태계 중심1. Fine-tuning1) 개념범용 LLM을 특정 도메인에 맞게 추가 학습시키는 것특정 업무 용어, 도메인 규칙, 조직의 표현 방식을 학습시켜 해당 분야에 더 잘 맞는 모델을 만든다2) 한계지식이 바뀔 때마다 재학습이 필요하고 비용과 시간이 크다 2. Prompt Engineering1) 개념역할, 예시, 조건, 출력 형식을 입력에 명확히 넣어 모델 행동을 제어하는 것재학습 없이 답변 ..

1. Tool Calling (Function Calling,함수 호출)LLM이 단순히 텍스트를 생성하는 것을 넘어 외부 함수나 API를 호출할 수 있도록 하는 기능개발자가 함수를 미리 정의해두면 AI가 대화 맥락을 보고 스스로 판단해서 적절한 함수를 선택하고 호출한다개발자가 if/else로 직접 분기하지 않아도 된다LLM은 답변은 만들 수 있지만 메일 발송, 예약, DB 조회 같은 실제 행동은 직접 못한다모델이 필요한 도구를 선택하고 정해진 JSON 형식으로 호출하게 하기 위해 등장했다 2. 동작 흐름1) 전체 흐름1. 개발자가 함수 정의 (JSON 스펙) ↓2. 사용자 질문 + 함수 목록을 API에 전송 ↓3. AI가 판단: "이 질문엔 함수 호출이 필요한가?" ..

1. RAG (Retrieval-Augmented Generation, 검색 증강 생성)1) RAG란?RAG는 모델이 학습하지 않은 정보를 외부 저장소에서 검색한 뒤, 그 결과를 context로 프롬프트에 추가해 LLM이 답변을 생성하도록 하는 기술학습되지 않은 정보를 모르거나 hallucination(거짓 답변)을 일으키는 LLM의 한계를 해결하기 위해 등장했다상황문제RAG 해결사내 문서 질의LLM이 모름DB에서 검색해서 참고최신 정보학습 cutoff 이후 데이터 모름외부 저장소에서 가져옴재학습 비용Fine-tuning은 비싸고 느림DB만 업데이트하면 즉시 반영 2) 구성 요소구성 요소역할Document검색 대상이 되는 원본 텍스트. 메타데이터와 함께 Vector DB에 저장됨Retriever사용자 질..

1. 텍스트 기반 유사도임베딩 모델 없이 텍스트 자체를 비교하는 방식.임베딩 모델이 나오기 전에 검색에서 많이 쓰였다.1) 자카드 유사도 (Jaccard Similarity)두 문장에서 공통으로 등장하는 단어 비율로 측정단어 집합 기반으로 순서나 빈도는 무시한다.문장 A: {"강아지", "뛴다"}문장 B: {"강아지", "달린다"}자카드 유사도 = 공통 단어 수 / 전체 단어 수 = 1 / 3 = 0.33def jaccard_similarity(a, b): set_a = set(a.split()) set_b = set(b.split()) intersection = set_a & set_b union = set_a | set_b return len(inter..

1. 임베딩(Embedding)이란텍스트를 숫자 배열(벡터)로 변환한 것의미가 비슷한 문장은 벡터 공간에서 가까운 위치에 놓인다"강아지가 뛴다" → [0.12, 0.87, 0.34, ...]"개가 달린다" → [0.13, 0.85, 0.36, ...] ← 의미 유사 → 벡터도 가까움"오늘 날씨 맑음" → [0.91, 0.02, 0.76, ...] ← 의미 다름 → 벡터도 멀 2. 임베딩 모델1) 임베딩 모델이란텍스트를 벡터로 변환하는 모델.텍스트 생성은 못하고 변환만 한다. 2) 임베딩 모델 vs Chat 모델구분임베딩 모델Chat 모델입력텍스트텍스트출력벡터 (숫자 배열)텍스트용도유사도 검색, RAG대화, 요약, 번역예시text-embedding-3-smallgpt-4o, llama3.1 3)..

1. On-Premise란?클라우드 서버가 아닌 자체 서버나 로컬 환경에 직접 설치해서 운영하는 방식OpenAI API처럼 외부 서버에 요청을 보내는 것이 아니라, 내 서버 안에서 LLM을 직접 실행한다.구분클라우드 LLM (OpenAI 등)On-Premise LLM실행 위치외부 서버 (OpenAI 서버)내 서버 / 로컬인터넷 연결필수불필요데이터 보안외부로 데이터 전송됨외부로 나가지 않음비용토큰당 과금서버 비용만 발생성능높음서버 사양에 따라 다름사용 상황일반적인 AI 서비스보안이 중요한 환경, 오프라인 환경 2. On-Premise LLM을 쓰는 이유보안 : 민감한 데이터(의료, 금융, 법률 등)를 외부로 보내지 않아야 할 때비용 : API 호출 비용 없이 자체 서버에서 무제한 사용 가능오프라인 : 인터..

1. ChatMemory란?Spring AI에서 제공하는 대화 히스토리 관리 기능사용자별로 이전 대화 내용을 기억해두고, 새 요청 시 자동으로 히스토리를 프롬프트에 포함시켜 OpenAI에 전달한다.OpenAI 자체는 대화를 기억하는 기능이 없다. 매 요청마다 이전 대화를 메시지에 포함시켜야 문맥을 이해하는데, ChatMemory가 그걸 자동으로 해준다. 2. Advisor란?요청 전/후에 자동으로 끼어들어 처리를 추가하는 역할MessageChatMemoryAdvisor는 ChatMemory를 이용해 히스토리를 자동으로 삽입/저장한다.시점역할요청 전ChatMemory에서 히스토리를 꺼내 프롬프트에 자동 추가응답 후이번 대화를 ChatMemory에 자동 저장 3. 동작 방식1) ChatMemory 없을 때:..