Docker

1. On-Premise란?클라우드 서버가 아닌 자체 서버나 로컬 환경에 직접 설치해서 운영하는 방식OpenAI API처럼 외부 서버에 요청을 보내는 것이 아니라, 내 서버 안에서 LLM을 직접 실행한다.구분클라우드 LLM (OpenAI 등)On-Premise LLM실행 위치외부 서버 (OpenAI 서버)내 서버 / 로컬인터넷 연결필수불필요데이터 보안외부로 데이터 전송됨외부로 나가지 않음비용토큰당 과금서버 비용만 발생성능높음서버 사양에 따라 다름사용 상황일반적인 AI 서비스보안이 중요한 환경, 오프라인 환경 2. On-Premise LLM을 쓰는 이유보안 : 민감한 데이터(의료, 금융, 법률 등)를 외부로 보내지 않아야 할 때비용 : API 호출 비용 없이 자체 서버에서 무제한 사용 가능오프라인 : 인터..

[ Docker Swarm 도커스웜 ]1.Docker Swarm 이란docker 에서 제공하는 고수준의 클러스터링 및 오케스트레이션 도구❓HA(고가용성 high availability)- 서버 일부가 죽어도 서비스가 계속 운영되도록 하는 설계 방식- 단일 장애점(Single Point of Failure)을 없애기 위함❓고가용성을 위한 서버 다중화 방식1) Active-Standby 방식- Active 하나만 실제 요청 처리- Standby는 언제든 대신할 수 있게 대기만 함- 하둡 NameNode 가 대표적인 예 → Primary NameNode 죽으면 Secondary가 대신함2) Active-Active 방식- 모든 서버가 동시에 요청 처리- 로드밸런서가 트래픽 분산 필수- 하나 죽어도 나머지가 이..

[Docker volume]1. docker volume 이란?docker 컨테이너 간 데이터를 공유하고 보관하기 위한 지속적인데이터 저장 및 관리를 위한 메커니즘 2. docker volume 주요 특징1) 데이터 보존 및 공유컨테이너 삭제되어도 데이터가 유지되고, 여러 컨테이너가 하나의 볼륨을 동시에 공유 가능 2) 볼륨 생성 및 연결docker volume create로 생성docker run 시 -v 옵션으로 연결 가능 3) host 경로 mount 가능(1) mount?어떤 저장 공간을 다른 위치에 연결해서 접근 가능하게 만드는 것Windows에서 HDD를 추가하면 D드라이브, E드라이브처럼 새로운 드라이브가 생기듯이 Linux에서는 저장 장치를 특정 디렉토리에 연결(mount)해서 사용함.(2..

[Docker Registry]1. Docker registry란?docker 이미지를 저장하고 관라하는 저장소 역할docker 이미지 재사용 및 배포 용이하도록 하는 인프라1) Docker registry 종류레지스트리운영 주체특징요금/유형Docker HubDocker Inc.가장 많이 사용되는 공용 레지스트리, 공개 이미지와 사설 저장소 제공무료 / 유료Amazon ECRAWSAWS 서비스(ECS, EKS 등)와 쉽게 연동되는 레지스트리종량제Google Container Registry (GCR)GoogleGCP 및 Kubernetes(GKE)와 연동종량제Azure Container Registry (ACR)MicrosoftAzure DevOps, Azure AD 인증과 연동종량제GitLab Cont..

1. Dockerfile이란?Docker 이미지를 구성하고 정의하는 텍스트 파일Docker 엔진이 이미지를 만들기 위해 실행할 CLI 명령 목록이 순서대로 적혀 있음이미지 생성 프로세스를 자동화해주는 파일애플리케이션 개발과 운영의 여러 측면에서 효율성과 일관성을 제공하는 핵심 도구 1)Dockerfile이 필요한 이유필요성설명일관성과 격리성애플리케이션과 필요한 모든 구성 요소를 하나의 이미지로 묶어, 항상 동일한 동작을 보장효율적인 배포 및 관리이미지를 다른 환경으로 이동하거나 공유하는 것이 간단하고, 배포 과정의 문제를 최소화환경의 일관성개발/테스트/운영 환경에서 동일한 이미지를 사용하여 일관된 프로세스 구축 가능성능 및 확장성필요한 라이브러리와 의존성만 포함해 이미지 크기를 최소화하고, 복제와 확장이..

1. Docker Image란?Docker Image는 컨테이너를 실행하는 데 필요한 모든 것을 패키징한 읽기 전용 파일파일시스템 (File System)라이브러리 (Library)실행 가능한 파일 (Executable)환경변수 (Environment Variable)이미지 자체는 ReadOnly(읽기 전용)로 변경 불가이미지는 직접 만들 수도 있고, Docker Hub에서 가져다 쓸 수도 있음Dockerfile을 이용해서 빌드/생성컨테이너(Container) : 이미지를 실제로 실행한 상태Dockerfile ----> Docker Image ----> Docker Container ↑ ↑ (build) (run) ..

1. docker 명령어 기본 구조docker [상위명령] [하위명령] [옵션] 대상 [인자] ↑ ↑ ↑ ↑ ↑ ↑ 도커 container run -itd ubuntu /bin/bash image build -t my_image:1.0 . volume pull network exec위치설명예시docker항상 맨 앞docker[상위명령]무엇을 다룰지container, image, volume, network[하위명령]어떤 작업을 할지run, ..

[ 어플리케이션 배포 방식 ]1. 하드웨어 배포 방식OS 위에 앱을 직접 설치해서 실행하는 방식단일 서버에서 실행되는 어플리케이션에 적합시스템 규모가 커지고 복잡해질수록 확장 및 관리의 문제가 발생 2. 가상머신하드웨어 배포 방식 OS 위에 앱을 직접 설치해서 실행하는 방식운영체제를 포함한 모든 리소스를 별도로 가짐크기가 크고 시작이 오래걸리며 리소스 사용이 비효율적임(OS위에 또 OS가 있으니까)하이퍼바이저 : 물리적 하드웨어 위에서 각각의 가상머신(VM)을 생성하고 독립적으로 실행·관리하는 소프트웨어 (베어메탈 방식에서는 특수한 OS 역할을 하기도 함) 3. 컨테이너 방식Guest OS 없이 Host OS의 커널을 공유하면서 앱 실행 환경만 격리하는 방식컨테이너저장소(Registry)에 보관된 특정한..