디플로이먼트는 레플리카셋을 관리하는 상위 개념으로, 롤링 업데이트, 롤백, 배포 일시 중지 및 재개, 스케일링, 블루-그린 및 카나리 배포와 같은 강력한 기능을 제공합니다. 실제 운영 환경에서는 디플로이먼트를 사용하는 것이 권장되며, 이를 통해 애플리케이션을 효율적으로 관리할 수 있습니다.

k3s deployment

k3s는 경량화된 쿠버네티스 배포판으로, 서비스 개념을 통해 포드 집합에 대한 단일 접점을 제공하고 안정적인 네트워크 엔드포인트를 유지합니다. 서비스 유형으로는 ClusterIP, NodePort, LoadBalancer, ExternalName이 있으며, 서비스 디스커버리는 환경 변수와 DNS를 통해 이루어집니다. 서비스 라우팅은 레이블 셀렉터와 kube-proxy를 사용하여 관리되며, 서비스 생성 및 상태 확인 방법, 트러블슈팅 팁, 모범 사례도 포함되어 있습니다.

k3s service

k3s를 HAProxy와 Keepalived를 사용하여 고가용성 클러스터로 구성하는 방법을 설명합니다. 기본 아키텍처는 여러 대의 k3s 서버 노드와 로드 밸런싱을 위한 HAProxy, 고가용성을 위한 Keepalived를 포함합니다. 설치 및 설정 과정, kubeconfig 파일 수정, 클러스터 상태 확인 및 에이전트 노드 추가 방법을 안내하며, 보안 및 네트워크 설정에 대한 주의사항도 포함되어 있습니다.

k3s ha 구성

레플리카셋은 Kubernetes에서 지정된 수의 파드 복제본을 유지하고 자동 복구, 스케일링, 선언적 관리를 지원하는 중요한 리소스입니다. YAML 파일을 작성하여 레플리카셋을 생성하고, 자가 복구 기능을 테스트하며, 필요에 따라 레플리카 수를 조정할 수 있습니다. 레플리카셋을 통해 서비스 중단 위험을 줄이고 시스템 안정성을 향상시킬 수 있습니다. 다음 단계로는 Deployment 리소스를 학습하는 것이 좋습니다.

k3s replicaset

k3s는 경량화된 쿠버네티스 배포판으로, 설치 전 모든 노드의 hosts 파일을 수정해야 하며, 마스터 노드와 워커 노드의 설치 명령어가 제공된다. 설치 후 클러스터 상태를 확인하고, 필요 시 제공된 스크립트를 통해 K3s를 제거할 수 있다. 수동 제거 방법도 설명되어 있다.

k3s install

쿠버네티스는 컨테이너화된 애플리케이션의 자동화된 배포, 확장 및 관리를 위한 오픈소스 플랫폼으로, K3s는 경량 배포판으로 Edge 및 IoT 환경에 적합하다. K3s는 간단한 설치 과정과 낮은 메모리 요구사항을 가지고 있으며, 고가용성, 자동화된 배포, 자원 효율성 등의 장점을 제공한다. 설치를 위해서는 특정 하드웨어와 소프트웨어 요구사항이 필요하다.

OpenStack 배포를 위한 Kolla Ansible의 설치 및 설정 과정에 대해 설명하며, 초기 수동 설치의 번거로움을 해결하기 위해 자동화의 필요성을 강조합니다. Kolla Ansible을 사용하여 Docker를 통해 OpenStack을 배포하는 방법, 필수 패키지 설치, 설정 파일 구성 및 배포 명령어를 단계별로 안내합니다. 또한, 배포 중 발생할 수 있는 문제와 해결 방법에 대해서도 다룹니다.

openstack 마이그레이션 대꼴박 도전기 -1

Docker는 리소스를 효율적으로 사용하며 빠른 시작과 종료가 가능하지만, 커널의 취약점을 공유하는 단점이 있다. NVIDIA의 GPU 가상화는 패스스루와 vGPU 방식으로 이루어지며, NVIDIA Container Toolkit을 통해 GPU 자원에 접근할 수 있다. 설치 과정에서는 NVIDIA 드라이버와 CUDA Toolkit의 매핑이 필요하며, Docker 컨테이너에서 리소스 제한을 설정하는 방법도 설명된다.

nvidia container toolkit used

Docker에서 Portainer CE를 설치하는 방법을 설명하며, 볼륨 생성, 컨테이너 실행, 포트 포워딩 설정, 관리자 계정 생성, GPU 할당 정보 확인 및 최신 버전으로 업데이트하는 절차를 포함합니다. 초기 접속 시 관리자 계정 정보를 기억해야 하며, IP 고정 설정이 중요합니다.

portainer install

TensorFlow 2.12 설치를 위해 Miniconda를 설치하고, 새로운 conda 환경을 만들며, GPU 설정을 선택적으로 진행한 후 TensorFlow를 pip로 설치하는 방법을 안내합니다. 설치 후 CPU와 GPU 설정 확인을 위한 테스트 코드를 제공하며, Ubuntu 22.04에서 발생할 수 있는 오류와 그 해결 방법도 설명합니다.

tensorflow 2.12 install

Ubuntu 22.04 LTS에서 OpenVPN을 설치하고 설정하는 방법에 대한 가이드로, Easy-RSA와 OpenVPN을 함께 사용하여 VPN을 구축하는 과정이 상세히 설명되어 있다. VPN을 통해 외부에서 안전하게 내부망에 접근할 수 있으며, 필요한 패키지 설치, 인증서 생성, 서버 및 클라이언트 구성, 방화벽 설정, 계정 관리 및 문제 해결 방법이 포함되어 있다. 최종적으로 OpenVPN의 성능과 지연 시간 문제를 언급하며, 향후 WireGuard와 같은 대안에 대한 포스팅을 예고하고 있다.

openvpn install

vscode를 이용한 원격 코드 개발 환경 구축 방법을 설명하며, SSH 접속 설정, SSH 키 생성, VSCode Remote-SSH 설정 및 디렉토리 열기 과정을 포함합니다. 보안을 위해 공개 키를 사용하여 접속하며, 선택적으로 비밀번호 인증을 거부하는 방법도 안내합니다.

vscode ssh tunnel 구성

alphafold 설정 중 docker 이미지의 의존성 문제를 해결하기 위한 과정이 설명된다. jax 라이브러리와 cuda 버전 간의 호환성 문제를 해결하기 위해 여러 방법을 시도하였고, nvidia-modprobe 설치, 시스템 재설치, cuda 버전 변경 등의 방법이 포함된다. 최종적으로는 jax[cuda] 설치 방법을 재확인하고, 필요한 pip 패키지를 설치하여 alphafold를 정상적으로 실행할 수 있는 환경을 구축하였다.

alphafold2 docker 트러블슈팅

HAProxy를 설치하고 구성하는 방법을 설명하며, global, defaults, frontend, backend, listen 섹션의 설정 방법과 예시를 제공한다. SSL 인증서 설정 및 패킷 라우팅을 위한 다양한 옵션을 포함하고 있으며, 설정 파일의 문법 검증 방법도 안내한다.

haproxy 구성

ceph 클러스터를 안전하게 종료하고 재부팅하는 과정에 대한 단계별 설명. cephfs와 osd를 종료하고, 모든 데몬을 안전하게 중지한 후 전원을 끈다. 재부팅 후 서비스 상태를 확인하고 osd 플래그를 비활성화하며, 문제가 발생할 경우 osd 서비스를 재시작하여 문제를 해결한다.

ceph 클러스터 전원 끄기 및 재부팅

OpenStack에서 Horizon에 SSL을 적용하기 위해 certbot을 사용하여 SSL 인증서를 자동으로 발급받고 갱신하는 방법을 설명합니다. Wildcard SSL과 standard SSL의 차이를 설명하고, Cloudflare를 통해 DNS 인증을 설정하는 과정과 certbot을 이용한 인증서 발급 및 갱신 스크립트를 작성하여 crontab에 등록하는 방법을 안내합니다.

certbot 자동화

Ceph는 클라우드 플랫폼에 스토리지를 제공하는 시스템으로, 설치 방법과 활용 방안에 중점을 두고 설명한다. 초기 환경 구성, Docker 및 Python 설치, 시간 동기화 설정, cephadm을 통한 클러스터 부트스트랩 방법 등을 다룬다. 클러스터 네트워크와 퍼블릭 네트워크의 개념을 설명하고, OSD 추가 및 설정 방법도 포함되어 있다. 추가적인 설정과 옵션은 다양하므로 직접 시도해보는 것을 권장한다.

ceph install

리눅스 브릿지를 사용하여 OpenStack 환경에서 NIC 설정을 최적화하는 방법을 설명합니다. 관리 IP와 private provider IP를 동일한 대역으로 구성하고, OVS와의 연결 문제를 해결하기 위해 리눅스 브릿지를 생성하고 VETH 인터페이스를 설정하는 스크립트를 제공합니다. 또한, 서버 재시작 시 설정이 유지되도록 rc 기능을 활용할 계획을 언급하며, 향후 포스팅에서 더 많은 네트워크 설정 방법과 최적화 팁을 공유할 예정입니다.

openstack NIC 설정

OpenStack에서 GPU를 사용자에게 제공하기 위한 방법으로 GPU passthrough와 VGPU가 있으며, GPU passthrough는 PCI-E 라인을 직접 연결하는 방식이다. 설정을 위해 하드웨어 상태 확인, iommu 설정, nova-api 및 nova-scheduler 구성, flavor 설정, 컴퓨트 노드의 PCI 패스스루 허용 장치 정보 화이트 리스트 지정이 필요하다. 트러블 슈팅 시 NVIDIA GPU의 오디오 장치도 함께 제공해야 하며, 모든 GPU를 활용하기 위해서는 화면 출력을 위한 추가 GPU가 필요하다.

openstack pci passthrough

OpenStack의 고가용성을 위해 MySQL Galera 클러스터를 설정하는 방법을 설명합니다. Galera 클러스터는 모든 노드가 Master 역할을 수행하며, 최소 3개 이상의 노드가 필요합니다. 설치 과정, 클러스터 상태 확인 방법, 문제 발생 시 복구 방법, HAProxy와 Keepalived를 통한 고가용성 구성 등을 다루고 있습니다. 이를 통해 안정적인 데이터베이스 시스템을 구축할 수 있습니다.

mysql galera cluster 설정

pfSense를 이용한 연구실 네트워크 구축 과정에서는 OpenStack 시스템 운영을 위한 VPN과 방화벽 설정이 포함됩니다. pfSense는 FreeBSD 기반의 오픈소스 방화벽으로, 다양한 네트워크 기능을 통합하여 제공하며, 설치 및 설정 과정에서 WAN과 LAN 인터페이스 설정, NAT 및 포트 포워딩, DHCP 서버 활성화 등이 필요합니다. 이를 통해 안정적이고 안전한 네트워크 환경을 구축할 수 있습니다.

연구실 네트워크를 위한 강력한 방패, pfSense 방화벽 구축기

백프로파게이션의 생물학적 비현실성과 하드웨어 구현의 어려움을 해결하기 위해 포워드-포워드 알고리즘(FF)을 제안하며, 초기 실험에서 MNIST와 CIFAR-10 데이터셋에서 유사한 성능을 보였으나 훈련 속도와 일반화 능력에서 여전히 역전파에 미치지 못하는 한계를 인정합니다. FF는 긍정적 및 부정적 데이터를 각각 처리하여 각 계층이 스스로 학습하도록 하며, 생물학적 및 아날로그 하드웨어 구현에 더 적합한 가능성을 제시합니다.

The Forward-Forward Algorithm: Some Preliminary Investigations