기타 (7) 썸네일형 리스트형 대규모 데이터 처리의 어려운 점 소규모 서비스와 대규모 서비스의 차이 확장성 확보, 부하분산 필요 scale-out : 서버 역할을 분담 or 대수를 늘림 → 부하분산 하드웨어를 횡으로 나열해 확장성 확보(하드웨어의 성능 가격에 비례 X) 웹 서비스에 적합한 형태 + 비용 저렴 + 시스템 구성에 유연성 요청을 어떻게 분배할 지? 데이터 동기화는 어떻게 할 지? 다중성 확보, 고장에 견고해야 : 특정 서버가 고장나거나 성능이 저하되어도 서비스를 계속할 수 있도록 단점 서버 대수가 늘어나면 서버의 고장률도 필연적으로 올라감 어떤 서버가 무슨 역할을 하고 있는지 파악하기 어려움 → 감시용 소프트웨어/정보관리 툴 사용(효율적 운용 필요) 대규모 서비스가 되면 여러 기술자가 역할 분담해야함 → 표준화하가 쉽지 않음(팀 매니지먼트가 필요해짐) s.. VAE (Auto-Encoding Variational Bayes) 리뷰 VAE에 대해 소개하기에 앞서, 먼저 Auto Encoder가 뭔지 설명해보면, Auto Encoder 란? 비지도학습으로 입력 데이터의 표현을 효율적으로 학습할 수 있는 인공신경망 (feature extractor) Encoder - z (latent variable) - Decoder 형태 output이 input의 형태로 나타나도록 하는 것이 목적이나, 그 과정에서 입력을 reconstruction해서 데이터를 효율적으로 representation 하는 방법 학습 차원을 축소(특징 추출)하기 위한 목적으로 만들어졌기 때문에 Encoder를 학습하기 위해 Decoder를 사용한 것으로 볼 수 있음 Variational Auto Encoder Decoder를 사용하기 위해 Encoder 활용 (Deco.. Quick DBD Home - QuickDBD Quick Database Diagrams (QuickDBD) is a simple online tool to quickly draw database diagrams by typing. www.quickdatabasediagrams.com Quick DBD란? Quick Database Diagram으로, ERD를 설계하는 툴이다. 블로그 후기를 작성할 경우, 무료료 1년의 free권한을 받을 수 있다. 작년에 데이터베이스 설계하는 프로젝트를 진행할때는 workbench의 ERD 툴을 사용했었는데, 해당 툴은 무료로 제공되지만 논리적 모델링을 지원하지 않기 때문에 설계에 있어서 살짝 어려움이 있었다. Quick DBD는 별도의 소프트웨어를 다운받을 필요 없이 아래와 같이 웹사.. [Unix] vi 에디터 사용하기 & Shell 명령 vi 에디터란? 최초의 유닉스용 화면 편집기 작고, 빠르고, 모든 유닉스/리눅스 시스템이 기본적으로 갖추고 있음 몇가지 기본적 기능만 갖추고 있으나 유닉스의 다른 명령들과 결합하여 매우 다양하게 확장/응용 가능 독특하지만 매우 빠르고 강력한 명령 체계 에디터 사용법 vi : 에디터 프로그램을 실행시작하라는 명령 vi myfile.c(파일이름) : myfile.c 파일을 만들어 vi 에디터프로그램 시작하는 명령 ▶ vi를 시작하면 기본적으로 들어가는게 명령 모드이기 때문에 편집모드로 변경해야함 ▶ (ex모드는 다른 파일을 읽어들일때, 편집을 마치고 파일을 저장할때 사용됨) vi 작성모드 이동 명령모드 → 편집모드 : 'i', 'a' 등의 명령 사용 ▶ i를 누르면 커서위치부터 수정, a를 누르면 커서위치의.. [AWS] 스토리지 활용 웹사이트 만들기 S3 활용한 정적 웹사이트 만들기 1. 아마존 사이트 - S3 - 버킷 생성 (이름은 고유한 이름으로, 모든 퍼블릭 액세스 차단 해제) 2. 생성된 버킷에 index.html 파일 업로드 index.html 코드 라라렌드에 오신 것을 환영합니다 3. 버킷 내 속성 - 스크롤해 정적 웹사이트 호스팅 찾아 편집 버튼 클릭 4. 정적 웹 사이트 호스팅에서 활성화 클릭, 인덱스 문서에 "index.html" 입력 - 변경사항 저장 클릭 5. 버킷에서 index.html 파일 클릭 - 권한 메뉴 클릭 - 편집 버튼 클릭 - 모든사람 읽기 권한 선택 6. 다시 버킷의 속성 - 스크롤 내려 정적 웹사이트 호스팅 찾음 - 버킷 웹사이트 엔드포인트 주소 복사 후 주소창에 입력 실행 결과 정리 버킷 생성 및 공개 버킷 속.. [AWS] Amazon Linux 2 실행하기 Amazon Linux 2 아마존에서 만든 리눅스 가상머신 이미지 아마존 클라우드에서 동작하는데 최적화되어 있다고 함(가볍고, 클라우드에 필요한 것만 들어있음) Red hat의 old version을 베이스로 만듬 (자동설치시 yum을 사용) ※ 최신버전의 Red hat, CentOS는 자동설치시 dnf사용 putty 다운로드 하기 https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html Download PuTTY: latest release (0.76) This page contains download links for the latest released version of PuTTY. Currently this is 0.76, released o.. [Linux] 프로세스와 실행 ps ps : 프로세스 리스트를 보여줌 ps aux : 백그라운드에서 돌아가는 수많은 프로그램들 다 보고 싶을 때 ps aux | grep apache : apache라는 이름을 가진 프로그램 찾고 싶을 때 PID : 프로세스 아이디 PID를 알면, 그 프로그램을 kill 할 수 있음 htop htop : 프로세스 관리자 (시스템 실시간 모니터링) sudo apt-get htop MEM% : 프로세스가 물리적으로 차지하고 있는 퍼센트 RES : 실제 메모리의 사용량 Background execute 명령어 뒤에 & 입력하면 백그라운드에서 실행됨 daemon 항상 실행되고 있음 컴퓨터가 실행될 때 자동으로 실행되야할 필요성 있는 프로그램 있음 실습 apache 웹서버 설치 ▶ sudo apt-get ins.. 이전 1 다음
