데이터베이스 (23) 썸네일형 리스트형 [ElasticSearch] 인덱스 수명 주기 관리 (Hot, Warm, Cold) 1. ILM 란? ILM란 인덱스 수명 주기 관리 (Index Lifecycle Management)라고 불린다. 인덱스 수명 주기 관리(IML)은 ElasticSearch 6.7버전에서 출시되었으며, 인덱스 관리를 효율적으로 관리할 수 있도록 설계되었다. 인덱스 수명주기 관리 (ILM) API는 시간이 지남에 따라 인덱스를 관리하는 방법을 자동화 할 수 있다. 정해진 일정에 따라 인덱스에 대한 관리 작업을 수행하는 대신 샤드 크기 및 성능 요구 사항과 같은 다른 요소를 기반으로 작업을 수행할 수 있다. 인덱스를 생성하는 데 사용된 인덱스 템플릿에 수명 주기 정책을 연결하여 인덱스가 처리되는 방식을 제어한다. 2. Hot-Warm-Cold Hot-warm-cold 아키텍처는 로깅 또는 메트릭과 같은 시계.. [MySQL] m1에서 설치한 mysql이 동작 안할 때, 진짜진짜 시작하기 전에 스트레스 잠깐 내고 하겠습니다. 분명 어제는 잘 됐다가 자고 일어나서 보니까 mysql이 작동하지 않고 있었네요,, 진짜 여기저기 다 구글링 하면서 짜집기로 간신히 해결했습니다. 1. mysql 경로 확인과 동작 중지 시키기 (base) iseungmin@iseungmin-ui-MacBookAir ~ % brew services Name Status User File mysql started iseungmin ~/Library/LaunchAgents/homebrew.mxcl.mysql.plist mysql 옆에 Status가 자꾸 stopped로 바뀝니다. 먼저 mysql 실행 명령어는 brew services start mysql 이라고 입력하면 Status에 위의 코드처럼 st.. [MySQL] Error - (M1) 만약에 mysql 비밀번호를 잊어버렸다면... 본인은 에러가 많은 사람이라서 mysql과 관련된 파일을 삭제하고 다시 설치하는 방법으로 갈 것이다. 물론 mysql만 삭제, 설치만 하면 해결되는 것이 아니다. 의존성 파일들이 있기 때문에 재설치 되면 그 의존성 파일들이 새로 깐 mysql에 적용되 되어버린다. 그래서 본인은 그 의존성 파일을 다 삭제해버릴 것이다. 먼저 터미널에서 homebrew 경로를 확인해야한다. $ brew config HOMEBREW_PREFIX: /opt/homebrew HOMEBREW_CASK_OPTS: [] 뭐 중요한 부분은 HOMEBREW_PREFIX 부분이다. 현재 brew 기본 경로는 /opt/homebrew로 되어있다. (아마 인텔용 homebrew는 /usr/local 로 되어있을 것이다. 상관없다) brew s.. [MySQL] Error - (M1) mysql 비밀번호 변경 방법 본인은 MAC M1을 사용하고 있으며, homebrew 기본 경로는 /opt/homebrew이다. 인터넷에 검색해보면 흔히 보이는 해답들이 있을 것이다. 이상하게 왜 나만 이런 방법이 안먹히지..? 라고 고민을 엄청 많이 하다가 좋은 글을 발견해서 공유 하고자 글을 작성한다. 기본적으로 인터넷에는 비밀번호 변경하는 방법 중에 SET PASSWORD FOR 'root'@'localhost' = PASSWORD('1234'); 위의 방법.. 본인은 역시 안된다. update user set passwrod=PASSWORD('1234') where User='root'; 이 방법 역시 본인은 안된다. 이유는 모르겠다. 그냥 안된다.. update user set authentication_string=PASS.. [ELK] ELK의 REST API이해 Elasticsearch는 http 프로토콜 접근이 가능한 REST API를 지원한다. 자원별로 고유 URL로 접근이 가능하며 http 메서드 PUT, POST, GET, DELETE를 이용해서 자원을 처리한다. 즉 RESTful 한 시스템이라고 한다. https://esbook.kimjmin.net/04-data/4.1-rest-api 4.1 REST API - Elastic 가이드북 Elasticsearch는 http 프로토콜로 접근이 가능한 REST API를 지원합니다. 자원별로 고유 URL로 접근이 가능하며 http 메서드 PUT, POST, GET, DELETE 를 이용해서 자원을 처리합니다. 이런 특성을 가진 시스템을 esbook.kimjmin.net 굉장히 정리가 잘 되어있음.. 1. 유닉스.. [ELK] GCP환경에서 Docker로 ELK 설치 및 실행하기 현재도 계속 공부중이라서 본인만을 위한 공부용으로 작성중인 글. 본인의 환경에서 설치 및 실행한 것이므로 파일 위치나 이름이 다를수 있습니다. 1. 설치 및 실행 1) 도커 및 도커 컴포즈 설치, 세팅 # 도커 설치 sudo yum install yum-utils device-mapper-persistent-data lvm2 -y sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo -y sudo yum install docker-ce -y sudo systemctl start docker sudo systemctl enable docker # 도커 컴포즈 설치 sudo curl -L "https.. [ELK] ELK Stack 이해하기 1. ELK Stack ELK는 3가지 오픈소스 소프트웨어 Elastic Search, LogStatsh, Kibana의 조합을 말합니다. 각 제품이 연동되어 데이터 수집 및 분석 툴로서 동작합니다. Elastic이라는 기업명에 걸맞게 높은 확장성과 뛰어난 이식성을 가지고 있어 다른 여러가지 툴과도 연동이 가능합니다. 1) ElasticSearch 분산현 검색 엔진 ElasticSearch는 Apache Lucene기반으로 구축되어 있는 분선형 및 개방형이 특징인 검색엔진이다. Lucene이 JAVA로 만들어져 있기 때문에 ElasticSearch도 JAVA로 개발되었다. 실시간 분석 시스템 클러스터가 실행되고 있는 동안 계속해서 데이터가 입력되고, 실시간에 가까운 속도로 검색 및 집계 수행 역인덱스(I.. 이전 1 2 3 다음
