본문 바로가기

전체 글

[LeetCode] 20. Valid Parentheses 기록 https://leetcode.com/problems/valid-parentheses/ Valid Parentheses - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 괄호가 있는 input이 valid한지 판별하는 문제이다. 앞에서 열었던 괄호들을 FILO로 처리해야 하므로 stack을 통해서 구현하면 되겠다 생각 파이썬에서는 스택이 필요하면 리스트를 사용한다. push는 appned()로 pop은 pop()으로 사용 대응하는 무엇인가를 찾는일이므로 참조테이.. 더보기
Airflow 주요 개념 정리 사용을 위한 기본 개념 DAG: AirFlow에서 실행할 작업들은 순서에 맞게 구성한 워크플로우를 의미, Directed Acyclic Graph(유향 순환 그래프)의 약자로 DAG를 구성하는 각 작업들은 TASK라고 한다. TASK: DAG를 구성하는 각 작업들, TASK는 Operator, Sensor, Hook 등을 사용할 수 있다. Operator: 지정한 작업을 수행하는 실행 도구 ( ex. python operator, bash operator, postgres operator) Sensor: 어떤 결과를 만족하는지 주기적으로 체크할 때 사용 ( ex.데이터 파이프라인에서 이전 작업의 결과물이 잘 생성되었는지 확인) Hook: DB나 서비스 같은 외부 시스템과 통신하기 위한 인터페이스를 제공하.. 더보기
[centos7] OpenSSL1.1.1 설치 centos7에서 python 3.10 버전을 컴파일 할 때 openssl 1.1 이상의 라이브러리가 필요하다. 하지만 기본적으로 깔려있는 버전은 openssl 1.0 버전이다. 다음은 centos7에서 openSSL 1.1.1을 설치하고 pyenv에서 python3.10.x 버전 설치하는 방법을 정리했다. 에러메시지 Installing Python-3.10.7... ERROR: The Python ssl extension was not compiled. Missing the OpenSSL lib? Please consult to the Wiki page to fix the problem. https://github.com/pyenv/pyenv/wiki/Common-build-problems BUILD .. 더보기
[Hadoop/Spark] MapReduce란 무엇인가?(Mapper, reducer) MapReduce란? Apache Hadoop MapReduce는 방대한 양의 데이터를 처리하는 작업을 작성하기 위한 소프트웨어 프레임워크이다. 입력 데이터는 독립적인 청크로 분할된다. 각 청크는 클러스터의 노드에서 동시에 처리된다. MapReduce 작업은 두 함수로 구성된다. Mapper: 입력된 데이터를 소비하고 분석하며(일반적으로 필터 및 정렬 작업) 튜플을 내보낸다.(키-값 쌍) Reducer: mapper에서 나온 튜플을 소배하고 매퍼 데이터에서 더 작고 결합된 결과를 생성하는 요약 작업을 수행한다. 분산처리를 하기 좋은 형태로 만들어 처리한다고 생각하면 쉽다. Spark도 MapReduce처리 방식을 지원한다. 예시를 통한 설명 다음 WordCount 예시를 보면 각 단계가 어떤일을 하는지가.. 더보기
[linux] shell 명령어 반복 실행(watch) shell에서 명령어를 반복적으로 실행해야 할 때가 있다. 시스템의 자원 사용량을 모니터링하거나 명령어를 반복적으로 입력하면서 결과를 확인 해야하는 경우이다. 필자의 경우에는 k8s를 사용할 때 kubectl get pods 명령어를 지속적으로 입력하며 확인할 때 사용하였다. 문법: watch -n [시간:초] 예시: 10초마다 pods 정보를 출력 watch -n 10 kubectl get pods 더보기
특수기호 ` 은 뭐라고 읽어야 하나? 영문에서 원화 표시를 누르면 입력되는 ` 문자는 backquote, backtick, grave, grave accent 등으로 불린다. 그렇다면 한글로는 뭐라고 읽어야 하나 보통 '억음 부호'라고 한다. grave accent를 직역한 뜻으로 보인다. 개인적으로 컴퓨터를 전공한다면 모양에 초점을 맞춘 backtick 언어쪽을 전공한다면 발음의 의미를 가진 grave accent 라고 외우는 것이 좋을 것 같다. 더보기
[Linux] Oh My Zsh 설치 Oh My Zsh는 Zsh 구성을 관리하기 위한 즐거운 오픈 소스, 커뮤니티 기반 프레임워크입니다. 수천 개의 유용한 기능, 도우미, 플러그인, 테마, 그리고 당신을 외치게 만드는 몇 가지 것들이 함께 제공됩니다. 설치 커맨드: sh -c "$(curl -fsSL https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.sh)" 설치 화면: 출처: Oh My Zsh 공식사이트 https://ohmyz.sh/#install Oh My Zsh - a delightful & open source framework for Zsh Oh My Zsh is a delightful, open source, community-driven framework for mana.. 더보기
[Mac] homebrew 설치하기 설치 커맨드: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 환경변수 설정: echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/user/.zprofile eval "$(/opt/homebrew/bin/brew shellenv)" 설치 확인: brew --version Homebrew 3.5.10 Homebrew/homebrew-core (git revision d5996ff862f; last commit 2022-08-24) 출처: homebrew 공식사이트 https://brew.sh/index_ko Homebrew The .. 더보기

티스토리툴바