본문 바로가기

전체 글

[Hadoop/Spark] MapReduce란 무엇인가?(Mapper, reducer) MapReduce란? Apache Hadoop MapReduce는 방대한 양의 데이터를 처리하는 작업을 작성하기 위한 소프트웨어 프레임워크이다. 입력 데이터는 독립적인 청크로 분할된다. 각 청크는 클러스터의 노드에서 동시에 처리된다. MapReduce 작업은 두 함수로 구성된다. Mapper: 입력된 데이터를 소비하고 분석하며(일반적으로 필터 및 정렬 작업) 튜플을 내보낸다.(키-값 쌍) Reducer: mapper에서 나온 튜플을 소배하고 매퍼 데이터에서 더 작고 결합된 결과를 생성하는 요약 작업을 수행한다. 분산처리를 하기 좋은 형태로 만들어 처리한다고 생각하면 쉽다. Spark도 MapReduce처리 방식을 지원한다. 예시를 통한 설명 다음 WordCount 예시를 보면 각 단계가 어떤일을 하는지가.. 더보기
[linux] shell 명령어 반복 실행(watch) shell에서 명령어를 반복적으로 실행해야 할 때가 있다. 시스템의 자원 사용량을 모니터링하거나 명령어를 반복적으로 입력하면서 결과를 확인 해야하는 경우이다. 필자의 경우에는 k8s를 사용할 때 kubectl get pods 명령어를 지속적으로 입력하며 확인할 때 사용하였다. 문법: watch -n [시간:초] 예시: 10초마다 pods 정보를 출력 watch -n 10 kubectl get pods 더보기
특수기호 ` 은 뭐라고 읽어야 하나? 영문에서 원화 표시를 누르면 입력되는 ` 문자는 backquote, backtick, grave, grave accent 등으로 불린다. 그렇다면 한글로는 뭐라고 읽어야 하나 보통 '억음 부호'라고 한다. grave accent를 직역한 뜻으로 보인다. 개인적으로 컴퓨터를 전공한다면 모양에 초점을 맞춘 backtick 언어쪽을 전공한다면 발음의 의미를 가진 grave accent 라고 외우는 것이 좋을 것 같다. 더보기
[Linux] Oh My Zsh 설치 Oh My Zsh는 Zsh 구성을 관리하기 위한 즐거운 오픈 소스, 커뮤니티 기반 프레임워크입니다. 수천 개의 유용한 기능, 도우미, 플러그인, 테마, 그리고 당신을 외치게 만드는 몇 가지 것들이 함께 제공됩니다. 설치 커맨드: sh -c "$(curl -fsSL https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.sh)" 설치 화면: 출처: Oh My Zsh 공식사이트 https://ohmyz.sh/#install Oh My Zsh - a delightful & open source framework for Zsh Oh My Zsh is a delightful, open source, community-driven framework for mana.. 더보기
[Mac] homebrew 설치하기 설치 커맨드: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 환경변수 설정: echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/user/.zprofile eval "$(/opt/homebrew/bin/brew shellenv)" 설치 확인: brew --version Homebrew 3.5.10 Homebrew/homebrew-core (git revision d5996ff862f; last commit 2022-08-24) 출처: homebrew 공식사이트 https://brew.sh/index_ko Homebrew The .. 더보기
[Django] no such table 에러 해결법 여러가지 이유가 있겠지만 필자는 DB 전체를 수동으로 삭제했더니 테이블이 없어진 뒤에 새로 생성되지 않아서 발생했다. 'INSTALLED_APPS'의 테이블을 생성해주는 명령어를 활용하여 해결하였다. python manage.py migrate --run-syncdb 더보기
기상청 강수 초단기 예측(구름 위성 영상) 현 시간 기준을 시간 약 4시간의 비구름 이동 예상 방향과 강수량을 볼 수 있다. 비가 적게 오는 시간을 확인할 때 사용하기 좋은 기능이다. 국내 프로야구에서도 이 시스템을 활용하여 우천 취소 여부를 판단한다고 한다. https://www.weather.go.kr/w/image/vshrt/rain.do 초단기예측 - 강수 - 기상청 날씨누리 개편된 날씨누리 홈페이지 첫 화면에서 지도를 통한 실시간 기상정보와 레이더영상, 전국 특보 현황을 조회할 수 있으며, 내 지역의 현재 기상상황과 대기질 상태, 일출/일몰 시각을 확인할 수 www.weather.go.kr 아래 유튭 영상에서 설명을 잘 하고 있어 참고하면 좋음 https://www.youtube.com/watch?v=LuVcYa9onFs&t=19s 더보기
[내돈내산] 헤어 프로틴 추천 - 차칸팩토리 단백질폭탄 실크90 테라피 본인 머리카락이 얇아 항상 고민이 많았는데 먹는 것도 중요하지만 이게 먹는게 머리카락으로 잘 안가는 사람들은 외부에서도 넣어줘야 하는 것 같다(뇌피셜) 몇년간의 방황 끝에 가성비랑 성능이 모두 좋아 이 제품으로 정착했다. 친구들도 우리집 와서 이거 써보고 영업당함ㅋㅋ 단백질 폭탄 실크 테라피 내 인생 최적화 제품 중 하나... 제발 오래 만들어주세요ㅠㅠ 공식 사이트 가보니 면세도 있는 것 같아서 면세점에서 살 수 있으면 쟁여놓고 쓰면 좋을 것 같다. 공식 판매처 http://www.chakanfactory.com/shop/shopdetail.html?branduid=12&xcode=001&mcode=000&scode=&type=O&sort=manual&cur_code=001&GfDT=bm5%2FW1k%3.. 더보기

티스토리툴바