본문 바로가기

Computer Science

[linux] grep, awk를 활용한 process kill 특정 string을 포함한 프로세스만 한번에 kill 하고 싶을때 grep과 awk를 이용하여 pid를 구하고 한번에 kill 하는 방법 kill $(ps aux | grep 'substring' | awk '{print $2}') 더보기
[linux/centos7] mail postfix system 상태 확인 및 실행 CENTOS 7 환경 Postfix mail system 동작 확인 후 실행 sudo postfix status postfix/postfix-script: the Postfix mail system is not running sudo postfix start postfix/postfix-script: starting the Postfix mail system 더보기
[spark] YARN spark-submit deadlock (spark job 멈춤현상) spark 2.0.2 기준 가끔 YARN에서 spark job을 수행할 때 어느 지점에서 다음 stage로 진행되지 않는 경우가 있다. spark 초보시절에 진짜 메모리도 늘려보고 별 짓을 다 해봤지만 원인을 찾지 못했다. 최근 며칠간 열심히 container의 상태도 보고 여러가지 설정을 해보았고 구글링을 열심히 해보았지만 답을 찾지 못했다. 하지만 실험적으로 내가 내린 결론은 Too many tasks resource management에서 발생하는 deadlock이다. Deadlock이 아닐수도 있고 멈춤(Stop)현상 또는 Bottleneck이라고도 볼 수 있다. (하지만 3일이상 돌렸는데도 progress가 전혀없는거 보면 deadlock인 것 같다) 문제가 발생했던 job의 특징은 다음과 같았.. 더보기
[Linux] grep을 활용한 특수문자 추출 how to grep lines contains special chracter. how to grep not english, korean, digit chracter. CENTOS 7 기준 옵션 -P, --perl-regexp PATTERN is a Perl regular expression command grep -P "[^a-zA-Z0-9\d\s가-힣]" 해석하자면 다음과 같다 a-z 또는 A-Z 또는 0-9 또는 \d(digit number) 또는 \s(space) 또는 가-힣 에 포함되지 않는(^) 문자가 포함된 라인을 출력한다. 더보기
[Python] 파이썬 call by reference, call by value 언어를 처음 시작하면서 숙지 해야할 가장 중요한 내용이 바로 해당 언어의 'Memory Management', 'argument passing' 방식이다. C언어는 기본적으로 call by value이며 사용자가 포인터를 명시하여 사용하는 경우에만 call by reference로 동작한다. 하지만 이후 언어들은 C언어처럼 '포인터' 라는 개념 자체가 명시적으로 보이지 않는 경우가 많다. 그렇기 때문에 사용하는 언어의 메모리 사용 전략에 대한 이해가 매우 중요하다. Python은 간단하게 설명하면 - 변경 가능한 (Mutable) 타입은 call by reference : list, dictionary, setanduser-defined classes - 변경불가능한(Immutable) 타입은 call .. 더보기
[Spark/Scala] 스파크, 스칼라 버전확인 스파크를 사용하다보면 버전에 따라 지원하는 라이브러리가 달라 확인이 필요한 경우가 있어 정리 spark 버전 1. spark cli로 확인: spark-shell sc.version spark-submit --version 2. spark context로 확인(노트북): sc = SparkContext() spark = SparkSession(sc) println(sc.version) 스칼라버전(스파크 내) 1. spark cli로 확인: scala -version 2. scala 프로퍼티로 확인(노트북): println(scala.util.Properties.versionString) 노트북 결과화면 더보기
리눅스 패턴매칭으로 파일 지우기(Remove files by pattern matching in linux) 특정 패턴에 따라 파일을 지우고 싶은경우 사용한다. 필자의 경우 회사에서 teamviewer를 설치했다 지웠는데 비인가 프로그램이라고 연락이와서 지웠는데 파일까지 깔끔하기 지우라는 요청을 받았다. 그리하여 teamviewer라는 키워드가 들어간 모든 파일을 지우기위해 사용했다. find . -name '*remove_file_pattern*' -delete 함부로 지웠다가 시스템를 망가트릴 수 있으니 지우기전에 먼저 파일 리스트를 먼저 확인하고 지우세요! 더보기
Bucket test(버킷 테스트) Bucket test A bucket test is a split test or A/B test in which you compare two versions of a website against each other, to determine which one is more effective in generating conversions – purchases, downloads, subscribers, clicks and so on. One of the pages is considered the control, and the other one is a variation, visitors being exposed to one of the variations. For each bucket test, you be.. 더보기

티스토리툴바