Computer Science 썸네일형 리스트형 [Python] 파이썬 XML을 사전(dict/json)으로 변환하는 방법 (xmltodict) 이전에 작성 했던 파이썬에서 XML 데이터 읽기의 글이 요즘들어 조회수가 높게 나오는 편인데 기존의 ElementTree보다 dict로 변환하여 처리하는 쉬워 글을 작성. 혹시 element로 처리 할 생각이라면 이 글을 참고! https://yeslab.tistory.com/77 [Python] 파이썬 XML 데이터 읽기 2019-07-18 초본작성 빅데이터 관련 업무를 하다보면 TSV(Tab Separated Value), XML(Extensible Markup Language), JSON(JavaScript Object Notation) 이 3가지의 형태의 데이터를 자주 접하게 된다. TSV나 JSON.. yeslab.tistory.com 파이썬에서는 뭐니뭐니해도 dict 형식으로 처리하는게 제일.. 더보기 [Python] nested json(dict) 플랫화(flatten) nested json을 처리하다 보면 오브젝트로 처리하기 보다 스트링으로 처리하는게 편한 경우가 있습니다. 그럴 때 플랫화 해서 사용하면 좋습니다. 저는 주로 spark에서 구조가 복잡한 json의 leaf들의 통계를 구할 때 많이 사용합니다. 원본: { "a": { "b": { "c": 1 }, "d": 0 } } 플랫화 결과: { "a.b.c": 1, "a.d": 0 } 플랫화 함수 코드: def flatten_json(y): out = {} def flatten(x, name =''): # If the Nested key-value # pair is of dict type deli = '.' if type(x) is dict: for a in x: flatten(x[a], name + a + del.. 더보기 [python] poetry 설치 시스템 요구사항: - Poetry requires Python 2.7 or 3.5+. - It is multi-platform and the goal is to make it work equally well on Windows, Linux and OSX. osx / linux / bashonwindows 설치 명령어: curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python - windows powershell 설치 명령어: (Invoke-WebRequest -Uri https://raw.githubusercontent.com/python-poetry/poetry/master/get-poet.. 더보기 [Python] pypi(Python package Index) 란? Python Package Index(Python Package Index)는 Python의 공식 소프트웨어 저장소로, 간단하게 말해 우리가 pip를 이용해 설치하는 패키지들은 모두 pypi에 있는 것들 입니다. Pypi는 Python Software Foundation이 운영하는 Python용 CPAN 저장소 및 R용 CAN 저장소와 유사합니다. pip을 비롯한 일부 패키지 관리자는 PyPI를 패키지와 해당 종속성에 대한 기본 소스로 사용합니다. 2022년 1월 17일 현재, 350,000개 이상의 파이썬 패키지에 Pypi를 통해 액세스할 수 있습니다. PyPI는 주로 sdists(소스 배포) 또는 사전 컴파일된 "wheels"라는 아카이브 형태의 파이썬 패키지를 호스팅합니다." 인덱스로 PyPI를 사.. 더보기 [Python] 파이썬 가상환경(pipenv) 설치 및 사용법 pipenv 설치 pip3 install pipenv 가상환경 생성 cd myproject pipenv --python 3.9 가상환경 터미널 실행 pipenv shell 가상환경 실행(run) : 가상환경 터미널로 넘어가지 않고 가상환경에서 커맨드만 수행 pipenv run ${COMMANDS} 가상환경 종료 exit 가상환경에 패키지를 설치 및 배포를 위해 현재 설치된 패키지의 lock 파일을 만드는 방법 pipenv install numpy pandas matplotlib pipenv lock 참고 - 파이썬 공식 문서 https://packaging.python.org/en/latest/tutorials/managing-dependencies/#managing-dependencies 더보기 [conda-forge/miniforge] 미니포지 삭제 - 맥(MAC) OS M1 맥북이 초반에 나왔을때 brew로 설치하는 파이썬이 제대로 지원하지 않는 경우가 많아 임시로 miniforge를 통해 사용했었다. 하지만 요즘은 brew나 pip로 설치해도 M1과 호관성 이슈가 거의 없어 필요가 없어졌다. 1. Any modifications to your shell rc files that were made by Miniforge: 미니포지에서 수정한 쉘을 복구 conda init --reverse --dry-run conda init --reverse 위 명령어를 수행하면 쉘을 재실행 해야 적용된다는 문구가 뜨지만 무시하고 다음 스텝을 쭉 진행한다. 2. Remove the folder and all subfolders where the base environment for M.. 더보기 [PySpark] 연산자 우선순위 이슈 - 'py4j.Py4JException: Method or([class java.lang.Integer]) does not exist' pyspark에서 and, or, not에 대해서 다음과 같은 이슈가 발생할 수 있다 py4j.Py4JException: Method or([class java.lang.***]) does not exist py4j.Py4JException: Method and([class java.lang.***]) does not exist py4j.Py4JException: Method not([class java.lang.***]) does not exist 내 경우에는 다음과 같이 or를 사용하면서 발생 # 잘못된 코드 .filter(col('row_num')== 2 | col('row_cnt') == 1) 에러로그 py4j.Py4JException: Method or([class java.lang.Intege.. 더보기 [DevOps] SW 개발 환경(local, dev, staging, QA, production) 현업에서 서비스 개발을 하다보면 개발 환경에 대한 이해가 필요합니다. 대기업이나 안정성이 매우 중요한 프로젝트에서는 보통 6가지 개발 환경으로 구성합니다. (local- > dev -> integration -> staging -> QA -> production) 모든 환경을 모두 구성할 필요는 없지만 최소한 3가지 개발환경 (dev -> staging -> production)은 구성합니다. Local 개발자가 본인의 PC에서 개발하는 환경을 말합니다. 요즘은 보통 각각의 개발자가 git에서 master/dev 브랜치를 local machine으로 clone하여 개발하게 됩니다. local 환경에서 가장 중요한 부분은 개발도구나 라이브러리에 대한 통합이 필요하다는 점입니다. 그렇지 않으면 local에서.. 더보기 이전 1 2 3 4 5 6 7 ··· 12 다음
