Python에서 일반적인 bash idiod를 구현하려면 어떻게 해야 합니까?
나는 현재 잘 기억되지 않는 AWK, sed, Bash, 그리고 아주 작은 Perl을 통해 텍스트 파일을 조작하고 있다.
저는 비단뱀이 이런 종류의 일에 좋다는 것을 몇 군데 언급했습니다.Python을 사용하여 셸 스크립팅, AWK, sed 및 friends를 대체하려면 어떻게 해야 합니까?
셸에는 여러 가지 기능이 있습니다.
Essential Linux/Unix 명령어.이 모든 것은 하위 프로세스 라이브러리를 통해 사용할 수 있습니다.모든 외부 명령어를 실행하는 데 이것이 최선의 첫 번째 선택이라고는 것입니다.또한 shutil을 참조하여 개별 Linux 명령어 중 일부를 확인하십시오. 단, Python 스크립트에 직접 구현할 수도 있습니다.os 라이브러리에는 Linux 명령어의 또 다른 큰 배치가 있습니다.이것들은 Python에서 간단하게 실행할 수 있습니다.
그리고 보너스! 더 빨리!셸 내의 각 개별 Linux 명령어(몇 가지 예외 포함)는 하위 프로세스를 포크합니다.Python을 사용하여
shutil그리고.os하위 프로세스를 분리할 수 없습니다.셸 환경의 기능.여기에는 명령어 환경(현재 디렉토리 및 환경 변수 및 대상)을 설정하는 내용이 포함됩니다.Python에서 직접 쉽게 관리할 수 있습니다.
셸 프로그래밍 기능프로세스 상태 코드 체크, 다양한 로직 명령어(test 명령어인 경우, while, for 등) 및 그 모든 관련성이 여기에 포함됩니다.함수 정의 같은 거요Python에서는 이 모든 것이 훨씬 더 쉽습니다.이것은 bash를 없애고 Python에서 실행한 큰 성공 중 하나입니다.
인터랙션 기능여기에는 명령어 이력 및 What-not이 포함됩니다.셸 스크립트를 작성할 때는 이것이 필요하지 않습니다.이것은 사람과의 상호 작용만을 위한 것이지 스크립트 작성을 위한 것은 아닙니다.
셸 파일 관리 기능.여기에는 리다이렉션과 파이프라인이 포함됩니다.이게 더 까다로워.이러한 작업의 대부분은 하위 프로세스로 수행할 수 있습니다.하지만 껍데기 안에 있는 쉬운 것들은 Python에서 불쾌합니다.구체적으로는 다음과 같은 것들이
(a | b; c ) | something >result2개의 프로세스를 병렬로 실행합니다(출력은a에 대한 입력으로서b)에 이어 세 번째 프로세스를 수행합니다.이 시퀀스의 출력은 와 병렬로 실행됩니다.something출력은 파일명으로 수집됩니다.result다른 언어로 표현하기엔 너무 복잡해요.
특정 프로그램(awk, sed, grep 등)은 종종 Python 모듈로 다시 쓸 수 있습니다.적당히해라.필요한 것을 교환하고, 「grep」모듈을 진화시킵니다."grep"을 대체하는 Python 모듈 작성은 시작하지 마십시오.
가장 좋은 것은 이것을 단계적으로 할 수 있다는 것이다.
- AWK 및 PERL을 Python으로 바꿉니다.다른 건 다 내버려둬.
- GREP를 Python으로 대체해 보겠습니다.이것은 조금 더 복잡할 수 있지만, 사용하시는 버전의 GREP는 처리 요구에 맞추어 커스터마이즈 할 수 있습니다.
- FIND를 Python 루프로 대체하여
os.walk많은 프로세스를 생성하지 않기 때문에 이것은 큰 성공입니다. - 일반적인 셸 로직(루프, 결정 등)을 Python 스크립트로 대체해 보십시오.
네, 물론입니다:)
Never write shell scripts(Plumbum의 좌우명)를 다시 쓰지 않도록 도와주는 라이브러리들을 살펴보세요.
또한 awk, sed, grep를 Python 기반의 것으로 대체하고 싶다면 pyp를 추천합니다.
"The Pyed Piper" 또는 pyp는 awk 또는 sed와 유사한 Linux 명령줄 텍스트 조작 도구이지만, 집약적인 프로덕션 환경에서 빠른 결과를 생성하도록 진화한 표준 파이썬 문자열과 목록 메서드를 사용합니다.
방금 bash와 ipython의 가장 좋은 부분을 결합하는 방법을 알아냈어요.지금까지는 서브프로세스 등을 사용하는 것보다 이것이 더 편할 것 같습니다.기존 bash 스크립트의 큰 부분을 쉽게 복사할 수 있으며, 예를 들어 python 방식으로 오류 처리를 추가할 수 있습니다. :) 다음은 저의 결과입니다.
#!/usr/bin/env ipython3
# *** How to have the most comfort scripting experience of your life ***
# ######################################################################
#
# … by using ipython for scripting combined with subcommands from bash!
#
# 1. echo "#!/usr/bin/env ipython3" > scriptname.ipy # creates new ipy-file
#
# 2. chmod +x scriptname.ipy # make in executable
#
# 3. starting with line 2, write normal python or do some of
# the ! magic of ipython, so that you can use unix commands
# within python and even assign their output to a variable via
# var = !cmd1 | cmd2 | cmd3 # enjoy ;)
#
# 4. run via ./scriptname.ipy - if it fails with recognizing % and !
# but parses raw python fine, please check again for the .ipy suffix
# ugly example, please go and find more in the wild
files = !ls *.* | grep "y"
for file in files:
!echo $file | grep "p"
# sorry for this nonsense example ;)
시스템 셸 명령 및 시스템셸로서 사용하는 방법에 대해서는, 「IPython 문서」를 참조해 주세요.
2015년 및 Python 3.4 출시 시점에서는 http://xon.sh/ 또는 https://github.com/scopatz/xonsh에서 사용할 수 있는 비교적 완전한 사용자 지원 셸이 제공되고 있습니다.
데모 비디오에는 파이프가 사용되고 있는 것은 표시되지 않지만 기본 셸 모드에서 지원됩니다.
Xonsh는 bash를 모방하기 위해 매우 노력합니다. 그래서 당신이 이미 근육 기억을 얻은 것들, 예를 들어.
env | uniq | sort -r | grep PATH
또는
my-web-server 2>&1 | my-log-sorter
정상적으로 동작합니다.
이 튜토리얼은 상당히 장황하고 애쉬 또는 배쉬 프롬프트에서 일반적으로 기대할 수 있는 많은 기능을 망라하고 있는 것 같습니다.
- 컴파일, 평가 및 실행!
- 명령어 이력 및 탭 완료
- 도움말 및 슈퍼헬프
?&?? - 에일리어스 및 맞춤 프롬프트
- 명령 및/또는 실행
*.xshImport 가능한 스크립트 - 를 사용한 룩업을 포함한 환경 변수
${} - 입력/출력 리다이렉트 및 결합
- 백그라운드 작업 및 작업 제어
- 중첩 하위 프로세스, 파이프 및 코프로세스
- 명령이 있는 경우 하위 프로세스 모드, 없는 경우 Python 모드
- 캡처된 서브프로세스
$(), 캡처되지 않은 서브프로세스$[], Python Evaluation with@() - 파일명 글로벌화
*또는 Backticks를 사용한 정규 표현 파일 이름 글로벌화
- Python을 쉘로 사용하고 싶다면 IPython을 살펴보는 것은 어떨까요?대화식으로 언어를 배우는 것도 좋다.
- 텍스트 조작을 많이 하고 Vim을 텍스트 에디터로 사용하는 경우 Python에서 Vim용 플러그인을 직접 작성할 수도 있습니다.Vim에 ":help python" 이라고 입력하고 지시에 따르거나 이 프레젠테이션을 참조하십시오.에디터에서 직접 사용할 수 있는 기능을 쉽게 쓸 수 있습니다!
처음에는 sh, sed, awk(그리고 find, grep, 그리고...)가 있었다.좋았어요.하지만 awk는 이상하고 작은 짐승일 수 있고 자주 사용하지 않으면 기억하기 어렵다.그리고 나서 그 위대한 낙타가 펄을 창조했다.Perl은 시스템 관리자의 꿈이었습니다.스테로이드제 탄환 대본 같았어정규 표현을 포함한 텍스트 처리는 언어의 일부일 뿐이었다.그러다가 점점 더 추해지고...사람들은 Perl로 큰 애플리케이션을 만들려고 했다.오해하지 마세요.Perl은 어플리케이션이 될 수 있지만, 주의를 기울이지 않으면 엉망으로 보일 수 있습니다.그리고 이 모든 플랫 데이터 비즈니스가 있습니다.프로그래머를 미치게 만들기에 충분합니다.
Python, Ruby 등을 입력합니다.이것들은 매우 좋은 범용 언어입니다.텍스트 처리를 서포트해, 그 처리를 훌륭하게 실시합니다(단, 언어의 기본 코어에 밀접하게 얽혀 있는 것은 아닐지도 모릅니다).하지만 스케일업도 매우 잘 되고, 마지막에도 여전히 멋진 코드를 가지고 있습니다.그들은 또한 대부분의 것을 위한 많은 도서관과 함께 상당히 큰 공동체를 발전시켰다.
Perl에 대한 부정의 대부분은 의견의 문제이며, 분명 어떤 사람들은 매우 깨끗한 Perl을 쓸 수 있지만, 이렇게 많은 사람들이 난독화된 코드를 만드는 것이 너무 쉽다고 불평하고 있기 때문에, 여러분은 어느 정도 진실이 있다는 것을 알고 있습니다.문제는 이 언어를 단순한 bash 스크립트 교환에만 사용할 수 있느냐는 것입니다.그렇지 않은 경우 Perl에 대해 자세히 알아봅니다.그건 정말 환상적이죠.한편, 당신이 더 많은 것을 하고 싶은 만큼 함께 성장할 수 있는 언어를 원한다면, Python이나 Ruby를 제안해도 좋습니다.
어느 쪽이든, 행운을 빌어요!
나는 멋진 온라인 책 Dive Into Python을 추천한다.원래 그렇게 해서 언어를 배웠어요.
언어의 기본 구조와 많은 유용한 데이터 구조를 가르쳐 주는 것 외에도 파일 처리에 대한 좋은 장과 정규 표현에 대한 후속 장 등이 있습니다.
이전 답변에 추가: 펙스펙트 모듈에서 대화형 명령(adduser, passwd 등)을 처리하는지 확인합니다.
제가 Python을 좋아하는 이유 중 하나는 POSIX 툴보다 훨씬 표준화 되어 있기 때문입니다.각 비트가 다른 운영 체제와 호환되는지 두 번 세 번 확인해야 합니다.Linux 시스템에 작성된 프로그램은 OSX의 BSD 시스템에서 동일하게 작동하지 않을 수 있습니다.Python에서는 대상 시스템에 Python의 최신 버전이 있는지 확인만 하면 됩니다.
게다가 표준 Python으로 작성된 프로그램은 Windows에서도 실행됩니다!
경험을 바탕으로 제 의견을 말씀드리겠습니다.
셸의 경우:
- 셸은 읽기 전용 코드를 매우 쉽게 생성할 수 있습니다.써라, 그러면 다시 돌아와서 네가 무슨 짓을 했는지 알 수 없을 것이다.이것을 달성하는 것은 매우 쉽다.
- 셸은 파이프와 한 줄로 많은 텍스트 처리, 분할 등을 수행할 수 있습니다.
- 다른 프로그래밍 언어로 프로그램 호출을 통합할 때 가장 적합한 접착 언어입니다.
python의 경우:
- Windows로의 휴대성을 포함시키고 싶다면 python을 사용합니다.
- python은 숫자 집합과 같이 텍스트보다 더 많이 조작해야 할 때 더 좋을 수 있습니다.이것으로는 비단뱀을 추천합니다.
저는 대부분의 경우 bash를 선택하지만, 윈도우 경계를 넘나들어야 하는 것이 있을 때는 python을 사용합니다.
pythonpy는 awk와 sed의 많은 기능에 쉽게 접근할 수 있는 도구이지만 python 구문을 사용합니다.
$ echo me2 | py -x 're.sub("me", "you", x)'
you2
저는 세미롱 셸 스크립트(300~500줄)와 비슷한 기능을 하는 파이썬 코드를 구축했습니다.많은 외부 명령어가 실행되면 셸이 더 사용하기 쉬워집니다.텍스트 조작이 많은 경우 Perl도 좋은 옵션입니다.
이 토픽을 조사하던 중 다음과 같은 개념 증명 코드를 발견했습니다(http://jlebar.com/2010/2/1/Replacing_Bash.html)에서 "간단한 구문을 사용하여 Python에서 셸과 같은 파이프라인을 작성하고 기존 시스템 툴을 활용하여 의미 있는 방법으로 작성"할 수 있습니다).
for line in sh("cat /tmp/junk2") | cut(d=',',f=1) | 'sort' | uniq:
sys.stdout.write(line)
가장 좋은 방법은 자신의 문제에 특화된 도구입니다.텍스트 파일을 처리하고 있다면 Sed, Awk 및 Perl이 최고의 경쟁업체입니다.Python은 범용 동적 언어입니다.일반 용도의 언어와 마찬가지로 파일 조작도 지원되지만, 파일 조작의 주된 목적은 아닙니다.특히 동적 언어에 대한 요구사항이 있다면 Python이나 Ruby를 고려하겠습니다.
요컨대, Sed와 Awk, 그리고 당신의 맛 *nix (All the Bash built-ins, grep, tr 등)와 함께 제공되는 다른 모든 맛있는 것들을 정말 잘 배워라.텍스트 파일 처리에 관심이 있다면 이미 올바른 내용을 사용하고 있는 것입니다.
ShellPy 라이브러리에서 bash 대신 python을 사용할 수 있습니다.
다음은 Github에서 Python 사용자의 아바타를 다운로드하는 예입니다.
import json
import os
import tempfile
# get the api answer with curl
answer = `curl https://api.github.com/users/python
# syntactic sugar for checking returncode of executed process for zero
if answer:
answer_json = json.loads(answer.stdout)
avatar_url = answer_json['avatar_url']
destination = os.path.join(tempfile.gettempdir(), 'python.png')
# execute curl once again, this time to get the image
result = `curl {avatar_url} > {destination}
if result:
# if there were no problems show the file
p`ls -l {destination}
else:
print('Failed to download avatar')
print('Avatar downloaded')
else:
print('Failed to access github api')
보시는 바와 같이 그레이브 엑센트(') 기호 내의 모든 표현은 셸로 실행됩니다.Python 코드에서는 이 실행 결과를 캡처하여 액션을 수행할 수 있습니다.예를 들어 다음과 같습니다.
log = `git log --pretty=oneline --grep='Create'
이 라인은 먼저 실행됩니다.git log --pretty=oneline --grep='Create'결과를 로그 변수에 할당합니다.결과에는 다음과 같은 속성이 있습니다.
실행된 프로세스의 stdout에서 텍스트 전체를 stdout합니다.
실행된 프로세스의 stderr에서 전체 텍스트를 stderr
실행 리턴 코드 리턴 코드
이것은 라이브러리의 일반적인 개요입니다.예시와 함께 자세한 설명을 여기에서 찾을 수 있습니다.
텍스트 파일 조작이 보통 1회성(shell-prompt)이라면 python에서 더 나은 것을 얻을 수 없습니다.
한편, 같은(또는 유사한) 작업을 반복해야 하고 스크립트를 작성해야 하는 경우에는 python이 매우 적합합니다.또, 독자적인 라이브러리를 간단하게 작성할 수 있습니다(셸 스크립트를 사용하는 경우도 있습니다만, 보다 번거롭습니다).
느낌을 얻기 위한 아주 간단한 예시입니다.
import popen2
stdout_text, stdin_text=popen2.popen2("your-shell-command-here")
for line in stdout_text:
if line.startswith("#"):
pass
else
jobID=int(line.split(",")[0].split()[1].lstrip("<").rstrip(">"))
# do something with jobID
sys 및 getopt module도 체크합니다.필요한 첫 번째 모듈은 sys 및 getopt module입니다.
PyPI: ez에 대한 패키지를 발행했습니다.
사용하다pip install ez를 인스톨 합니다.
셸에 공통 명령어가 포함되어 있고, my lib는 기본적으로 셸과 동일한 구문을 사용합니다.예를 들어 cp(source, destination)는 파일과 폴더를 모두 처리할 수 있습니다(shutil.copy shutil.copytree의 wrapper와 어떤 명령어를 사용할지 결정합니다).게다가 R처럼 벡터화를 지원할 수 있습니다!
다른 예: no os.walk, fls(path, regex)를 사용하여 파일을 재귀적으로 검색하여 정규 표현으로 필터링하면 fullpath 유무에 관계없이 파일 목록이 반환됩니다.
마지막 예: 이들을 조합하여 매우 간단한 스크립트를 작성할 수 있습니다.
files = fls('.','py$'); cp(files, myDir)
꼭 확인하세요!작성/개량하는 데 수백 시간이 걸렸어요!
언급URL : https://stackoverflow.com/questions/209470/how-to-implement-common-bash-idioms-in-python
'programing' 카테고리의 다른 글
| PHP에서 MySQL 테이블의 마지막 삽입 ID를 얻으려면 어떻게 해야 하나요? (0) | 2022.09.24 |
|---|---|
| Python에 라벨/goto가 있나요? (0) | 2022.09.24 |
| 판다 기둥 세트 선정/제외 (0) | 2022.09.24 |
| xampp에서 mysql 버전을 업데이트하는 방법(innodb_additional_mem_pool_size 오류) (0) | 2022.09.23 |
| brk() 시스템콜의 역할은 무엇입니까? (0) | 2022.09.23 |