IT삽질의 현장

경로내에 있는 파일 리스트 출력

Mason-CHOI — Wed, 28 Sep 2022 23:35:50 +0900

search_dir 경로(workspace 폴더)에 있는 파일 리스트 출력 예시

#!/bin/bash
search_dir="./workspace"

for entry in "$search_dir"/*
do
  echo "$entry"
done

[Linux] script에서 split

Mason-CHOI — Wed, 28 Sep 2022 23:28:03 +0900

리눅스 쉘 스크립트에서 split 예시

#!/bin/bash

search_dir="I/wanna/go/home"

test_1=$(echo $entry | cut -d '/' -f3)

echo $test_1

Pytorch 특정 GPU만 할당 및 사용

Mason-CHOI — Sun, 24 Apr 2022 15:09:12 +0900

import os

os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"  # Arrange GPU devices starting from 0
os.environ["CUDA_VISIBLE_DEVICES"]= "0,1"  # 0번 과 1번 GPU를 사용, Set the GPU 2 to use

위의 코드를 실행할 코드 맨 위에 적용하여 실행하면 됨.

버거킹 간편 로그인 오류 해결 방안

Mason-CHOI — Tue, 19 Apr 2022 16:48:01 +0900

버거킹 앱에서 간편 로그인을 하면 아래와 같은 오류가 발생하는 경우가 있다.

와이파이도 안정적이고 데이터도 안정적인데, 아래와 같은 오류가 생기는 이유는 DNS문제인데, 몇 번의 클릭으로 해결 가능하다.

안드로이드(갤럭시 기종)으로 안내하면, 아래의 순서와 같다.

위와 같이 설정 후, 버거킹 앱을 재실행 하여, 간편 로그인을 하면 로그인 된다.

위의 방법도 안될 경우, 고객센터에 문의 하는 것이 가장 빠르다.

멀티 GPU 시스템에서 하나의 GPU만 사용하기

Mason-CHOI — Wed, 16 Feb 2022 01:18:11 +0900

방법 1

tf.debugging.set_log_device_placement(True)

try:
  # 유효하지 않은 GPU 장치를 명시
  with tf.device('/device:GPU:2'):
    a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
    b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])
    c = tf.matmul(a, b)
except RuntimeError as e:
  print(e)

ref: https://www.tensorflow.org/guide/gpu?hl=ko#%EB%A9%80%ED%8B%B0_gpu_%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90%EC%84%9C_%ED%95%98%EB%82%98%EC%9D%98_gpu%EB%A7%8C_%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0

GPU 사용하기 | TensorFlow Core

도움말 Kaggle에 TensorFlow과 그레이트 배리어 리프 (Great Barrier Reef)를 보호하기 도전에 참여 GPU 사용하기 Note: 이 문서는 텐서플로 커뮤니티에서 번역했습니다. 커뮤니티 번역 활동의 특성상 정확한

www.tensorflow.org

방법 2

아래의 코드를 맨 처음 부분에 넣어주면 됨.

Ex> os.environ["CUDA_VISIBLE_DEVICES"]="0" , GPU 0를 사용하겠음 선언.

import os

os.environ["CUDA_VISIBLE_DEVICES"]="0"
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    try:
        tf.config.experimental.set_memory_growth(gpus[0], True)
    except RuntimeError as e:
        print(e)

ModuleNotFoundError: No module named 'apex'

Mason-CHOI — Thu, 13 Jan 2022 00:37:16 +0900

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

아래의 주소로 가서 참조하면 된다.

https://github.com/NVIDIA/apex

GitHub - NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed training in Pytorch

A PyTorch Extension: Tools for easy mixed precision and distributed training in Pytorch - GitHub - NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed training in Pyt...

github.com

Docker 내부 root 계정 권한

Mason-CHOI — Sun, 9 Jan 2022 22:02:36 +0900

Docker 내부에서 permission error가 발생하면 root의 권한이 필요한데,

설정하지 않은 P/W를 요구하는 경우가 나타난다.

이럴경우 root 계정으로 docker를 접속하는 방법으로 해결 할 수 있다.

docker exec -u 0 -it mycontainer bash

mycontainer -> 컨테이너 이름

no module named 'tqdm'

Mason-CHOI — Sun, 9 Jan 2022 13:15:41 +0900

pip install tqdm

리눅스에서 깔끔하게 컴퓨터 자원 모니터링

Mason-CHOI — Thu, 6 Jan 2022 16:16:51 +0900

gmonitor를 활용하면 컴퓨터의 자원을 훨씬 편하게 확인 할 수 있다.

실제로 GPU에 부하를 주면 아래의 이미지와 같이 출력됩니다.

(GPU 부하 프로그램은 gpu_burn 프로그램을 활용하였습니다.)

Ref.

https://github.com/wilicc/gpu-burn

GitHub - wilicc/gpu-burn: Multi-GPU CUDA stress test

Multi-GPU CUDA stress test. Contribute to wilicc/gpu-burn development by creating an account on GitHub.

github.com

https://eungbean.github.io/2018/08/29/gpu-monitor-with-byobu/

Ubuntu에서 GPU 모니터링 더 멋지게 하기

GPU Useage를 편하게 모니터 해보자! 앞서 포스트에서 gpu를 모니터링 하는 방법을 몇가지 언급했습니다. Ubuntu에서 GPU 모니터링 하는 4가지 방법 위에서 언급한 4가지 툴을 한 화면에 모두 띄워 놓자

eungbean.github.io

컨테이너 목록 불러오기

Mason-CHOI — Tue, 4 Jan 2022 16:32:44 +0900

실행 중인 컨테이너 목록 불러오기

sudo docker ps

컨테이너 목록 전체 불러오기

sudo docker ps -a