우노

GPU 확인 방법 from tensorflow.python.client import device_lib print(device_lib.list_local_devices()) 해당 환경에선, CPU 와 GPU:0 이 탐색된 것을 확인할 수 있습니다. [name: "/device:CPU:0" device_type: "CPU" memory_limit: 268435456 locality { } incarnation: 1415685393377422244 , name: "/device:GPU:0" device_type: "GPU" memory_limit: 17739145216 locality { bus_id: 1 links { } } incarnation: 16708498359240107799 physical_de..

들어가기 앞서, 해당 포스팅에선, yolov5 모델을 양자화하는 방법에 대해서 다뤄보겠습니다. 사전 환경 셋팅 코드는 아래와 같습니다. git clone https://github.com/ultralytics/yolov5.git pip install -r yolov5/requirements.txt cd yolov5 export 명령어의 옵션은, 원하는 모델에 따라 달라질 수 있습니다. https://github.com/ultralytics/yolov5/blob/master/export.py 기본 모델 생성 python3 export.py --weights yolov5s.pt --include saved_model FP16 양자화 모델 생성 python3 export.py --weights yolov5s...

들어가기 앞서 GPU 의 메모리가 부족할 경우, 아래 코드를 통해 GPU 메모리 사용량을 지정할 수 있습니다. 예제 코드 import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') # GPU 메모리를 1024MB (1GB)로 지정합니다. if gpus: tf.config.experimental.set_virtual_device_configuration(gpus[0], [tf.config.experimental.VirtualDeviceConfiguration(memory_limit=1024)])

들어가기 앞서, TFLite는, interpreter의 input type과 output type을 통해 양자화 적용 상태를 확인할 수 있습니다. 예제 코드 import tensorflow as tf interpreter = tf.lite.Interpreter(model_path="tflite모델경로") input_type = interpreter.get_input_details()[0]['dtype'] print('input: ', input_type) output_type = interpreter.get_output_details()[0]['dtype'] print('output: ', output_type) # FP32 이므로, 양자화 없이 ..

에러 결과 [import tflite_runtime.interpreter as tflite] 을 사용해 tflite 모델을 로드할 경우, import tflite_runtime.interpreter as tflite model = tflite.Interpreter( "./model.tflite", experimental_delegates=[tflite.load_delegate('libedgetpu.so.1')]) 아래와 같은 에러가 발생하는 경우가 있습니다. ImportError: generic_type: type "InterpreterWrapper" is already registered! 에러 원인 “import tensorflow as tf” 와 “import tflite_runtim..

들어가기 앞서, HDF5 와 SavedModel 간 파일 포맷 변경은 간단합니다. 저장되어있는 모델을 Load 한 뒤, 다른 파일 포맷으로 Save 하면 됩니다. HDF5 to SavedModel import tensorflow as tf model = tf.keras.models.load_model('model.h5') model.save('model') SavedModel to HDF5 import tensorflow as tf model = tf.keras.models.load_model('model') model.save('model.h5')

들어가기 앞서, 해당 포스트에서는, BERT 모델을 사용한 Batch 단위의 IMDb 데이터 추론 성능 측정 코드를 다루고 있으며, 실행 시간을 측정하기 위한 디버깅 코드가 포함되어있습니다. IMDb 데이터는 영화 리뷰에 대한 감정 분류 데이터셋입니다. (1:긍정, 0:부정) 예제 코드 # 참고 : https://colab.research.google.com/github/google-research/bert/blob/master/predicting_movie_reviews_with_bert_on_tf_hub.ipynb?hl=it_IT#scrollTo=6o2a5ZIvRcJq # 참고 : https://github.com/harenlin/IMDB-Sentiment-Analysis-Using-BERT-Fine..

들어가기 앞서, 해당 포스트에서는, LSTM 모델을 사용한 Batch 단위의 IMDb 데이터 추론 성능 측정 코드를 다루고 있으며, 실행 시간을 측정하기 위한 디버깅 코드가 포함되어있습니다. IMDb 데이터는 영화 리뷰에 대한 감정 분류 데이터셋입니다. (1:긍정, 0:부정) 예제 코드 # Model: LSTM # Dataset: imdb import tensorflow as tf import numpy as np import time import pandas as pd # Check GPU Availability device_name = tf.test.gpu_device_name() if not device_name: print('Cannot found GPU. Training with CPU&..

들어가기 앞서, 해당 포스트에서는, RNN 모델을 사용한 Batch 단위의 IMDb 데이터 추론 성능 측정 코드를 다루고 있으며, 실행 시간을 측정하기 위한 디버깅 코드가 포함되어있습니다. IMDb 데이터는 영화 리뷰에 대한 감정 분류 데이터셋입니다. (1:긍정, 0:부정) 예제 코드 # Model: Simple RNN # Dataset: imdb # Reference : https://www.kaggle.com/tanyildizderya/imdb-dataset-sentiment-analysis-using-rnn import tensorflow as tf import numpy as np import time import pandas as pd # Check GPU Availability device_n..

들어가기 앞서, DistilBERT 모델은 transformers 모델 중 하나이고, GLUE SST-2 데이터는 영화 리뷰에 대한 감정 분류 데이터셋입니다. (1:긍정, 0:부정) 해당 포스트에서는, DistilBERT 모델을 사용한 Batch 단위의 GLUE SST-2 데이터 추론 성능 측정 코드를 다루고 있으며, 각 코드별 실행 시간을 측정하기 위한 디버깅 코드가 포함되어있습니다. 모델과 데이터셋은 HuggingFace API 통해 사용했습니다. 예제 코드 # Install the required package # !pip install datasets # !pip install transformers # Import Library import datasets from transformers imp..