[ML] Tensorflow 모델을 TFLite 로 변환하는 방법

들어가기 앞서,

• 양자화(quantization)는 float32 로 학습된 weight 값들을 float16, int8 등의 형태로 변환하는 작업을 의미합니다.
• 이 작업을 하게되면, .tflite 의 파일크기가 대략 4분의 1정도로 줄어들게 되지만,
• 세밀한 데이터값을 버리는 작업이므로, model 의 정확도를 잃을 수 있는 작업이 됩니다.
• 결과적으로 양자화는, model 의 사이즈를 줄임으로써, 정확도는 떨어지지만 빠른 추론 시간을 얻게 되는 작업이라고 볼 수 있습니다.

TFLite 변환 시, FP16 양자화 적용 예제

• 파일로 저장되어 있는 모델을 load 한 뒤, TFLite 모델로 변환

    import tensorflow as tf
  
    # 파일로 저장되어 있는 모델을 load 한 뒤, TFLite 모델로 변환
    converter = tf.lite.TFLiteConverter.from_saved_model('모델파일위치')
  
    # FP16 양자화 설정
    converter.target_spec.supported_types = [tf.float16]
    converter.optimizations = [tf.lite.Optimize.DEFAULT]
  
    # 모델 양자화
    tflite_model = converter.convert()
  
    # 변환된 모델을 .tflite 파일에 저장
    open("변환모델저장명.tflite", "wb").write(tflite_model)

• 변수로 저장되어 있는 모델을, TFLite 모델로 변환

    import tensorflow as tf
  
    # 변수로 저장되어 있는 모델을, TFLite 모델로 변환
    converter = tf.lite.TFLiteConverter.from_keras_model(모델변수)
  
    # FP16 양자화 설정
    converter.target_spec.supported_types = [tf.float16]
    converter.optimizations = [tf.lite.Optimize.DEFAULT]
  
    # 모델 양자화
    tflite_model = converter.convert()
  
    # 변환된 모델을 .tflite 파일에 저장
    open("변환모델저장명.tflite", "wb").write(tflite_model)

참고

• https://bugloss-chestnut.tistory.com/entry/Tensorflow-tflite를-Quantization양자화하기python
• https://overface.tistory.com/558
• https://tensorflow.google.cn/lite/performance/post_training_float16_quant?hl=ko