Transformers Object detection - detr の転移学習とONNX変換と実行。#2

2. ONNX に変換。
順序がバラバラですが、
転移学習した、 雑草 hugging face dtr モデル (detr-resnet-50_finetuned_zasou_ex/final_model) を、 onnx に変換します。
zasou_dtr2onnx.py
''' zasou_dtr2onnx.py DETRをONNXへエクスポートする際、 「入力サイズを480x480に固定」し、かつ「後処理（Post-processing）を切り離す」ことが、その後のRKNN変換を成功させる鍵になります。 以下のコードで、RKNNに最適化されたONNXファイルを出力できます。 注1) opset_version=13 で、OK です!! 1. saved model の ONNX へ変換 $ python zasou_dtr2onnx.py 1.1 CLI で変換(使わなくても、OK) $ optimum-cli export onnx --model detr-resnet-50_finetuned_zasou_ex/final_model --task object-detection onnx/ 2. 書き出し後の重要ステップ（ONNX Simplifier） DETRのONNXグラフは非常に複雑で、そのままではRKNN変換でエラーが出やすいです。必ず onnxsim を使ってグラフを簡略化してください。 # ターミナルで実行 $ pip install onnxsim $ onnxsim detr_zasou_480.onnx detr_zasou_480_sim.onnx 入力サイズの固定化が必要!! $ onnxsim detr_zasou_480.onnx detr_zasou_480_sim.onnx --overwrite-input-shape pixel_values:1,3,480,480 $ onnxsim onnx/model.onnx detr_zasou_480_sim.onnx --overwrite-input-shape pixel_values:1,3,480,480 3. onnx -> rknn (rknn_env310) で、行うこと $ python convert_dtr_onnx2rknn.py ''' import torch from transformers import AutoModelForObjectDetection # 1. 学習済みモデルのロード model_path = "./detr-resnet-50_finetuned_zasou_ex/final_model" model = AutoModelForObjectDetection.from_pretrained(model_path) model.eval() # 2. ダミー入力の作成 (バッチサイズ1, 3チャンネル, 480x480) # RKNN用にサイズを固定します pixel_values = torch.randn(1, 3, 480, 480) # 全域が画像であることを示すマスク（全て1） pixel_mask = torch.ones(1, 480, 480, dtype=torch.long) # 3. エクスポート実行 onnx_model_path = "detr_zasou_480.onnx" USE_ORG=True USE_SDP=False USE_pixel_mask=False # 下記で、OK です。 by nishi 2026.3.15 if USE_ORG: torch.onnx.export( model, #(pixel_values, pixel_mask), # 入力タプル (pixel_values), # pixel_mask を渡さない onnx_model_path, export_params=True, # 重みをファイルに書き込む opset_version=13, # DETRの演算をサポートするバージョン do_constant_folding=True, # 定数畳み込みでグラフを最適化 input_names=['pixel_values'], output_names=['logits', 'pred_boxes'], # クラススコアと座標の出力名 # dynamic_axes はあえて指定せず、サイズを 480x480 に固定します（RKNN向け） ) # 下記も、 OK です。 if USE_SDP: import torch.nn.functional as F # 1. SDPA（問題の演算）を無効化し、旧来の計算方式を強制する with torch.backends.cuda.sdp_kernel(enable_flash=False, enable_math=True, enable_mem_efficient=False): # このコンテキストの中でエクスポートを実行 torch.onnx.export( model, #(pixel_values, pixel_mask), (pixel_values), onnx_model_path, export_params=True, opset_version=13, # エラーの指示通り14に上げます do_constant_folding=True, #input_names=['pixel_values', 'pixel_mask'], input_names=['pixel_values'], output_names=['logits', 'pred_boxes'], ) # こいつは、NG みたい!! if USE_pixel_mask: torch.onnx.export( model, (pixel_values, pixel_mask), # 入力タプル onnx_model_path, export_params=True, # 重みをファイルに書き込む opset_version=13, # DETRの演算をサポートするバージョン do_constant_folding=True, # 定数畳み込みでグラフを最適化 input_names=['pixel_values', 'pixel_mask'], output_names=['logits', 'pred_boxes'], # クラススコアと座標の出力名 # dynamic_axes はあえて指定せず、サイズを 480x480 に固定します（RKNN向け） ) print(f"ONNX model saved to {onnx_model_path}")

$ python zasou_dtr2onnx.py
で、
detr_zasou_480.onnx
が作成される。

2.1 スリム化と入力サイズの固定化をする。

$ python -m pip install onnxsim
$ onnxsim detr_zasou_480.onnx detr_zasou_480_sim.onnx --overwrite-input-shape pixel_values:1,3,480,480
上記で、
detr_zasou_480_sim.onnx
が作成される。

3. onnx -> rknn への変換を行う。

''' convert_dtr_onnx2rknn.py この前に 1. saved model -> ONNX へ変換と slim 化は、下記に記述しました。 zasou_dtr2onnx.py 2. onnx -> rknn 変換 (rknn_env310) $ python convert_dtr_onnx2rknn.py ''' from rknn.api import RKNN import os USE_3class_ex=True USE_pixel_mask=False #ONNX_MODEL = 'torch_model.onnx' # zasou_train_3class_ex.ipynb で作った model だと、 #注) ターミナルから、下記 cli を行う。 # $ optimum-cli export onnx --model detr-resnet-50_finetuned_zasou_ex/final_model --task object-detection onnx/ # $ pip install onnxsim # $ onnxsim detr_zasou_480.onnx detr_zasou_480_sim.onnx # 入力サイズの固定化が必要かも!! # $ onnxsim detr_zasou_480.onnx detr_zasou_480_sim.onnx --overwrite-input-shape pixel_values:1,3,480,480 if USE_3class_ex: ONNX_MODEL = 'detr_zasou_480_sim.onnx' RKNN_MODEL = 'detr_zasou_480_sim.rknn' else: ONNX_MODEL = 'model.onnx' RKNN_MODEL = 'torch_model.rknn' USE_CONTIZE=True rknn = RKNN(verbose=True) # 全て npu にまかせる --> こちらで、good! # dtr_rknn_test.py で、 # USE_ALL_RKNN_Leave=True に、する事 if True: # v2.3.2 での推奨設定 if USE_CONTIZE: rknn.config( target_platform='rk3588', # DETR (ImageNet基準) の正規化設定をそのまま残す mean_values=[[123.675, 116.28, 103.53]], # RGB平均値 (255倍した値) std_values=[[58.395, 57.12, 57.375]], # (255倍した値) optimization_level=3, # quantized_dtype は指定しなくてOK（do_quantization=Falseなら無視されます） quantized_dtype='asymmetric_quantized-8', # Transformerは非対称量子化が精度的に有利な場合が多い ) else: rknn.config( target_platform='rk3588', # DETR (ImageNet基準) の正規化設定をそのまま残す mean_values=[[123.675, 116.28, 103.53]], std_values=[[58.395, 57.12, 57.375]], optimization_level=3, # quantized_dtype は指定しなくてOK（do_quantization=Falseなら無視されます） ) # こちらが、 onnx 版の入力処理のエミューレート版を使う場合 # 自分で、 input を加工する場合は、こちら。ただし、今は、精度が落ちるので、上記を使うこと # USE_ALL_RKNN_Leave=False に、する事 else: if USE_CONTIZE: rknn.config( target_platform='rk3588', optimization_level=3, # mean_values, std_values, reorder_channel は書かない # これにより、入力された値（0.0〜1.0）がそのままモデルに渡されます quantized_dtype='asymmetric_quantized-8', # Transformerは非対称量子化が精度的に有利な場合が多い # quantized_algorithm='normal', ) else: rknn.config( target_platform='rk3588', optimization_level=3, # mean_values, std_values, reorder_channel は書かない # これにより、入力された値（0.0〜1.0）がそのままモデルに渡されます ) # 2. ONNXロード #ret = rknn.load_onnx(model=ONNX_MODEL) if USE_pixel_mask: # もしONNXにpixel_maskが含まれている場合 --> いまは、NG ret = rknn.load_onnx( model=ONNX_MODEL, inputs=['pixel_values', 'pixel_mask'], input_size_list=[[1, 3, 480, 480], [1, 480, 480]] ) else: ret = rknn.load_onnx( model=ONNX_MODEL, inputs=['pixel_values'], #input_size_list=[[1, 3, 224, 224]] # モデルの想定サイズ（例: 224x224）に合わせる input_size_list=[[1, 3, 480, 480]] # モデルの想定サイズ（例: 480x480）に合わせる ) if ret != 0: print('Load ONNX failed!') exit(ret) #量子化の場合 if USE_CONTIZE: #image_dir = './calibration_images' # zasou_train_3class_ex.ipynb で作った、onnx だと、 # 480x480 にリサイズして、余白を、黒で埋めた、test用 画像 が必要 #IMG_PATH ="../transform_object_detection/datasets/train/zasou" IMG_PATH ="/home/your_id/Documents/VisualStudio-TF/annotation/data-backup/雑草" is_file = os.path.isfile('dataset.txt') if not is_file: print("make dataset.txt") with open('dataset.txt', 'w') as f: for img_name in os.listdir(IMG_PATH): if img_name.endswith(('.jpg', '.png', '.jpeg')): f.write(os.path.join(IMG_PATH, img_name) + '\n') print("done!") if USE_CONTIZE: # 量化を有効にしてビルド ret = rknn.build( do_quantization=True, dataset='./dataset.txt' # ここでファイルパスを指定 ) else: # 3. build（量子化なし） ret = rknn.build(do_quantization=False) if ret != 0: print('Build failed!') exit(ret) # 4. RKNN出力 ret = rknn.export_rknn(RKNN_MODEL) if ret != 0: print('Export rknn failed!') exit(ret) print('Done') rknn.release()

(rknn_env310) $ python convert_dtr_onnx2rknn.py
で、
detr_zasou_480_sim.rknn
が作成される。

注) convert_dtr_onnx2rknn.py を実行するには、
python 3.10 で、下記環境が必要
setuptools==68.2.2
onnx==1.14.1
rknn-toolkit2

ubuntu 24.04 に、python 3.10.20 をインストールします。
python 3.10 で、rknn 用、virtualenv を作成します。
$ python3 -m virtualenv -p python3.10 rknn310
$ source rknn310/bin/activate
(rknn_env310) $
(rknn_env310) $ pip install --upgrade pip
(rknn_env310) $ pip install setuptools==68.2.2
(rknn_env310) $ pip install onnx==1.14.1
(rknn_env310) $ pip install rknn-toolkit2

注) 必ず、上記バージョンを使います!!
念の為、 python -m pip freeze の結果を上げておきます。
coloredlogs==15.0.1 fast-histogram==0.14 filelock==3.24.3 flatbuffers==25.12.19 fsspec==2026.2.0 humanfriendly==10.0 Jinja2==3.1.6 MarkupSafe==3.0.3 ml_dtypes==0.5.4 mpmath==1.3.0 networkx==3.4.2 numpy==1.26.4 nvidia-cublas-cu12==12.1.3.1 nvidia-cuda-cupti-cu12==12.1.105 nvidia-cuda-nvrtc-cu12==12.1.105 nvidia-cuda-runtime-cu12==12.1.105 nvidia-cudnn-cu12==9.1.0.70 nvidia-cufft-cu12==11.0.2.54 nvidia-curand-cu12==10.3.2.106 nvidia-cusolver-cu12==11.4.5.107 nvidia-cusparse-cu12==12.1.0.106 nvidia-nccl-cu12==2.20.5 nvidia-nvjitlink-cu12==12.9.86 nvidia-nvtx-cu12==12.1.105 onnx==1.14.1 onnxruntime==1.23.2 opencv-python==4.11.0.86 packaging==26.0 pillow==12.1.1 protobuf==4.25.4 psutil==7.2.2 rknn-toolkit2==2.3.2 ruamel.yaml==0.19.1 scipy==1.15.3 sympy==1.14.0 torch==2.4.0 tqdm==4.67.3 triton==3.0.0 typing_extensions==4.15.0
注)
setuptools 68.2.2