いろいろ試した結果、カメラの位置推定はばっちり上手くいってるけど、試した画像がツヤテカ仕上げなため画素毎の位置推定が全然上手くいってなさげ、というのがわかった。
でもプラモツヤテカにしたいことはよくあるので写真撮る用にツヤテカ禁止です！はあまりにも本末転倒。何か方法を考えなくてはなるまい。