フォーマットがSD/SDHC/SDXCカードに最適化されていない場合、性能の低下以外に問題がありますか？

性能の低下が、転送レートの意味だけであれば他にもあります。SDカードの内部での書き込み回数が増えますので、フラッシュメモリでの書き込み回数の寿命という意味で寿命により近づくということになります。