Fremde an den Tisch sitzen lassen

Frage vom Werner: Weils mir schon passiert ist. Ich sitze mit
meiner Frau in einem Restaurant, das ziemlich voll ist. Wir wollen
eigentlich unsere Ruhe haben, sitzen aber zu zweit an einem sehr
großen Tisch. Ist es unhöflich, wenn ich nein sage, wenn der Wirt
jemanden zu uns dazu setzen will?