Ja, das ist richtig, bei den Offenen Debitoren werden nur Auftragsdokumente berücksichtigt.
Wenn ein Kunde eine Rechnung doppelt bezahlt, können Sie wie gewohnt die beiden Zahlungen buchen, genau. Die Rückzahlung machen Sie normalerweise aber über eine Gutschrift. Somit erstellen Sie eine Gutschrift aus der Rechnung (das ist ein weiteres Dokument), und markieren diese dann als Bezahlt, wenn Sie die Rückzahlung vorgenommen haben.
Die Rechnung sollte dann in den Offenen Debitoren auch nicht mehr vorkommen danach.
Allerdings: So wie Sie es gelöst haben geht es eigentlich auch - denn entscheidend ist, dass das Debitoren-Konto ausgeglichen ist am Ende. Wenn Sie keine Gutschriften erstellen möchten, dann ist dies auch ein Weg. Die Gutschrift ist etwas formeller, erstens können Sie diese dem Kunden zuschicken, und zweitens dient diese als Todo für Sie - dass noch eine Rückzahlung gemacht werden muss.
Eine Verrechnung mit einem weiteren Rechnungsdokument ist nicht direkt möglich. Sobald dann CashCtrl über ein Kontokorrent Konto für Personen verfügt, wird das dann vermutlich möglich sein.