預金の移動と贈与

税務調査は調査官によって判断に違いがありますので、今回のケースのように明らかに贈与と言い切れない場合は、税務署の方が言われたとおり調査するまで分からないと思います。それに税務署は何か問題を感じない限り、口座の動きを把握したり税務調査に来ることもないと思いますが、絶対、調査に来ないとも言い切れないので、その時に贈与ではないと主張するための準備はしておいた方が良いと思います。
なぜ、自分のお金を家族の口座に送金したのか？なぜ、再び戻したのか？ということを調査官に主張すれば良いと思います。

贈与税と言うのは原則的には相続税の補完税です。生前贈与をすることにより相続税を逃れようとするのを防ぐためと考えてよいでしょう。したがって相続税より税率も高く課税対象額も低くなっています。相続税のような多額の控除はありません。家族の口座に移したことにより贈与は発生しました。何方かが回答されていたように生活費のためなどの金額で相当と認められれば課税対象とはなりませんが、もし相続を逃れる意図を持って、又はその意図がなくても、結果的に同様と判断されれば課税されます。あわてて又元に戻すと、それも課税対象となります。間違えて振り込んだので元に戻す、訂正と言うことであれば認められますがこれは課税当局の判断です。絶対対象とならないとは断言できません。通常このようなことを往復ビンタと言っています。課税当局は銀行調査の権限がありその際多額の資金移動はチェックされると思わなければなりません。勿論多額の移動によってその人の預貯金、資金移動を調べる権限ももっていますから、どのルートで課税当局に把握されるかはわかりません。したがって戻すことも課税対象の移動でないことを十分説明できる資料が必要となるので慎重におこなうべきです。もし多額であれば専門家に具体的な相談をすべきです。この種の税務署の相談は貴方が経験されたように断言はしません。これなら良いとかこれは課税だとかはなかなか言ってはくれないのです。担当官の判断によるところでもあり、相談者が全てを話したか否かもわからないから、原則論となって、具体的に判断はしてくれないのです。その実態によって左右される部分が多い爲でもありましょう。

給与に源泉徴収票があるように、預金にもその利息について支払い調書が作成されます、ですが現在金利は0,01％ですから、あまり意味がありません。
どうした場合に税務署からチェックを受けるかといえば、その支払調書について、何かの売買、賃貸をしたときに支払をした業者等が調書を作成して、税務署に提出する義務があり
毎年1月31日に前年の分を提出します。

その他臨時に仕入れ、交際費、支払手数料の資料撰の提出を求められることがあります。
これ以上の詳しいことは、チョット申し上げられません。

本題に入ります。
あなたの送金したお金の目的がなんであったのかの理由により課税されるべきものかどうか決まります。
家族ということは、一般に同一生計とみられています。
日常生活費の送金なら、課税はされませんが、貯金に回ると贈与になります。貯金ではなく生活費のために一時的に預金されていて、すべて生活費として支出されるものであれば課税はされません。
生活費のなかには子女の授業料、医療費も含まれますし、親元を離れて、大学へ通うためのアパートの家賃も含まれます。
送金した者が、その家族の生計費の負担者であることが必要です。
贈与税の暦年課税の非課税額は110万円です。
その年において、何人から贈与を受けてもその人の受贈額の合計が110万円以下であるなら非課税です。

結論としては、お金の貸し借りと認識をしているならば、課税の対象外と考えて良いと思います。
同一年であれば、それぞれがそれぞれに贈与したと考えるのは無理があります。
一年以内についても同様に考えても良いと思いますが、税務担当者（調査官）の判断次第でしょう。
私なら、単に金の貸し借りで押し通します。
家族間の金の貸し借りであるならば、安全の為、公正証書による、金銭消費貸借契約を結んでおくのがベストであると思います。

今の状態が、贈与でしょう。
返金して、税務調査が入っても
説明がつけば問題ないです。

税務署は、不動産とかを買った場合とかの場合は、調査（問い合わせ）が入る場合がありますが・・・。
調査の可能性はゼロではないです。