דיבור בין בנות לבנים הוא איסור מהתורה עצמה ?

לא

כן דברי חכמים
מצווה לשמוע דברי חכמים היא מצוות עשה בתורה, כפי המקובל בפרשנות חז"ל, המחייבת ציות לחכמים בנושאים הלכתיים ("ככל אשר יורוך") ומצוות לא תעשה על המריית פיהם ("לא תסור מן הדבר אשר יגידו לך"). הציווי מתייחס לחובת הציות ההלכתית להכרעת חכמי הסנהדרין אשר במקדש בירושלים, מתוקף מעמדם כערכאה ההלכתית והדיונית הגבוהה ביותר במקרה של חילוקי דעות.
והם מצווים לאדם למעט בשיחה עם אישה עם אשתו אמרו למעט על אחת כמה וכמה שכל אישה..

יוסי בן יוחנן איש ירושלים אומר, יהי ביתך פתוח לרוחה, ויהיו עניים בני ביתך, ואל תרבה שיחה עם האשה.

באשתו אמרו, קל וחומר באשת חברו.