Um in Deinem Bsp. zu bleiben: Der Koch kocht eben, und kein Gast eines Restaurants geht als erstes in die Küche und fragt den Koch, wie es ihm geht, außer wenn er ihn aus irgendeinem Grund persönlich kennt. Die Sprachmodelle haben dieses small talk ohnehin schon drauf, weil das das Einfachste ist, dazu braucht es keine AI, 10 Sätze maximal und fertig, könnte jeder Schüler programmieren.
Es geht um die Metaebene, wie will/soll man mit AIs kommunizieren? So, als ob es Menschen sind? Erzeugt das nicht eine Beliebigkeit, so als ob ein echter Mensch nicht anders zu betrachten wäre als ein Programm? Welche Absicht steckt dahinter? Dass man später eventuell bereitwillig akzeptiert, im Alltag (im Kundenservice, bei Beratungsdiensten etc.) statt mit Menschen mit Sprachmodellen zu sprechen, damit man Menschen noch besser ersetzen kann?

Ein Programm als Menschen zu behandeln, noch bevor es tatsächlich selbstreflektiv und auf der Ebene eines Menschen ist, ist irgendwie respektlos gegenüber Menschen. Weiß nicht, ob ich mich verständlich machen konnte.