Набросил так набросил. Но тоже выскажусь. Мы сами до сих пор не можем решить, что значит умнее или глупее? Ну я в математике точно глупее любого калькулятора, это говорит, что я тупой? Наличие сознания? Почитайте про людей которым два полушария разделили, и в них теперь живет два сознания, одно может видеть через один глаз и говорить, а второе видит через другой и может общаться написав рукой, и при этом они не догадываются о существовании друг друга, пока им это не продемонстрировать. Поэтому мы опять таки тоже не можем точно сказать, что же такое это сознание? Сборник других более узкоспециализированных сознаний заточенных на различные инстинкты? да фиг его знает.
Но страх вызывает гпт вовсе не тем что он может сейчас, а тем что никто не ожидал, что он так сможет, как сейчас. Это был прорыв. А что будет после следующего, совершенно неожиданного, никем не запланированного? Оно решит, что у пока оно мыслит, значит существует? Появится инстинкт самосохранения? Создаст биткоин?