あまりの頭の良さに “火星人”、“悪魔の頭脳を持つ男” と呼ばれた。
数学・物理学・工学・経済学・計算機科学・気象学・心理学・政治学など、あらゆる分野で天才的な才能を発揮。
ノイマンについて下記の言い伝えが残っている。
・子供の頃に遊びで分厚い電話帳を完全に暗記してみせる。
・今の PCはノイマン型コンピューターと言われ、ノイマンが作ったのが原型である。
・6歳の時、電話帳を使い 8桁の割り算を暗算で計算することができた。
・8歳の時には『微積分法』をマスター。12歳の頃には『関数論』を読破した。ちなみに『関数論』は、大学の理工系の学生が1、2年次に学ぶ数学で、高校時代に数学が得意でならした学生でも、完全に理解できる者は少ない。
・数学者が 3ヶ月の苦心惨憺の末、ついに解いた問題をノイマンは脳内だけで一瞬で解いた。
・一度見聞きしたら、決して忘れない写真のような記憶力。
・コンピュータ並みの計算速度。実際、ノイマンは自らが発明したコンピュータと競争し、勝利している。
・ノーベル賞受賞者ですらついていけない頭の回転。
・脳内には面積1ヘクタール程の仮想ホワイトボードがあり、ノイマンは紙と鉛筆を使わず、この脳内キャンパスだけで人間が及びもつかない複雑な思考をすることができた。
・あまりの人間離れした思考に、人間ではないと疑われた。
・水爆の効率概算のために、フェルミは大型計算尺で、ファインマンは卓上計算機で、ノイマンは天井を向いて暗算したが、ノイマンが最も速く正確な値を出した。
・1日4時間の睡眠時間以外は常に思考。
推定IQは 250～300、仮に東大の医学部を目指せば1週間くらいで入れる数値。天才と呼ばれる学者の中でもかなり異質である。
一度見たものは決して忘れず、計算は一般的なコンピューターより速かったが、秘書のスカートの中を覗くのが趣味だったと言う逸話もある。