Писал длинный ответ почти на каждое изречение, но сбой Оперы всё потёр.
Поэтому напишу пока кратко две основные мысли по выше сказанному:

1. Человек вполне формализирован. В каждый конкретный момент времени он состоит из конечного количества клеток, взаимодействующих друг с другом. Строения и взаимодействия клеток неплохо изучены. Любой процесс в человеке - результат взаимодействия клеток. В частности, мысль - это электрические импульсы и биохимические реакции в клетках мозга и образование и изменение связей между ними.
Все интеллектуальные качества человека могут быть описаны на этом низком уровне. Только это очень сложно и пока совершенно неприменимо на практике.

2. Написать программу - реальный интеллект очень сложно. Может, сложнее всего, что было когда-либо написано вместе взятого. Может, на это не хватит всех ресурсов человечества.
А пользы от такой программы не так уж и много. Естественно, примеров подобных программ нет - проще написать самому 10 программ, чем одну, которая создаст все 10.
Но теоретически интеллект можно написать.
Программа ограничена не таким уж и маленьким "ящиком" - если учесть, что любые входные данные она может прописать в свой код, то этот "ящик" - Вселенная.
Человеческое мышление тоже ограниченно Вселенной. Чем больше мы знаем о деталях ситуации и особенностях интеллекта человека, тем с большей точностью можно предсказать его поведение. Для предсказания часто даже не нужно иметь информацию о нервных клетках человека - действия часто бывают предсказуемы на уровне бытовой логики.