Es que es muy pequeño todavía. Hasta los 5 meses (algunos perros incluso más) no podrá controlarlo.
Además, no sirve de nada que le regañes cuando te encuentres los "regalitos": si no le pillas en el momento de hacerlo, no entiende por qué le estás regañando.
El mejor método: elige un sitio donde él pueda hacer pis y caca (lo mejor es poner un empapador o unos periódicos). Cuando lo pilles disponiéndose a hacer pis o caca fuera del periódico, lo agarras (antes de que lo haga) y lo llevas allí. Cuando lo haga allí, premios y fiestas. Y si lo pillas "in fraganti", entonces un ¡NO! enérgico, y lo llevas a los periódicos. Cuando te encuentres los regalos sin haberle visto hacerlos, los recoges sin que te vea y sin decirle nada (aunque por dentro te acuerdes de todos sus antepasados).
Y, por supuesto, cuando haga algo en la calle, más fiestas y premios.
Edito: sobre lo de comer antes de sacarlo. No es recomendable en perros más grandes, en los que la salida vaya a suponer un ejercicio brusco. Sin embargo, en el caso de cachorros que están aprendiendo dónde hacer pis y caca, y cuyos paseos son más bien cortos y sin un ejercicio muy violento, sí es recomendable sacarlos justo después de comer. Al comer, se produce el efecto gastrocólico y el aparato digestivo se pone en marcha, lo que significa que se ponen en marcha también la vejiga y en intestino.

"Si a tu perro no le gusta una persona, probablemente a ti tampoco debería gustarte."