Nació en la ciudad vizcaína de Orduña (España) en 1528 (aunque algunos autores sostienen que era natural del municipio burgalés de Junta de Villalba de Losa).
Sus padres fueron Clemente López Ochandiano y Catalina de Zarate y lo crió el hermano de su madre el licenciado Pedro Ortiz de Zárate o Pedro Zárate.
En 1535 debido al incendio de Orduña la familia se trasladó al vecino pueblo de Villalba de Losa.
Cuando contaba con 15 o 16 años de edad acompañó a su familia a Perú ya que su tío Pedro Ortiz de Zárate fue nombrado oidor de la Audiencia de Lima con el virrey Blasco Nuñez Vela, salió para ese destino el 3 de noviembre de 1543 desde el puerto de Sanlúcar de Barrameda.
Además de su tío componían la audiencia de Lima; Diego de Cepeda, Lisón de Tejeda y Juan Álvarez.
La rigidez en el gobierno de Núñez Vela generó enfrentamientos, que llegaron a la guerra civil con los partidarios de Gonzalo Pizarro.
Juan de Garay fue fiel a su tío que estaba de parte del virrey y participó activamente contra Pizarro.
En marzo de 1547 muere su tío, después de recibir la visita de su yerno Gonzalo Pizarro, casado con su hija Ana de Salazar.
En los enfrentamientos civiles conoció a Martín de Robles (que lo arrestó en una huida al norte de la capital) y Garay cuenta que le conoció en casa de su tío ya muerto este pues...
Porque aunque era muerto el licenciado, pasaban siempre en aquella casa vascongados servidores de V.A.(el rey) con quien Martín de Robles se acompañó
Juan de Garay hizo la campaña de La Gasca, en la que participaba el capitán Robles hasta la batalla de Sacsahuana.
En 1553 formó parte de la expedición de Núñez de Prado a Tucumán (Chile) siendo virrey Antonio Hurtado de Mendoza, marqués de Cañete.
Núñez fue apresado por Francisco de Aguirre en la población del Barco (actual provincia de Santiago del Estero) por problemas de jurisdicción de soberanía.
En 1555 Núñez fue nombrado gobernador de Tucumán y en su expedición Juan de Garay le vuelve a acompañar y participa en la intervención aún después de morir Núñez.
En el periodo de 1548 a 1568 centró sus actividades en el entonces conocido como Alto Perú, actualmente Bolivia, donde participó en la fundación de Santa Cruz de la Sierra el 26 de febrero de 1561 de la que fue regidor de su cabildo y tuvo asignada una encomienda de indios.
Sobre el año 1564 se traslada a la Asunción y trae a la que sería su esposa, Isabel de Becerra y Mendoza (hija de Francisco de Becerra e Isabel de Contreras) con la que tiene los primeros hijos.
Luego, fuera de ese matrimonio tendría un hijo varón llamado El Mozo y que figuró con él en la fundación de Buenos Aires.
En 1568 su pariente Juan Ortiz de Zárate fue nombrado capitán gobernador del Río de la Plata (tercer adelantado) y este nombra lugarteniente a Felipe de Cáceres quien, a su vez, nombra capitán a Juan de Garay pidiéndole que traiga a gentes a la provincia de Paraguay.
Juan de Garay se trasladó a Asunción con su familia, llego el 11 de diciembre de 1568.
En diciembre, el día 8, de ese año le nombran Alguacil Mayor de las provincias del Plata
Por encargo del gobernador de esta plaza, y para facilitar las comunicaciones entre Asunción y la metrópoli, Garay emprendió una expedición por el Paraná que culminó con la fundación, el 15 de noviembre de 1573, de la ciudad de Santa Fe, en la confluencia de los ríos Paraná y Salado ( o Saladillo).
En 1573 Martín Suaréz de Toledo, teniente gobernador de Asunción, le encargó una expedición por el río Paraná que tenía cono finalidad fundar una ciudad que facilitara la salida al mar de Paraguay y la comunicación con la metrópoli.
Juan de Garay organizó una expedición integrada por 80 mancebos de la tierra, en un bergantín, embarcaciones menores y caballos, con 75 nativos guaraníes y 9 españoles.
Se componía de dos grupos, uno por tierra, a cargo de Francisco de Sierra, recorrería la margen izquierda del río, evitando los bosques del Chaco, llevando las carretas, el ganado, los caballos y otros elementos necesarios para la fundación, y otro por el Paraná, que mandaba el propio Juan de Garay.
Salió de Asunción el 14 de abril de 1579, (con la escolta que llevaba preso a España a Felipe de Cáceres) aunque un grupo, el que iba por tierra lo hizo meses antes.
Tal como indica el poder de Toledo Juan de Garay llevaba: llevan muchas armas y municiones e mucho número de caballos, bastimentos, ganados, plantas, semillas, gente de servicio, fragua e todos los demás pertrechos necesarios
Los dos grupos se encontrarían en un lugar llamado La Punta del Yeso, justo enfrente de la actual Cayastá, avanzando juntos por el río San Javier, entonces llamado río de la Quiloazas, donde confluyen de los ríos Paraná y Salado.
Garay decidió desembarcar muy pronto y eligió la orilla sudoeste del río (lo que es hoy Cayastá) construyendo un pequeño asentamiento allí.
Desde ese lugar partió una pequeña expedición de exploración para encontrar un lugar más apropiado.
Durante estas exploraciones de búsqueda coincidió con Jerónimo Luis de Cabrera que también estaba explorando el Paraná intentando fundar una ciudad para apoyar la recién fundada Córdoba.
Como resultado de este encuentro Juan de Garay decide dar la categoría de ciudad al pequeño asentamiento y regresa el 30 de septiembre a Cayastá.
El 15 de noviembre de 1573 Juan de Garay funda oficialmente la ciudad de Santa Fe de la Vera Cruz.
Según recogió el escribano Pedro E. Espinosa, Juan de Garay, en píe, junto al al palo rollo, símbolo de la Justicia y el poder Real, realizó la fundación con ls siguientes palabras:
Yo Juan de Garay, Capitán de Justicia mayor en esta conquista y población del Paraná y Río de la Plata... Digo que... fundo y asiento y nombro esta ciudad de Santa Fe, en esta provincia de Calchines y Mocoretás, parecerme que en ella hay cosas que convienen para la perpetuación de dicha ciudad: agua, leñas y pastos, pesquerías y casas y tierras y estancias para los vecinos y moradores de ella y repartirles como su majestad lo mande... — Extracto del Acta de la fundación de Santa Fe
Elegidos los miembros del cabildo, que fueron nombrados por el propio Juan, estos le nombraron, de común acuerdo, Teniente Gobernador de la nueva ciudad.
Entre las opciones de ubicación de la ciudad estuvo, incluso, la de hacerlo en Banda Oriental en San Gabriel. Esa ubicación duró 80 años, lo que se conoce como Santa Fe Vieja ya que luego se trasladó unos kilómetros por motivos de seguridad, debidos a los ataques de los indígenas.
Al año siguinte participa en la fundación de la ciudad de San Salvador junto al río Uruguay.
El 7 de junio de 1574 es nombrado, de Justicia Mayor, teniente de gobernador y capitán general de todas las provincias del Río de la Plata.
Y es reconocido por las autoridades locales en Asunción en un viaje que realizó junto con Ortiz de Zárate en febrero de 1575.
El nombramiento de teniente de gobernador y capitán general de todas las provincias del Río de la Plata se debió a la ayuda prestada por Juan de Garay a Juan Ortiz de Zárate a su regreso de España.
Cuando la expedición que traía a Ortiz de Zárate remontaba el Paraná fue atacada por los indios charrúas a la altura de la isla de San Gabriel o Sacramento y pidieron ayuda Garay por mediación de un amigo suyo, un indio llamado Yumandú.
El 26 de enero de 1576, al morir Ortiz de Zárate, quien designa socesora a su hija Juana de Zárate.
Esta señora tenía muchos pretendientes al tener una considerable fortuna y posición, era nieta de un Inca, al final se casa con Juan Torres de Vera y Aragón con la ayuda de Garay y en contra de la voluntad del virrey de Perú que manda encarcela a Torres y a Garay pero Garay ya había regresado a Asunción.
Los dos años siguientes los empleó Garay para realizar numerosas expediciones de colonización y realizo mucho trabajo de organización en la ciudad de santa Fe (ordenanzas sobre la cría de ganado, hace cumplir los mandamientos de regualción de los indios, etc).
En 1579 funda las ciudades de Villa Rica del Espíritu Santo y Santiago de Jerez.
Juan Torres de Vera y Aragón, que ocupa el cargo del difunto Ortiz de Zarate, le encarga fundar una ciudad en el estuario del Río de la Plata.
El lugar elegido es en el que ya se había ubicado antes la ciudad fundada por Pedro de Mendoza en 1536 y destruida por los indios poco después, la ciudad de Nuestra Señora del Buen Aire.
En enero de 1580 se comienzan los preparativos de la fundación, refundación, de Buenos Aires.
Se pretendía poblar la nueva ciudad de gentes de Asunción, para ello se promunga un bando ofreciendo tierras y otros mercedes, se apuntan 200 familias guaranis y 76 de colonos.
Se lleva todo lo necesario por el río, en una carabela (la Cristóbal Colón) y dos bergantines entre otras naves menores, la expedición salió el día 9 de marzo de 1580.
Además de los colonos iban 39 soldados. Una parte del convoy va por tierra y salió un mes antes.
El domingo 29 de mayo de 1580, Juan de Garay llegó a la boca del Riachuelo.
Desembarcó justo en el lugar donde años antes lo había hecho Pedro de Mendoza e instaló un campamento, la columna que viajaba por tierra llegaría un mes después.
Para el miércoles 11 de junio ya se había levantado un pequeño asentamiento, algo más hacia al norte de la fundación anterior, que daría base a la nueva ciudad de Buenos Aires.
Ese día de realizaron las ceremonias fundacionales. Es importante recalcar una parte del acta fundacional: ... estando en este Puerto de Santa María de los Buenos Ayres, hago y fundo una ciudad... La iglesia de la cual pongo su advocación de la Santísima Trinidad... y la dicha ciudad mando que se intitule Ciudad de la Trinidad
Se plantó el árbol de justicia o símbolo de la ciudad tal como se acostumbraba y era obligatorío en tales casos blandió la espada en las cuatro direcciones y dio un tajo a la tierra para señalar la posesión y repartieron tierras entre los 65 pobladores que lo acompañaban, algunos presentes en la primera fundación, que lo acompañaban.
Fueron nombrados alcaldes Rodrigo Ortiz de Zárate y Gonzalo Martel de Guzmán y se formó el cabildo con seis regidores a la vez que se asignó el escudo de armas de la nueva ciudad, cuadrado blanco, con águila negra coronada, con las alas totalmente desplegadas, sosteniendo la cruz roja de Calatrava en su pata derecha.
La nueva fundación fue atacada por los indígenas, mandados por su jefe Tububá pero Garay fue advertido del ataque por Cristóbal de Altamirano, que estaba prisionero de Tububá, lo cual sirvió para organizar la defensa.
En ese ataque Fernández de Enciso mató a Tububá.
En octubre de 1580 vuelve a Santa Fe volviendo a Buenos Aires en febrero del año siguiente.
Ese año va por tierra hasta Cabo Corrientes en busca de la mítica ciudad de los Césares (donde hoy se asienta la ciudad de Mar del Plata) regresando en enero de 1582 de donde vuelve a Santa Fe y a Asunción, en donde se empieza a ver que la nueva ciudad puede desplazar su capitalidad.
En marzo de 1583 acompaña a Sotomayor San Juan y en el trayecto de Buenos Aires a Santa Fe el convoy, que estaba compuesto de 40 hombres, un franciscano y algunas mujeres. El 20 de marzo se desorientan y entra en una laguna desconocida, Juan de Garay decide pasar la noche en tierra y el campamento es atacado por los indios querandíes matando a Garay, al franciscano, a una mujer y a doce de los soldados. El suceso ocurrió cerca de las ruinas de Sancti Spíritus, el antiguo fuerte de Caboto.