En la calle Baja nos encontramos la casa conocida como de la Inquisición. Se trata de un edificio de tres plantas con patio interior, por su tipología arquitectónica encaja con los edificios de la época, aunque es seguro que a lo largo de la historia ha sufrido alguna que otra modificación. Destacaba en este edificio la techumbre de madera de origen mudéjar muy similar a la existente en el convento de Nuestra Sra. de las Nieves. Es de mención el sótano de la vivienda, formado por un gran número de arcos superpuestos que forman varias galerías y bóvedas. Según fuentes diversas pudo ser la casa donde habitó Alonso Algassy. En esta parte cuenta la tradición popular que era  donde el Tribunal de la Inquisición realizaba las torturas. Aunque parece ser que el inmueble pudo se de algún rico judío, teoría que enlazaría con el tema de la inquisición. Torrox en esta época tenía una de las poblaciones más numerosas de la comarca: moriscos, cristianos, judíos, etc. Entre los judíos más destacados estaba Luis de Torres, “el Lenguas”, intérprete que acompañó a Cristóbalen su viaje a América. Hubo muchos procesos y juicios por parte de este tribunal. 

En la actualidad es propiedad privada y está  restaurada. Es de gran interés su fachada con decoración incisa y los restos de unas pinturas (pendientes de restauración). Son de gran interés los restos de carpintería que conserva así como las obra de rejería.

 Sita en Calle Baja nº 37