ที่ตั้งของปราสาทอินุยามะอยู่ทางตอนเหนือสุดของแคว้นโอวาริ (ด้านทิศตะวันตกของจ.ไอจิ) แถว ๆ บริเวณที่แม่น้ำคิโซะมีลักษณะเป็นเหมือนฐานพัด (ด้ามจับของพัด) หรือจุดเริ่มต้นของ “ชัยภูมิรูปพัด” อยู่ตรงรอยต่อระหว่างเนินเขาซึ่งเป็น “ต้นแม่น้ำคิโซะ” กับ “ที่ราบตีนเขาซึ่งเป็นปลายแม่น้ำ” และยังเป็นจุดที่ได้รับการจับตามองเป็นพิเศษในฐานะของ “เส้นทางเชื่อมต่อการขนส่งไม้คิโซะ” แถมนอกจากนี้เพราะความที่มี “แม่น้ำคิโซะ” เป็นพรมแดนช่วยขั้นกลางระหว่างแคว้นมิโนะ (จ.กิฟุ) ทั้งยังมี “ปราสาทกิฟุ” อยู่เยื้องไปทางกึ่งกลางระหว่างทิศตกวันตก-ตะวันตกเฉียงเหนือ บวกกับมี “ปราสาทนาโกย่า” ตั้งอยู่ทางทิศใต้ มันจึงกลายเป็นจุดยุทธศาสตร์สำคัญซึ่งเคยผ่านการถูกใช้เป็นสนามรบมาแล้วนับครั้งไม่ถ้วน ส่วนตัวปราสาทอินุยามะก็ได้ถูกสร้างขึ้นบนเนินเขา (“ชิโระยามะ”) ของหน้าผาซึ่งมีความสูงถึงกว่า 85 เมตร และหันหน้าไปทางด้านทิศใต้ของแม่น้ำคิโซะนี้เอง

ปราสาทอินุยามะและเมืองใต้ตัวปราสาทที่ทอดยาวออกไปทางทิศใต้ ทั้งหมดถูกสร้างให้อยู่ภายในวงล้อมของคูน้ำและกำแพงดินซึ่งเรียกกันว่า “โครงสร้างรอบนอก (โซวกะมาเอะ)” โดยมีลักษณะของ “ถนนตรงหน้าประตูทางเข้า-ออก” หักเลี้ยวไปมาคล้ายทรงข้อเหวี่ยงของเพลารถ ^① เพื่อให้ยากต่อการโดนบุกโจมตีเข้ามาและง่ายต่อการป้องกัน ส่วน “เส้นถนนในปัจจุบันที่ใช้เดินมาจากสถานีอินุยามะ” ^② ตรงสี่แยกหน้าสถานีเดิมเคยเป็นที่ตั้งของ “คูเมือง (คูน้ำด้านนอก – โซโตะโบริ)” ^③ ที่ใช้ป้องกันการบุกรุกของศัตรู ถัดจากนั้นมาจะเป็น “ทางลาดเนินเขาซึ่งนำไปสู่ถนนฮงมาจิ-โดริ” ^④ อันเป็นถนนสายหลักของเมืองใต้ตัวปราสาทนั่นเอง ซึ่ง “ถนนฮงมาจิ-โดริ” ถือว่ามีความสูงจากระดับน้ำทะเลมากที่สุดแล้วเมื่อเทียบกับถนนเส้นอื่น ๆ ในละแวกเดียวกัน ทั้งยังมีผืนดินที่แข็งแรงเหมาะสมมันจึงกลายเป็นถนนสายหลักที่ช่วยให้ “ปราสาทอินุยามะ” กับ “ปราสาทนาโกย่า” สามารถเชื่อมถึงกันได้

ปราสาทถูกสร้างขึ้นมาเพื่อให้เป็นดั่งป้อมปราการคุ้มภัย มันจึงประกอบไปด้วยหลายส่วนด้วยกัน เช่น การอยู่บนที่ราบ (เขตแดน・วงล้อม) เป็นชั้น ๆ ติด ๆ กันเอย มีอุปกรณ์ (สิ่งก่อสร้าง) ด้านวิศวกรรมโยธาอย่างคูเมือง เขื่อน (กำแพงดิน) , หน้าผาที่ตัดยื่นออกมาจากทางลาดของภูเขาชิโระยามะ (เนินผาสูง) , กำแพงหิน ฯลฯ เอย ทั้งยังมีประตูและกำแพง, หอคอยเล็กและอาคาร (ด้านสถาปัตยกรรม) ที่เป็นหอคอยหลักของปราสาทอีกด้วย ทั้งหมดซึ่งกล่าวมาข้างต้นนี้เองคือสิ่งที่ถูกเรียกรวมกันว่าเป็น “อาณาเขต (นะวะบาริ)”
ส่วน “ตัวปราสาทอินุยามะ” ที่ด้านหลัง (ทางทิศเหนือ) จะมีหน้าผาและแม่น้ำคิโซะช่วยคุ้มกันอยู่ ทางทิศตะวันออกก็มีเนินผาสูงและคูน้ำ ทางทิศตะวันตกก็มีเนินผาสูงหรือคูเปล่าและกำแพงดิน มันจึงเป็นปราสาทที่ “ตั้งทอดยาวลงมาจากเหนือสู่ใต้”
อนึ่ง ในแต่ละเขตแดนซึ่งโดนแบ่งออกจากกันเป็นชั้น ๆ ด้วยกำแพงนั้นล้วนมีชื่อเฉพาะเป็นของตัวเอง อย่างเขตด้านบนภูเขาจะเรียกว่า “ฮงมารุ – Honmaru ^① ” แล้วเขตที่ไต่ระดับลดหลั่นลงมาเรื่อย ๆ ทางทิศใต้เหมือนชั้นวางตุ๊กตาฮินะ จะเรียกว่า “สึงิโนะมารุ – Suginomaru ^② ” “โมมิโนะมารุ – Mominomaru ^③ ” “คิริโนะมารุ – Kirinomaru ^④ ” และ “มัตสึโนะมารุ – Matsunomaru ^⑤ ” ตามลำดับ โดยจะมีถนนสายหลักตัดผ่าอยู่ตรงกลางตั้งแต่ตีนปราสาทยาวขึ้นไปจนถึงเขตฮงมารุ อันเป็นถนนซึ่งถูกใช้สำหรับเป็นทางเชื่อมไปยังแต่ละเขตอีกที ทั้งนี้บนถนนสายหลักนั้นมี “ประตู” อยู่ทั้งสิ้น 5 บาน ^⑥ แต่ละบานถูกจัดเรียงไว้ไม่ให้สามารถผ่านตลอดไปสู่บานถัดไปได้โดยตรง และด้านนอกของประตูแต่ละบานจะถูกล้อมรอบไปด้วยกำแพงหินหรือกำแพงดินเสมอ นั่นล่ะคือรูปแบบของชุดประตูทางเข้า-ออก (ปากเสือ) ซึ่งถูกเรียกว่า “ทรงสี่เหลี่ยมด้านนอก (โซโตะมาสุงาตะ – Sotomasugata)” และได้รับการกล่าวถึงว่ามันเป็นการป้องกันที่แข็งแกร่งมาก ๆ เลย