np2/i386c/ia32/paging.c - diff

Return to paging.c CVS log

Up to [RetroPC.NET] / np2 / i386c / ia32

Diff for /np2/i386c/ia32/paging.c between versions 1.21 and 1.38

-version 1.21, 2004/03/24 14:03:52
+version 1.38, 2012/01/23 06:01:44
  Line 1
- /*      $Id$    */
  /*
   * Copyright (c) 2003-2004 NONAKA Kimihiro
   * All rights reserved.
- Line 12
+ Line 10
   * 2. Redistributions in binary form must reproduce the above copyright
   *    notice, this list of conditions and the following disclaimer in the
   *    documentation and/or other materials provided with the distribution.
-  * 3. The name of the author may not be used to endorse or promote products
-  *    derived from this software without specific prior written permission.
   *
   * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
   * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
- Line 32
+ Line 28
  #include "ia32.mcr"
  /*
-  * ’伊﹝扑’弁’交’孕’鬺生石瘚□
+  * 樍婍汙槻弁樍忴井樍巧樍唳本嗥﹜  *
-  * 4-31: 芺沶碧心
+  * 4-31: 鈭碧心
   *    3: RSVD: 0 = 白巧伙玄及葆奢反芺沶申永玄啜�匹反卅井勻凶‘
   *             1 = 矢□斥’白巧伙玄及葆奢反﹞啜�午穴□弁今木凶 PTE 引凶反
   *                 PDE 及芺沶申永玄匏譆及丹切域勾匹﹞1 互腹請今木凶仇午匹丐月‘
   *    2: U/S:  0 = 白巧伙玄及葆奢午卅勻凶失弁本旦反皿伕本永扔互旦□由田奶扒’
   *                 乒□玉匹撢墊醱卞墊歹木凶‘
   *             1 = 白巧伙玄及葆奢午卅勻凶失弁本旦反皿伕本永扔互交□扒’乒□玉匹
   *                 撢墊醱卞墊歹木凶‘
   *    1: W/R:  0 = 白巧伙玄及葆奢午卅勻凶失弁本旦互厶心潸曰匹丐勻凶‘
   *             1 = 白巧伙玄及葆奢午卅勻凶失弁本旦互踏五慇心匹丐勻凶‘
   *    0: P:    0 = 白巧伙玄及葆奢互尕箕矢□斥匹丐勻凶‘
   *             1 = 白巧伙玄及葆奢互矢□斥’伊矛伙忡賃啜�匹丐勻凶‘
   */
  /*
-  * 票摒 4.12. 矢□斥忡賃午本弘丟件玄忡賃及賺心寧歹六
+  * 銝 4.12. 矢□斥忡賃午本弘丟件玄忡賃及賺心寧歹六
   * ＞刓 4-2. 矢□斥’犯奴伊弁玄伉午矢□斥’氾□皮伙及忡賃及賺心寧歹六＝
   *
   * +------------+------------+------------+
   * |    PDE     |    PTE     |   merge    |
- Line 75
+ Line 71
   * |  s  |  rw  |  s  |  rw  |  s  |  rw  |
   * +-----+------+-----+------+-----+------+
   *
-  * ＞奴 rw/p : CR0 ﹜石 WP ’乒’氾’生﹜乓 ON ﹜石本艭謢甲﹜穴 ro
+  * 蜬扔 rw/p : CR0 槦亦 WP 樍］乓樍啣∫ ON 槦亦磝巨潞啣╲槦永 ro
   */
  /*
-  * ’漰銣籈＞’永’扔’弗/PxE(本篞亙扔奶本生)/CPL/CR0 ﹜生’伊﹝扑’弁’＞’永’扔’弗弁＞﹜石巨伉平弁
+  * 樍﹝樍＞樍尼槻＞槻永槻扔槻弗/PxE(頨湊奴剚賤翴央)/CPL/CR0 槦奴樍婍汙槻弁槻＞槻永槻扔槻弗鴘孕槦亦壚＞餑  *
   * +-----+-----+-----+-----+-----+---+
   * | CR0 | CPL | PxE | PxE | ope |   |
- Line 159  static const UINT8 page_access_bit[32] =
+ Line 155  static const UINT8 page_access_bit[32] =
  /*
   *--
-  * 32bit 坁咥失玉伊旦 4k 矢□斥
+  * 32bit 臄孕艛砍中樍脣旨槻弗 4k 樍婍汙槻弁
   *
-  * ’籈甲’＞﹝仲’＞’用’孎弗
+  * 樍尼樍嗅中樍扔槻＞樍脣旨槻弗
   *  31                    22 21                  12 11                       0
   * +------------------------+----------------------+--------------------------+
-  * |  ’伊﹝扑’弁﹝仲’甘’＝’孎永’生’ |   矢□斥’氾□皮伙   |        左白本永玄        |
+  * |  樍婍汙槻弁樍扔樍桀丰樍乓槻永樍啣收  |   樍婍汙槻弁樍扔樍砍汙樍极早   |        槻尼樍忴公樍血亥        |
   * +------------------------+----------------------+--------------------------+
   *             |                        |                       |
   * +-----------+            +-----------+                       +----------+
   * |                        |                                              |
-  * |  ’伊﹝扑’弁﹝仲’甘’＝’孎永’生’ |   矢□斥’氾□皮伙            矢□斥         |
+  * |  矢□斥’犯奴伊弁玄伉  |   矢□斥’氾□皮伙            矢□斥         |
   * | +--------------------+ | +-------------------+   +------------------+ |
   * | |                    | | |                   |   |                  | |
   * | |                    | | +-------------------+   |                  | |
- Line 181  static const UINT8 page_access_bit[32] =
+ Line 177  static const UINT8 page_access_bit[32] =
   *   |                    | | |                   | | |                  |
   * +>+--------------------+ +>+-------------------+ +>+------------------+
   * |
-  * +- CR3()
+  * +- CR3(坁咥失玉伊旦)
   */
- static UINT32 paging(const UINT32 laddr, const int crw, const int user_mode);
+ /* TLB */
- #if defined(IA32_SUPPORT_TLB)
+ struct tlb_entry {
- static BOOL tlb_lookup(const UINT32 vaddr, const int crw, UINT32 *paddr);
+         UINT32  tag;    /* linear address */
- static void tlb_update(const UINT32 laddr, const UINT entry, const int crw);
+ #define TLB_ENTRY_TAG_VALID             (1 << 0)
- #endif
+ /*      pde & pte & CPU_PTE_WRITABLE    (1 << 1)        */
+ /*      pde & pte & CPU_PTE_USER_MODE   (1 << 2)        */
+ #define TLB_ENTRY_TAG_DIRTY             CPU_PTE_DIRTY           /* (1 << 6) */
+ #define TLB_ENTRY_TAG_GLOBAL            CPU_PTE_GLOBAL_PAGE     /* (1 << 8) */
+ #define TLB_ENTRY_TAG_MAX_SHIFT         12
+         UINT32  paddr;  /* physical address */
+ };
+ static void MEMCALL tlb_update(UINT32 laddr, UINT entry, int ucrw);
- #if defined(IA32_PAGING_EACHSIZE)
+ /* paging */
+ static UINT32 MEMCALL paging(UINT32 laddr, int ucrw);
+ /*
+  * linear memory access
+  */
+ /* RMW */
  UINT8 MEMCALL
- cpu_memory_access_la_RMW_b(UINT32 laddr, UINT32 (*func)(UINT32, void *), void *arg)
+ cpu_memory_access_la_RMW_b(UINT32 laddr, UINT32 (CPUCALL *func)(UINT32, void *), void *arg)
  {
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         const int ucrw = CPU_PAGE_WRITE_DATA | CPU_STAT_USER_MODE;
-         const int user_mode = CPU_STAT_USER_MODE;
+         struct tlb_entry *ep;
-         UINT32 result, value;
          UINT32 paddr;
+         UINT32 result;
+         UINT8 value;
+         /* TLB */
+         ep = tlb_lookup(laddr, ucrw);
+         if (ep != NULL) {
+                 paddr = ep->paddr + (laddr & CPU_PAGE_MASK);
+                 goto onepage;
+         }
-         paddr = paging(laddr, crw, user_mode);
+         /* paging */
+         paddr = paging(laddr, ucrw);
+ onepage:
          value = cpu_memoryread(paddr);
          result = (*func)(value, arg);
          cpu_memorywrite(paddr, (UINT8)result);
          return value;
  }
  UINT16 MEMCALL
- cpu_memory_access_la_RMW_w(UINT32 laddr, UINT32 (*func)(UINT32, void *), void *arg)
+ cpu_memory_access_la_RMW_w(UINT32 laddr, UINT32 (CPUCALL *func)(UINT32, void *), void *arg)
  {
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         const int ucrw = CPU_PAGE_WRITE_DATA | CPU_STAT_USER_MODE;
-         const int user_mode = CPU_STAT_USER_MODE;
+         struct tlb_entry *ep[2];
-         UINT32 result, value;
          UINT32 paddr[2];
+         UINT32 result;
+         UINT16 value;
+         /* TLB */
+         ep[0] = tlb_lookup(laddr, ucrw);
+         if (ep[0] != NULL) {
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
+                 if ((laddr + 1) & CPU_PAGE_MASK)
+                         goto onepage;
+                 ep[1] = tlb_lookup(laddr + 1, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr + (laddr & CPU_PAGE_MASK);
+                         goto separate;
+                 }
+         }
-         paddr[0] = paging(laddr, crw, user_mode);
+         /* paging */
-         if ((laddr + 1) & 0x00000fff) {
+         paddr[0] = paging(laddr, ucrw);
+         if ((laddr + 1) & CPU_PAGE_MASK) {
+ onepage:
                  value = cpu_memoryread_w(paddr[0]);
                  result = (*func)(value, arg);
                  cpu_memorywrite_w(paddr[0], (UINT16)result);
-         } else {
+                 return value;
-                 paddr[1] = paging(laddr + 1, crw, user_mode);
-                 value = cpu_memoryread_b(paddr[0]);
-                 value += (UINT16)cpu_memoryread_b(paddr[1]) << 8;
-                 result = (*func)(value, arg);
-                 cpu_memorywrite(paddr[0], (UINT8)result);
-                 cpu_memorywrite(paddr[1], (UINT8)(result >> 8));
          }
+         paddr[1] = paging(laddr + 1, ucrw);
+ separate:
+         value = cpu_memoryread_b(paddr[0]);
+         value += (UINT16)cpu_memoryread_b(paddr[1]) << 8;
+         result = (*func)(value, arg);
+         cpu_memorywrite(paddr[0], (UINT8)result);
+         cpu_memorywrite(paddr[1], (UINT8)(result >> 8));
          return value;
  }
  UINT32 MEMCALL
- cpu_memory_access_la_RMW_d(UINT32 laddr, UINT32 (*func)(UINT32, void *), void *arg)
+ cpu_memory_access_la_RMW_d(UINT32 laddr, UINT32 (CPUCALL *func)(UINT32, void *), void *arg)
  {
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         const int ucrw = CPU_PAGE_WRITE_DATA | CPU_STAT_USER_MODE;
-         const int user_mode = CPU_STAT_USER_MODE;
+         struct tlb_entry *ep[2];
-         UINT32 result, value;
          UINT32 paddr[2];
-         UINT remain;
+         UINT32 result;
+         UINT32 value;
+         int remain;
+         /* TLB */
+         ep[0] = tlb_lookup(laddr, ucrw);
+         if (ep[0] != NULL) {
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+                 if (remain >= 4)
+                         goto onepage;
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr + (laddr & CPU_PAGE_MASK);
+                         goto separate;
+                 }
+         }
-         paddr[0] = paging(laddr, crw, user_mode);
+         /* paging */
-         remain = 0x1000 - (laddr & 0x00000fff);
+         paddr[0] = paging(laddr, ucrw);
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
          if (remain >= 4) {
+ onepage:
                  value = cpu_memoryread_d(paddr[0]);
                  result = (*func)(value, arg);
                  cpu_memorywrite_d(paddr[0], result);
-         } else {
+                 return value;
-                 paddr[1] = paging(laddr + remain, crw, user_mode);
+         }
-                 switch (remain) {
-                 case 3:
-                         value = cpu_memoryread(paddr[0]);
-                         value += (UINT32)cpu_memoryread_w(paddr[0] + 1) << 8;
-                         value += (UINT32)cpu_memoryread(paddr[1]) << 24;
-                         result = (*func)(value, arg);
-                         cpu_memorywrite(paddr[0], (UINT8)result);
-                         cpu_memorywrite_w(paddr[0] + 1, (UINT16)(result >> 8));
-                         cpu_memorywrite(paddr[1], (BYTE)(result >> 24));
-                         break;
-                 case 2:
+         paddr[1] = paging(laddr + remain, ucrw);
-                         value = cpu_memoryread_w(paddr[0]);
+ separate:
-                         value += (UINT32)cpu_memoryread_w(paddr[1]) << 16;
+         switch (remain) {
-                         result = (*func)(value, arg);
+         case 3:
-                         cpu_memorywrite_w(paddr[0], (UINT16)result);
+                 value = cpu_memoryread(paddr[0]);
-                         cpu_memorywrite_w(paddr[1], (UINT16)(result >> 16));
+                 value += (UINT32)cpu_memoryread_w(paddr[0] + 1) << 8;
-                         break;
+                 value += (UINT32)cpu_memoryread(paddr[1]) << 24;
+                 result = (*func)(value, arg);
+                 cpu_memorywrite(paddr[0], (UINT8)result);
+                 cpu_memorywrite_w(paddr[0] + 1, (UINT16)(result >> 8));
+                 cpu_memorywrite(paddr[1], (UINT8)(result >> 24));
+                 break;
-                 case 1:
+         case 2:
-                         value = cpu_memoryread(paddr[0]);
+                 value = cpu_memoryread_w(paddr[0]);
-                         value += (UINT32)cpu_memoryread_w(paddr[1]) << 8;
+                 value += (UINT32)cpu_memoryread_w(paddr[1]) << 16;
-                         value += (UINT32)cpu_memoryread(paddr[1] + 2) << 24;
+                 result = (*func)(value, arg);
-                         result = (*func)(value, arg);
+                 cpu_memorywrite_w(paddr[0], (UINT16)result);
-                         cpu_memorywrite(paddr[0], (UINT8)result);
+                 cpu_memorywrite_w(paddr[1], (UINT16)(result >> 16));
-                         cpu_memorywrite_w(paddr[1], (UINT16)(result >> 8));
+                 break;
-                         cpu_memorywrite(paddr[1] + 2, (UINT8)(result >> 24));
-                         break;
-                 default:
+         case 1:
-                         ia32_panic("cpu_memory_access_la_RMW_d(): out of range (remain = %d)\n", remain);
+                 value = cpu_memoryread(paddr[0]);
-                         value = 0;      /* compiler happy */
+                 value += (UINT32)cpu_memoryread_w(paddr[1]) << 8;
-                         break;
+                 value += (UINT32)cpu_memoryread(paddr[1] + 2) << 24;
-                 }
+                 result = (*func)(value, arg);
+                 cpu_memorywrite(paddr[0], (UINT8)result);
+                 cpu_memorywrite_w(paddr[1], (UINT16)(result >> 8));
+                 cpu_memorywrite(paddr[1] + 2, (UINT8)(result >> 24));
+                 break;
+         default:
+                 ia32_panic("cpu_memory_access_la_RMW_d: out of range (remain=%d)\n", remain);
+                 value = 0;      /* XXX compiler happy */
+                 break;
          }
          return value;
  }
+ /* read */
  UINT8 MEMCALL
- cpu_linear_memory_read_b(UINT32 laddr, const int crw, const int user_mode)
+ cpu_linear_memory_read_b(UINT32 laddr, int ucrw)
  {
-         UINT32 addr;
+         struct tlb_entry *ep;
+         UINT32 paddr;
-         addr = paging(laddr, crw, user_mode);
+         /* TLB */
-         return cpu_memoryread(addr);
+         ep = tlb_lookup(laddr, ucrw);
+         if (ep != NULL) {
+                 paddr = ep->paddr + (laddr & CPU_PAGE_MASK);
+                 return cpu_memoryread(paddr);
+         }
+         /* paging */
+         paddr = paging(laddr, ucrw);
+         return cpu_memoryread(paddr);
  }
  UINT16 MEMCALL
- cpu_linear_memory_read_w(UINT32 laddr, const int crw, const int user_mode)
+ cpu_linear_memory_read_w(UINT32 laddr, int ucrw)
  {
-         UINT32 addr, addr2;
+         struct tlb_entry *ep[2];
+         UINT32 paddr[2];
          UINT16 value;
-         addr = paging(laddr, crw, user_mode);
+         /* TLB */
-         if ((laddr + 1) & 0x00000fff) {
+         ep[0] = tlb_lookup(laddr, ucrw);
-                 return cpu_memoryread_w(addr);
+         if (ep[0] != NULL) {
-         } else {
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
-                 addr2 = paging(laddr + 1, crw, user_mode);
+                 if ((laddr + 1) & CPU_PAGE_MASK)
-                 value = cpu_memoryread_b(addr);
+                         return cpu_memoryread_w(paddr[0]);
-                 value += (UINT16)cpu_memoryread_b(addr2) << 8;
-                 return value;
+                 ep[1] = tlb_lookup(laddr + 1, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr;
+                         goto separate;
+                 }
          }
+         /* paging */
+         paddr[0] = paging(laddr, ucrw);
+         if ((laddr + 1) & CPU_PAGE_MASK)
+                 return cpu_memoryread_w(paddr[0]);
+         paddr[1] = paging(laddr + 1, ucrw);
+ separate:
+         value = cpu_memoryread_b(paddr[0]);
+         value += (UINT16)cpu_memoryread_b(paddr[1]) << 8;
+         return value;
  }
  UINT32 MEMCALL
- cpu_linear_memory_read_d(UINT32 laddr, const int crw, const int user_mode)
+ cpu_linear_memory_read_d(UINT32 laddr, int ucrw)
  {
-         UINT32 addr, addr2;
+         struct tlb_entry *ep[2];
+         UINT32 paddr[2];
          UINT32 value;
          UINT remain;
-         addr = paging(laddr, crw, user_mode);
+         /* TLB */
-         remain = 0x1000 - (laddr & 0x00000fff);
+         ep[0] = tlb_lookup(laddr, ucrw);
-         if (remain >= 4) {
+         if (ep[0] != NULL) {
-                 return cpu_memoryread_d(addr);
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
-         } else {
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
-                 addr2 = paging(laddr + remain, crw, user_mode);
+                 if (remain >= sizeof(value))
-                 switch (remain) {
+                         return cpu_memoryread_d(paddr[0]);
-                 case 3:
-                         value = cpu_memoryread(addr);
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
-                         value += (UINT32)cpu_memoryread_w(addr + 1) << 8;
+                 if (ep[1] != NULL) {
-                         value += (UINT32)cpu_memoryread(addr2) << 24;
+                         paddr[1] = ep[1]->paddr;
-                         break;
+                         goto separate;
-                 case 2:
-                         value = cpu_memoryread_w(addr);
-                         value += (UINT32)cpu_memoryread_w(addr2) << 16;
-                         break;
-                 case 1:
-                         value = cpu_memoryread(addr);
-                         value += (UINT32)cpu_memoryread(addr2) << 8;
-                         value += (UINT32)cpu_memoryread_w(addr2 + 1) << 16;
-                         break;
-                 default:
-                         ia32_panic("cpu_linear_memory_read_d(): out of range (remain = %d)\n", remain);
-                         value = 0;      /* compiler happy */
-                         break;
                  }
-                 return value;
          }
- }
- void MEMCALL
+         /* paging */
- cpu_linear_memory_write_b(UINT32 laddr, UINT8 value, const int user_mode)
+         paddr[0] = paging(laddr, ucrw);
- {
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         if (remain >= sizeof(value))
-         UINT32 addr;
+                 return cpu_memoryread_d(paddr[0]);
-         addr = paging(laddr, crw, user_mode);
+         paddr[1] = paging(laddr + remain, ucrw);
-         cpu_memorywrite(addr, value);
+ separate:
- }
+         switch (remain) {
+         case 3:
+                 value = cpu_memoryread(paddr[0]);
+                 value += (UINT32)cpu_memoryread_w(paddr[0] + 1) << 8;
+                 value += (UINT32)cpu_memoryread(paddr[1]) << 24;
+                 break;
- void MEMCALL
+         case 2:
- cpu_linear_memory_write_w(UINT32 laddr, UINT16 value, const int user_mode)
+                 value = cpu_memoryread_w(paddr[0]);
- {
+                 value += (UINT32)cpu_memoryread_w(paddr[1]) << 16;
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+                 break;
-         UINT32 addr, addr2;
-         addr = paging(laddr, crw, user_mode);
+         case 1:
-         if ((laddr + 1) & 0x00000fff) {
+                 value = cpu_memoryread(paddr[0]);
-                 cpu_memorywrite_w(addr, value);
+                 value += (UINT32)cpu_memoryread_w(paddr[1]) << 8;
-         } else {
+                 value += (UINT32)cpu_memoryread(paddr[1] + 2) << 24;
-                 addr2 = paging(laddr + 1, crw, user_mode);
+                 break;
-                 cpu_memorywrite(addr, (UINT8)value);
-                 cpu_memorywrite(addr2, (UINT8)(value >> 8));
+         default:
+                 ia32_panic("cpu_linear_memory_read_d: out of range (remain=%d)\n", remain);
+                 value = 0;      /* XXX compiler happy */
+                 break;
          }
+         return value;
  }
- void MEMCALL
+ UINT64 MEMCALL
- cpu_linear_memory_write_d(UINT32 laddr, UINT32 value, const int user_mode)
+ cpu_linear_memory_read_q(UINT32 laddr, int ucrw)
  {
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         struct tlb_entry *ep[2];
-         UINT32 addr, addr2;
+         UINT32 paddr[2];
+         UINT64 value;
          UINT remain;
-         addr = paging(laddr, crw, user_mode);
+         /* TLB */
-         remain = 0x1000 - (laddr & 0x00000fff);
+         ep[0] = tlb_lookup(laddr, ucrw);
-         if (remain >= 4) {
+         if (ep[0] != NULL) {
-                 cpu_memorywrite_d(addr, value);
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
-         } else {
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
-                 addr2 = paging(laddr + remain, crw, user_mode);
+                 if (remain >= sizeof(value))
-                 switch (remain) {
+                         return cpu_memoryread_d(paddr[0]);
-                 case 3:
-                         cpu_memorywrite(addr, (UINT8)value);
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
-                         cpu_memorywrite_w(addr + 1, (UINT16)(value >> 8));
+                 if (ep[1] != NULL) {
-                         cpu_memorywrite(addr2, (UINT8)(value >> 24));
+                         paddr[1] = ep[1]->paddr;
-                         break;
+                         goto separate;
-                 case 2:
-                         cpu_memorywrite_w(addr, (UINT16)value);
-                         cpu_memorywrite_w(addr2, (UINT16)(value >> 16));
-                         break;
-                 case 1:
-                         cpu_memorywrite(addr, (UINT8)value);
-                         cpu_memorywrite(addr2, (UINT8)(value >> 8));
-                         cpu_memorywrite_w(addr2 + 1, (UINT16)(value >> 16));
-                         break;
                  }
          }
- }
- #else   /* !IA32_PAGING_EACHSIZE */
+         /* paging */
+         paddr[0] = paging(laddr, ucrw);
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+         if (remain >= sizeof(value))
+                 return cpu_memoryread_q(paddr[0]);
- UINT32 MEMCALL
+         paddr[1] = paging(laddr + remain, ucrw);
- cpu_memory_access_la_RMW(UINT32 laddr, UINT length, UINT32 (*func)(UINT32, void *), void *arg)
+ separate:
- {
+         switch (remain) {
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         case 7:
-         const int user_mode = CPU_STAT_USER_MODE;
+                 value = cpu_memoryread(paddr[0]);
-         UINT32 result, value;
+                 value += (UINT64)cpu_memoryread_w(paddr[0] + 1) << 8;
-         UINT32 paddr[2];
+                 value += (UINT64)cpu_memoryread_d(paddr[0] + 3) << 24;
-         UINT remain;
+                 value += (UINT64)cpu_memoryread(paddr[1]) << 56;
+                 break;
-         paddr[0] = paging(laddr, crw, user_mode);
-         remain = 0x1000 - (laddr & 0x00000fff);
-         if (remain >= length) {
-                 /* fast mode */
-                 switch (length) {
-                 case 4:
-                         value = cpu_memoryread_d(paddr[0]);
-                         result = (*func)(value, arg);
-                         cpu_memorywrite_d(paddr[0], result);
-                         break;
-                 case 2:
+         case 6:
-                         value = cpu_memoryread_w(paddr[0]);
+                 value = cpu_memoryread_w(paddr[0]);
-                         result = (*func)(value, arg);
+                 value += (UINT64)cpu_memoryread_d(paddr[0] + 2) << 16;
-                         cpu_memorywrite_w(paddr[0], (UINT16)result);
+                 value += (UINT64)cpu_memoryread_w(paddr[1]) << 48;
-                         break;
+                 break;
-                 case 1:
+         case 5:
-                         value = cpu_memoryread(paddr[0]);
+                 value = cpu_memoryread(paddr[0]);
-                         result = (*func)(value, arg);
+                 value += (UINT64)cpu_memoryread_d(paddr[0] + 1) << 8;
-                         cpu_memorywrite(paddr[0], (UINT8)result);
+                 value += (UINT64)cpu_memoryread_w(paddr[1]) << 40;
-                         break;
+                 value += (UINT64)cpu_memoryread(paddr[1] + 2) << 56;
+                 break;
-                 default:
+         case 4:
-                         ia32_panic("cpu_memory_access_la_RMW(): invalid length (length = %d)\n", length);
+                 value = cpu_memoryread_d(paddr[0]);
-                         value = 0;      /* compiler happy */
+                 value += (UINT64)cpu_memoryread_d(paddr[1]) << 32;
-                         break;
+                 break;
-                 }
-                 return value;
-         }
-         /* slow mode */
-         paddr[1] = paging(laddr + remain, crw, user_mode);
-         switch (remain) {
          case 3:
                  value = cpu_memoryread(paddr[0]);
-                 value += (UINT32)cpu_memoryread_w(paddr[0] + 1) << 8;
+                 value += (UINT64)cpu_memoryread_w(paddr[0] + 1) << 8;
-                 value += (UINT32)cpu_memoryread(paddr[1]) << 24;
+                 value += (UINT64)cpu_memoryread_d(paddr[1]) << 24;
-                 result = (*func)(value, arg);
+                 value += (UINT64)cpu_memoryread(paddr[1] + 4) << 56;
-                 cpu_memorywrite(paddr[0], (UINT8)result);
-                 cpu_memorywrite_w(paddr[0] + 1, (UINT16)(result >> 8));
-                 cpu_memorywrite(paddr[1], (BYTE)(result >> 24));
                  break;
          case 2:
                  value = cpu_memoryread_w(paddr[0]);
-                 value += (UINT32)cpu_memoryread_w(paddr[1]) << 16;
+                 value += (UINT64)cpu_memoryread_d(paddr[1]) << 16;
-                 result = (*func)(value, arg);
+                 value += (UINT64)cpu_memoryread_w(paddr[1] + 4) << 48;
-                 cpu_memorywrite_w(paddr[0], (UINT16)result);
-                 cpu_memorywrite_w(paddr[1], (UINT16)(result >> 16));
                  break;
          case 1:
                  value = cpu_memoryread(paddr[0]);
-                 value += (UINT32)cpu_memoryread(paddr[1]) << 8;
+                 value += (UINT64)cpu_memoryread_d(paddr[1]) << 8;
-                 if (length == 4) {
+                 value += (UINT64)cpu_memoryread_w(paddr[1] + 4) << 40;
-                         value += (UINT32)cpu_memoryread_w(paddr[1] + 1) << 16;
+                 value += (UINT64)cpu_memoryread(paddr[1] + 6) << 56;
-                 }
-                 result = (*func)(value, arg);
-                 cpu_memorywrite(paddr[0], (UINT8)result);
-                 cpu_memorywrite(paddr[1], (UINT8)(result >> 8));
-                 if (length == 4) {
-                         cpu_memorywrite_w(paddr[1] + 1, (UINT16)(result >> 16));
-                 }
                  break;
          default:
-                 ia32_panic("cpu_memory_access_la_RMW(): out of range (remain = %d)\n", remain);
+                 ia32_panic("cpu_linear_memory_read_q: out of range (remain=%d)\n", remain);
-                 value = 0;      /* compiler happy */
+                 value = 0;      /* XXX compiler happy */
                  break;
          }
          return value;
  }
- UINT32 MEMCALL
+ REG80 MEMCALL
- cpu_linear_memory_read(UINT32 laddr, UINT length, const int crw, const int user_mode)
+ cpu_linear_memory_read_f(UINT32 laddr, int ucrw)
  {
-         UINT32 value;
+         struct tlb_entry *ep[2];
          UINT32 paddr[2];
+         REG80 value;
          UINT remain;
+         UINT i, j;
-         paddr[0] = paging(laddr, crw, user_mode);
+         /* TLB */
-         remain = 0x1000 - (laddr & 0x00000fff);
+         ep[0] = tlb_lookup(laddr, ucrw);
-         if (remain >= length) {
+         if (ep[0] != NULL) {
-                 /* fast mode */
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
-                 switch (length) {
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
-                 case 4:
+                 if (remain >= sizeof(value))
-                         value = cpu_memoryread_d(paddr[0]);
+                         return cpu_memoryread_f(paddr[0]);
-                         break;
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr;
+                         goto separate;
+                 }
+         }
-                 case 2:
+         /* paging */
-                         value = cpu_memoryread_w(paddr[0]);
+         paddr[0] = paging(laddr, ucrw);
-                         break;
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+         if (remain >= sizeof(value))
+                 return cpu_memoryread_f(paddr[0]);
+         paddr[1] = paging(laddr + remain, ucrw);
+ separate:
+         for (i = 0; i < remain; ++i) {
+                 value.b[i] = cpu_memoryread(paddr[0] + i);
+         }
+         for (j = 0; i < 10; ++i, ++j) {
+                 value.b[i] = cpu_memoryread(paddr[1] + j);
+         }
+         return value;
+ }
-                 case 1:
+ /* write */
-                         value = cpu_memoryread(paddr[0]);
+ void MEMCALL
-                         break;
+ cpu_linear_memory_write_b(UINT32 laddr, UINT8 value, int ucrw)
+ {
+         struct tlb_entry *ep;
+         UINT32 paddr;
-                 default:
+         /* TLB */
-                         ia32_panic("cpu_linear_memory_read(): invalid length (length = %d)\n", length);
+         ep = tlb_lookup(laddr, ucrw);
-                         value = 0;      /* compiler happy */
+         if (ep != NULL) {
-                         break;
+                 paddr = ep->paddr + (laddr & CPU_PAGE_MASK);
+                 cpu_memorywrite(paddr, value);
+                 return;
+         }
+         /* paging */
+         paddr = paging(laddr, ucrw);
+         cpu_memorywrite(paddr, value);
+ }
+ void MEMCALL
+ cpu_linear_memory_write_w(UINT32 laddr, UINT16 value, int ucrw)
+ {
+         struct tlb_entry *ep[2];
+         UINT32 paddr[2];
+         /* TLB */
+         ep[0] = tlb_lookup(laddr, ucrw);
+         if (ep[0] != NULL) {
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
+                 if ((laddr + 1) & CPU_PAGE_MASK) {
+                         cpu_memorywrite_w(paddr[0], value);
+                         return;
                  }
-                 return value;
+                 ep[1] = tlb_lookup(laddr + 1, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr;
+                         goto separate;
+                 }
+         }
+         /* paging */
+         paddr[0] = paging(laddr, ucrw);
+         if ((laddr + 1) & CPU_PAGE_MASK) {
+                 cpu_memorywrite_w(paddr[0], value);
+                 return;
          }
-         /* slow mode */
+         paddr[1] = paging(laddr + 1, ucrw);
-         paddr[1] = paging(laddr + remain, crw, user_mode);
+ separate:
+         cpu_memorywrite(paddr[0], (UINT8)value);
+         cpu_memorywrite(paddr[1], (UINT8)(value >> 8));
+ }
+ void MEMCALL
+ cpu_linear_memory_write_d(UINT32 laddr, UINT32 value, int ucrw)
+ {
+         struct tlb_entry *ep[2];
+         UINT32 paddr[2];
+         UINT remain;
+         /* TLB */
+         ep[0] = tlb_lookup(laddr, ucrw);
+         if (ep[0] != NULL) {
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+                 if (remain >= sizeof(value)) {
+                         cpu_memorywrite_d(paddr[0], value);
+                         return;
+                 }
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr;
+                         goto separate;
+                 }
+         }
+         /* paging */
+         paddr[0] = paging(laddr, ucrw);
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+         if (remain >= sizeof(value)) {
+                 cpu_memorywrite_d(paddr[0], value);
+                 return;
+         }
+         paddr[1] = paging(laddr + remain, ucrw);
+ separate:
          switch (remain) {
          case 3:
-                 value = cpu_memoryread(paddr[0]);
+                 cpu_memorywrite(paddr[0], (UINT8)value);
-                 value += (UINT32)cpu_memoryread_w(paddr[0] + 1) << 8;
+                 cpu_memorywrite_w(paddr[0] + 1, (UINT16)(value >> 8));
-                 value += (UINT32)cpu_memoryread(paddr[1]) << 24;
+                 cpu_memorywrite(paddr[1], (UINT8)(value >> 24));
                  break;
          case 2:
-                 value = cpu_memoryread_w(paddr[0]);
+                 cpu_memorywrite_w(paddr[0], (UINT16)value);
-                 value += (UINT32)cpu_memoryread_w(paddr[1]) << 16;
+                 cpu_memorywrite_w(paddr[1], (UINT16)(value >> 16));
                  break;
          case 1:
-                 value = cpu_memoryread(paddr[0]);
+                 cpu_memorywrite(paddr[0], (UINT8)value);
-                 value += (UINT32)cpu_memoryread(paddr[1]) << 8;
+                 cpu_memorywrite_w(paddr[1], (UINT16)(value >> 8));
-                 if (length == 4) {
+                 cpu_memorywrite(paddr[1] + 2, (UINT8)(value >> 24));
-                         value += (UINT32)cpu_memoryread_w(paddr[1] + 1) << 16;
-                 }
                  break;
          default:
-                 ia32_panic("cpu_linear_memory_read(): out of range (remain = %d)\n", remain);
+                 ia32_panic("cpu_linear_memory_write_d: out of range (remain=%d)\n", remain);
-                 value = 0;      /* compiler happy */
                  break;
          }
-         return value;
  }
  void MEMCALL
- cpu_linear_memory_write(UINT32 laddr, UINT32 value, UINT length, const int user_mode)
+ cpu_linear_memory_write_q(UINT32 laddr, UINT64 value, int ucrw)
  {
-         const int crw = (CPU_PAGE_WRITE|CPU_PAGE_DATA);
+         struct tlb_entry *ep[2];
          UINT32 paddr[2];
          UINT remain;
-         paddr[0] = paging(laddr, crw, user_mode);
+         /* TLB */
-         remain = 0x1000 - (laddr & 0x00000fff);
+         ep[0] = tlb_lookup(laddr, ucrw);
-         if (remain >= length) {
+         if (ep[0] != NULL) {
-                 /* fast mode */
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
-                 switch (length) {
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
-                 case 4:
+                 if (remain >= sizeof(value)) {
-                         cpu_memorywrite_d(paddr[0], value);
+                         cpu_memorywrite_q(paddr[0], value);
-                         break;
+                         return;
+                 }
-                 case 2:
-                         cpu_memorywrite_w(paddr[0], (UINT16)value);
-                         break;
-                 case 1:
-                         cpu_memorywrite(paddr[0], (UINT8)value);
-                         break;
-                 default:
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
-                         ia32_panic("cpu_linear_memory_write(): invalid length (length = %d)\n", length);
+                 if (ep[1] != NULL) {
-                         break;
+                         paddr[1] = ep[1]->paddr;
+                         goto separate;
                  }
+         }
+         /* paging */
+         paddr[0] = paging(laddr, ucrw);
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+         if (remain >= sizeof(value)) {
+                 cpu_memorywrite_q(paddr[0], value);
                  return;
          }
-         /* slow mode */
+         paddr[1] = paging(laddr + remain, ucrw);
-         paddr[1] = paging(laddr + remain, crw, user_mode);
+ separate:
          switch (remain) {
+         case 7:
+                 cpu_memorywrite(paddr[0], (UINT8)value);
+                 cpu_memorywrite_w(paddr[0] + 1, (UINT16)(value >> 8));
+                 cpu_memorywrite_d(paddr[0] + 3, (UINT32)(value >> 24));
+                 cpu_memorywrite(paddr[1], (UINT8)(value >> 56));
+                 break;
+         case 6:
+                 cpu_memorywrite_w(paddr[0], (UINT16)value);
+                 cpu_memorywrite_d(paddr[0] + 2, (UINT32)(value >> 16));
+                 cpu_memorywrite_w(paddr[1], (UINT16)(value >> 48));
+                 break;
+         case 5:
+                 cpu_memorywrite(paddr[0], (UINT8)value);
+                 cpu_memorywrite_d(paddr[0] + 1, (UINT32)(value >> 8));
+                 cpu_memorywrite_w(paddr[1], (UINT16)(value >> 40));
+                 cpu_memorywrite(paddr[1] + 2, (UINT8)(value >> 56));
+                 break;
+         case 4:
+                 cpu_memorywrite_d(paddr[0], (UINT32)value);
+                 cpu_memorywrite_d(paddr[1], (UINT32)(value >> 32));
+                 break;
          case 3:
                  cpu_memorywrite(paddr[0], (UINT8)value);
                  cpu_memorywrite_w(paddr[0] + 1, (UINT16)(value >> 8));
-                 cpu_memorywrite(paddr[1], (UINT8)(value >> 24));
+                 cpu_memorywrite_d(paddr[1], (UINT32)(value >> 24));
+                 cpu_memorywrite(paddr[1] + 4, (UINT8)(value >> 56));
                  break;
          case 2:
                  cpu_memorywrite_w(paddr[0], (UINT16)value);
-                 cpu_memorywrite_w(paddr[1], (UINT16)(value >> 16));
+                 cpu_memorywrite_d(paddr[1], (UINT32)(value >> 16));
+                 cpu_memorywrite_w(paddr[1] + 4, (UINT16)(value >> 48));
                  break;
          case 1:
                  cpu_memorywrite(paddr[0], (UINT8)value);
-                 cpu_memorywrite(paddr[1], (UINT8)(value >> 8));
+                 cpu_memorywrite_d(paddr[1], (UINT32)(value >> 8));
-                 if (length == 4) {
+                 cpu_memorywrite_w(paddr[1] + 4, (UINT16)(value >> 40));
-                         cpu_memorywrite_w(paddr[1] + 1, (UINT16)(value >> 16));
+                 cpu_memorywrite(paddr[1] + 6, (UINT8)(value >> 56));
-                 }
                  break;
          default:
-                 ia32_panic("cpu_linear_memory_write(): out of range (remain = %d)\n", remain);
+                 ia32_panic("cpu_linear_memory_write_q: out of range (remain=%d)\n", remain);
                  break;
          }
  }
- #endif  /* IA32_PAGING_EACHSIZE */
  void MEMCALL
- cpu_memory_access_la_region(UINT32 laddr, UINT length, const int crw, const int user_mode, BYTE *data)
+ cpu_linear_memory_write_f(UINT32 laddr, const REG80 *value, int ucrw)
+ {
+         struct tlb_entry *ep[2];
+         UINT32 paddr[2];
+         UINT remain;
+         UINT i, j;
+         /* TLB */
+         ep[0] = tlb_lookup(laddr, ucrw);
+         if (ep[0] != NULL) {
+                 paddr[0] = ep[0]->paddr + (laddr & CPU_PAGE_MASK);
+                 remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+                 if (remain >= sizeof(value)) {
+                         cpu_memorywrite_f(paddr[0], value);
+                         return;
+                 }
+                 ep[1] = tlb_lookup(laddr + remain, ucrw);
+                 if (ep[1] != NULL) {
+                         paddr[1] = ep[1]->paddr;
+                         goto separate;
+                 }
+         }
+         /* paging */
+         paddr[0] = paging(laddr, ucrw);
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
+         if (remain >= sizeof(value)) {
+                 cpu_memorywrite_f(paddr[0], value);
+                 return;
+         }
+         paddr[1] = paging(laddr + remain, ucrw);
+ separate:
+         for (i = 0; i < remain; ++i) {
+                 cpu_memorywrite(paddr[0] + i, value->b[i]);
+         }
+         for (j = 0; i < 10; ++i, ++j) {
+                 cpu_memorywrite(paddr[1] + j, value->b[i]);
+         }
+ }
+ /*
+  * linear address memory access function
+  */
+ void MEMCALL
+ cpu_memory_access_la_region(UINT32 laddr, UINT length, int ucrw, UINT8 *data)
  {
          UINT32 paddr;
          UINT remain;    /* page remain */
- Line 629  cpu_memory_access_la_region(UINT32 laddr
+ Line 833  cpu_memory_access_la_region(UINT32 laddr
          if (length == 0)
                  return;
-         remain = 0x1000 - (laddr & 0x00000fff);
+         remain = CPU_PAGE_SIZE - (laddr & CPU_PAGE_MASK);
          for (;;) {
                  if (!CPU_STAT_PAGING) {
                          paddr = laddr;
                  } else {
-                         paddr = paging(laddr, crw, user_mode);
+                         paddr = paging(laddr, ucrw);
                  }
                  r = (remain > length) ? length : remain;
-                 if (!(crw & CPU_PAGE_WRITE)) {
+                 if (!(ucrw & CPU_PAGE_WRITE)) {
                          cpu_memoryread_region(paddr, data, r);
                  } else {
                          cpu_memorywrite_region(paddr, data, r);
- Line 653  cpu_memory_access_la_region(UINT32 laddr
+ Line 857  cpu_memory_access_la_region(UINT32 laddr
                  remain -= r;
                  if (remain <= 0) {
                          /* next page */
-                         remain += 0x1000;
+                         remain += CPU_PAGE_SIZE;
                  }
          }
  }
- void MEMCALL
+ UINT32 MEMCALL
- paging_check(UINT32 laddr, UINT length, const int crw, const int user_mode)
+ laddr2paddr(UINT32 laddr, int ucrw)
  {
-         UINT32 paddr;
-         UINT remain;    /* page remain */
-         UINT r;
-         remain = 0x1000 - (laddr & 0x00000fff);
+         return paging(laddr, ucrw);
-         for (;;) {
-                 paddr = paging(laddr, crw, user_mode);
-                 r = (remain > length) ? length : remain;
-                 length -= r;
-                 if (length == 0)
-                         break;
-                 laddr += r;
-                 remain -= r;
-                 if (remain <= 0) {
-                         /* next page */
-                         remain += 0x1000;
-                 }
-         }
  }
- static UINT32
+ /*
- paging(const UINT32 laddr, const int crw, const int user_mode)
+  * paging
+  */
+ static UINT32 MEMCALL
+ paging(UINT32 laddr, int ucrw)
  {
          UINT32 paddr;           /* physical address */
          UINT32 pde_addr;        /* page directory entry address */
- Line 694  paging(const UINT32 laddr, const int crw
+ Line 882  paging(const UINT32 laddr, const int crw
          UINT32 pte;             /* page table entry */
          UINT bit;
          UINT err;
+         struct tlb_entry *ep;
- #if defined(IA32_SUPPORT_TLB)
+         ep = tlb_lookup(laddr, ucrw);
-         if (tlb_lookup(laddr, crw, &paddr))
+         if (ep != NULL)
-                 return paddr;
+                 return ep->paddr + (laddr & CPU_PAGE_MASK);
- #endif  /* IA32_SUPPORT_TLB */
          pde_addr = CPU_STAT_PDE_BASE + ((laddr >> 20) & 0xffc);
          pde = cpu_memoryread_d(pde_addr);
- Line 729  paging(const UINT32 laddr, const int crw
+ Line 917  paging(const UINT32 laddr, const int crw
          }
          /* make physical address */
-         paddr = (pte & CPU_PTE_BASEADDR_MASK) + (laddr & 0x00000fff);
+         paddr = (pte & CPU_PTE_BASEADDR_MASK) + (laddr & CPU_PAGE_MASK);
-         bit  = crw & CPU_PAGE_WRITE;
+         bit  = ucrw & (CPU_PAGE_WRITE|CPU_PAGE_USER_MODE);
          bit |= (pde & pte & (CPU_PTE_WRITABLE|CPU_PTE_USER_MODE));
-         bit |= (user_mode << 3);
          bit |= CPU_STAT_WP;
  #if !defined(USE_PAGE_ACCESS_TABLE)
- Line 750  paging(const UINT32 laddr, const int crw
+ Line 937  paging(const UINT32 laddr, const int crw
                  goto pf_exception;
          }
-         if ((crw & CPU_PAGE_WRITE) && !(pte & CPU_PTE_DIRTY)) {
+         if ((ucrw & CPU_PAGE_WRITE) && !(pte & CPU_PTE_DIRTY)) {
                  pte |= CPU_PTE_DIRTY;
                  cpu_memorywrite_d(pte_addr, pte);
          }
- #if defined(IA32_SUPPORT_TLB)
+         tlb_update(laddr, pte, (bit & (CPU_PTE_WRITABLE|CPU_PTE_USER_MODE)) + ((ucrw & CPU_PAGE_CODE) ? 1 : 0));
-         tlb_update(laddr, pte, crw);
- #endif  /* IA32_SUPPORT_TLB */
          return paddr;
  pf_exception:
          CPU_CR2 = laddr;
-         err |= ((crw & CPU_PAGE_WRITE) << 1) | (user_mode << 2);
+         err |= (ucrw & CPU_PAGE_WRITE) << 1;
+         err |= (ucrw & CPU_PAGE_USER_MODE) >> 1;
          EXCEPTION(PF_EXCEPTION, err);
          return 0;       /* compiler happy */
  }
- #if defined(IA32_SUPPORT_TLB)
  /*
   * TLB
   */
+ #define TLB_TAG_SHIFT           TLB_ENTRY_TAG_MAX_SHIFT
- #if defined(IA32_PROFILE_TLB)
+ #define TLB_TAG_MASK            (~((1 << TLB_TAG_SHIFT) - 1))
- /* profiling */
- typedef struct {
-         UINT64 tlb_hits;
-         UINT64 tlb_misses;
-         UINT64 tlb_lookups;
-         UINT64 tlb_updates;
-         UINT64 tlb_flushes;
-         UINT64 tlb_global_flushes;
-         UINT64 tlb_entry_flushes;
- } TLB_PROFILE_T;
- static TLB_PROFILE_T tlb_profile;
- #define PROFILE_INC(v)  tlb_profile.v++
- #else   /* !IA32_PROFILE_TLB */
- #define PROFILE_INC(v)
- #endif  /* IA32_PROFILE_TLB */
- typedef struct {
-         UINT32  tag;    /* linear address */
- #define TLB_ENTRY_VALID         (1 << 0)
- #define TLB_ENTRY_GLOBAL        CPU_PTE_GLOBAL_PAGE
-         UINT32  paddr;  /* physical address */
- } TLB_ENTRY_T;
- #define TLB_GET_PADDR(ep, addr) ((ep)->paddr + ((addr) & ~CPU_PTE_BASEADDR_MASK))
- #define TLB_SET_PADDR(ep, addr) ((ep)->paddr = (addr) & CPU_PTE_BASEADDR_MASK)
- #define TLB_TAG_SHIFT   17
- #define TLB_TAG_MASK    ~((1 << TLB_TAG_SHIFT) - 1)
  #define TLB_GET_TAG_ADDR(ep)    ((ep)->tag & TLB_TAG_MASK)
  #define TLB_SET_TAG_ADDR(ep, addr) \
-         ((ep)->tag = ((addr) & TLB_TAG_MASK) + ((ep)->tag & ~TLB_TAG_MASK))
+ do { \
+         (ep)->tag &= ~TLB_TAG_MASK; \
- #define TLB_IS_VALID(ep)        ((ep)->tag & TLB_ENTRY_VALID)
+         (ep)->tag |= (addr) & TLB_TAG_MASK; \
- #define TLB_SET_VALID(ep)       ((ep)->tag |= TLB_ENTRY_VALID)
+ } while (/*CONSTCOND(*/ 0)
- #define TLB_CLEAR_VALID(ep)     ((ep)->tag &= ~TLB_ENTRY_VALID)
+ #define TLB_IS_VALID(ep)        ((ep)->tag & TLB_ENTRY_TAG_VALID)
- #if CPU_FAMILY == 4
+ #define TLB_SET_VALID(ep)       ((ep)->tag = TLB_ENTRY_TAG_VALID)
- #define TLB_IS_GLOBAL(ep)       FALSE
+ #define TLB_SET_INVALID(ep)     ((ep)->tag = 0)
- #define TLB_SET_GLOBAL(ep)      (void)(ep)
- #define TLB_CLEAR_GLOBAL(ep)    (void)(ep)
+ #define TLB_IS_WRITABLE(ep)     ((ep)->tag & CPU_PTE_WRITABLE)
+ #define TLB_IS_USERMODE(ep)     ((ep)->tag & CPU_PTE_USER_MODE)
+ #define TLB_IS_DIRTY(ep)        ((ep)->tag & TLB_ENTRY_TAG_DIRTY)
+ #if (CPU_FEATURES & CPU_FEATURE_PGE) == CPU_FEATURE_PGE
+ #define TLB_IS_GLOBAL(ep)       ((ep)->tag & TLB_ENTRY_TAG_GLOBAL)
  #else
- #define TLB_IS_GLOBAL(ep)       ((ep)->tag & TLB_ENTRY_GLOBAL)
+ #define TLB_IS_GLOBAL(ep)       0
- #define TLB_SET_GLOBAL(ep)      ((ep)->tag |= TLB_ENTRY_GLOBAL)
- #define TLB_CLEAR_GLOBAL(ep)    ((ep)->tag &= ~TLB_ENTRY_GLOBAL)
  #endif
+ #define TLB_SET_TAG_FLAGS(ep, entry, bit) \
+ do { \
+         (ep)->tag |= (entry) & (CPU_PTE_GLOBAL_PAGE|CPU_PTE_DIRTY); \
+         (ep)->tag |= (bit) & (CPU_PTE_WRITABLE|CPU_PTE_USER_MODE); \
+ } while (/*CONSTCOND*/ 0)
- #if CPU_FAMILY == 4
+ #define NTLB            2       /* 0: DTLB, 1: ITLB */
- #define NTLB    1
+ #define NENTRY          (1 << 6)
- #define NENTRY  (1 << 3)
- #define NWAY    (1 << 2)
  #define TLB_ENTRY_SHIFT 12
  #define TLB_ENTRY_MASK  (NENTRY - 1)
- #define TLB_WAY_SHIFT   15
- #define TLB_WAY_MASK    (NWAY - 1)
- #endif
  typedef struct {
-         TLB_ENTRY_T     entry[NENTRY][NWAY];
+         struct tlb_entry entry[NENTRY];
- } TLB_T;
+ } tlb_t;
+ static tlb_t tlb[NTLB];
- static TLB_T tlb;
  void
  tlb_init(void)
  {
-         memset(&tlb, 0, sizeof(tlb));
+         memset(tlb, 0, sizeof(tlb));
- #if defined(IA32_PROFILE_TLB)
-         memset(&tlb_profile, 0, sizeof(tlb_profile));
- #endif  /* IA32_PROFILE_TLB */
  }
- void
+ void MEMCALL
  tlb_flush(BOOL allflush)
  {
-         TLB_ENTRY_T *ep;
+         struct tlb_entry *ep;
-         int i, j;
+         int i;
+         int n;
          if (allflush) {
-                 PROFILE_INC(tlb_global_flushes);
+                 tlb_init();
-         } else {
+                 return;
-                 PROFILE_INC(tlb_flushes);
          }
-         for (i = 0; i < NENTRY ; i++) {
+         for (n = 0; n < NTLB; n++) {
-                 for (j = 0; j < NWAY; j++) {
+                 for (i = 0; i < NENTRY ; i++) {
-                         ep = &tlb.entry[i][j];
+                         ep = &tlb[n].entry[i];
-                         if (TLB_IS_VALID(ep) && (!TLB_IS_GLOBAL(ep) || allflush)) {
+                         if (TLB_IS_VALID(ep) && !TLB_IS_GLOBAL(ep)) {
-                                 TLB_CLEAR_VALID(ep);
+                                 TLB_SET_INVALID(ep);
-                                 PROFILE_INC(tlb_entry_flushes);
                          }
                  }
          }
  }
- void
+ void MEMCALL
  tlb_flush_page(UINT32 laddr)
  {
-         TLB_ENTRY_T *ep;
+         struct tlb_entry *ep;
          int idx;
-         int way;
+         int n;
-         PROFILE_INC(tlb_flushes);
+         idx = (laddr >> TLB_ENTRY_SHIFT) & TLB_ENTRY_MASK;
-         idx = (laddr >> TLB_ENTRY_SHIFT) & (NENTRY - 1);
+         for (n = 0; n < NTLB; n++) {
-         way = (laddr >> TLB_WAY_SHIFT) & (NWAY - 1);
+                 ep = &tlb[n].entry[idx];
-         ep = &tlb.entry[idx][way];
+                 if (TLB_IS_VALID(ep)) {
+                         if ((laddr & TLB_TAG_MASK) == TLB_GET_TAG_ADDR(ep)) {
-         if (TLB_IS_VALID(ep)) {
+                                 TLB_SET_INVALID(ep);
-                 if ((laddr & TLB_TAG_MASK) == TLB_GET_TAG_ADDR(ep)) {
+                         }
-                         TLB_CLEAR_VALID(ep);
-                         return;
                  }
          }
  }
- static BOOL
+ struct tlb_entry * MEMCALL
- tlb_lookup(const UINT32 laddr, const int crw, UINT32 *paddr)
+ tlb_lookup(UINT32 laddr, int ucrw)
  {
-         TLB_ENTRY_T *ep;
+         struct tlb_entry *ep;
+         UINT bit;
          int idx;
-         int way;
+         int n;
-         PROFILE_INC(tlb_lookups);
-         idx = (laddr >> TLB_ENTRY_SHIFT) & (NENTRY - 1);
+         n = (ucrw & CPU_PAGE_CODE) ? 1 : 0;
-         way = (laddr >> TLB_WAY_SHIFT) & (NWAY - 1);
+         idx = (laddr >> TLB_ENTRY_SHIFT) & TLB_ENTRY_MASK;
-         ep = &tlb.entry[idx][way];
+         ep = &tlb[n].entry[idx];
-         ep = &tlb.entry[idx][way];
          if (TLB_IS_VALID(ep)) {
                  if ((laddr & TLB_TAG_MASK) == TLB_GET_TAG_ADDR(ep)) {
-                         *paddr = TLB_GET_PADDR(ep, laddr);
+                         bit = ucrw & (CPU_PAGE_WRITE|CPU_PAGE_USER_MODE);
-                         PROFILE_INC(tlb_hits);
+                         bit |= ep->tag & (CPU_PTE_WRITABLE|CPU_PTE_USER_MODE);
-                         return TRUE;
+                         bit |= CPU_STAT_WP;
+ #if !defined(USE_PAGE_ACCESS_TABLE)
+                         if ((page_access & (1 << bit)))
+ #else
+                         if (page_access_bit[bit])
+ #endif
+                         {
+                                 if (!(ucrw & CPU_PAGE_WRITE) || TLB_IS_DIRTY(ep)) {
+                                         return ep;
+                                 }
+                         }
                  }
          }
-         (void)crw;
+         return NULL;
-         PROFILE_INC(tlb_misses);
-         return FALSE;
  }
- static void
+ static void MEMCALL
- tlb_update(const UINT32 laddr, const UINT entry, const int crw)
+ tlb_update(UINT32 laddr, UINT entry, int bit)
  {
-         TLB_ENTRY_T *ep;
+         struct tlb_entry *ep;
          int idx;
-         int way;
+         int n;
-         PROFILE_INC(tlb_updates);
-         idx = (laddr >> TLB_ENTRY_SHIFT) & (NENTRY - 1);
+         n = bit & 1;
-         way = (laddr >> TLB_WAY_SHIFT) & (NWAY - 1);
+         idx = (laddr >> TLB_ENTRY_SHIFT) & TLB_ENTRY_MASK;
-         ep = &tlb.entry[idx][way];
+         ep = &tlb[n].entry[idx];
          TLB_SET_VALID(ep);
- #if CPU_FAMILY >= 5
-         if (entry & CPU_PTE_GLOBAL_PAGE) {
-                 TLB_SET_GLOBAL(ep);
-         }
- #endif
          TLB_SET_TAG_ADDR(ep, laddr);
-         TLB_SET_PADDR(ep, entry);
+         TLB_SET_TAG_FLAGS(ep, entry, bit);
-         (void)crw;
+         ep->paddr = entry & CPU_PTE_BASEADDR_MASK;
  }
- #endif  /* IA32_SUPPORT_TLB */

RetroPC.NET-CVS <cvs@retropc.net>

Removed from v.1.21
changed lines
	Added in v.1.38