A working (but not thoroughly tested) version of the static binary rewriter
[dyninst.git] / symtabAPI / src / emitElfStatic.C
1 /*
2  * Copyright (c) 1996-2009 Barton P. Miller
3  * 
4  * We provide the Paradyn Parallel Performance Tools (below
5  * described as "Paradyn") on an AS IS basis, and do not warrant its
6  * validity or performance.  We reserve the right to update, modify,
7  * or discontinue this software at any time.  We shall have no
8  * obligation to supply such updates or modifications or any other
9  * form of support to you.
10  * 
11  * By your use of Paradyn, you understand and agree that we (or any
12  * other person or entity with proprietary rights in Paradyn) are
13  * under no obligation to provide either maintenance services,
14  * update services, notices of latent defects, or correction of
15  * defects for Paradyn.
16  * 
17  * This library is free software; you can redistribute it and/or
18  * modify it under the terms of the GNU Lesser General Public
19  * License as published by the Free Software Foundation; either
20  * version 2.1 of the License, or (at your option) any later version.
21  * 
22  * This library is distributed in the hope that it will be useful,
23  * but WITHOUT ANY WARRANTY; without even the implied warranty of
24  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
25  * Lesser General Public License for more details.
26  * 
27  * You should have received a copy of the GNU Lesser General Public
28  * License along with this library; if not, write to the Free Software
29  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
30  */
31
32 /*
33  * XXX
34  *
35  * This class is unnecessary. However, at the time of writing, emitElf was
36  * split into two different classes (one for 32-bit and 64-bit). Instead of
37  * duplicating code, this class was created to share code between the
38  * two emitElf classes.
39  *
40  * Once the emitElf classes are merged, this class can be merged with the new
41  * emitElf class.
42  */
43
44 #include <cstdlib>
45 #include <cstdio>
46 #include <iostream>
47
48 #include "emitElfStatic.h"
49 #include "debug.h"
50
51 using namespace Dyninst;
52 using namespace SymtabAPI;
53
54 // Section names
55 static const string CODE_NAME(".dyninstCode");
56 static const string DATA_NAME(".dyninstData");
57 static const string BSS_NAME(".dyninstBss");
58 static const string GOT_NAME(".dyninstGot");
59 static const string CTOR_NAME(".dyninstCtors");
60 static const string DTOR_NAME(".dyninstDtors");
61 static const string TLS_DATA_NAME(".dyninstTdata");
62 static const string DEFAULT_COM_NAME(".common");
63
64 /* Used by architecture specific functions, but not architecture specific */
65 const string Dyninst::SymtabAPI::SYMTAB_CTOR_LIST_REL = "__SYMTABAPI_CTOR_LIST__";
66 const string Dyninst::SymtabAPI::SYMTAB_DTOR_LIST_REL = "__SYMTABAPI_DTOR_LIST__";
67
68 emitElfStatic::emitElfStatic(unsigned addressWidth, bool isStripped) :
69     addressWidth_(addressWidth),
70     isStripped_(isStripped),
71     hasRewrittenTLS_(false)
72 {}
73
74 /**
75  * NOTE:
76  * Most of these functions take a reference to a StaticLinkError and a string
77  * for error reporting purposes. These should prove useful in identifying the
78  * cause of an error
79  */
80
81 /**
82  * Statically links relocatable files into the specified Symtab object, 
83  * as specified by state in the Symtab object
84  *
85  * target       relocatable files will be linked into this Symtab
86  *
87  * Returns a pointer to a block of data containing the results of the link
88  * The caller is responsible for free'ing this block of data
89  */
90 char *emitElfStatic::linkStatic(Symtab *target, 
91         StaticLinkError &err, string &errMsg) 
92 {
93     /* 
94      * Basic algorithm is:
95      * - locate defined versions of symbols for undefined symbols in 
96      *   either the target or relocatable code, produces a vector
97      *   of Symtab objects that contain the defined versions
98      *
99      * - Allocate storage for all new code and data to be linked into 
100      *   the target, produces a LinkMap containing all allocation 
101      *   information
102      *
103      * - Compute relocations and set their targets to these values
104      */
105
106     // Holds all information necessary to work with the block of data created by createLinkMap
107     LinkMap lmap;
108
109     rewrite_printf("START link map output\n");
110     
111     // Determine starting location of new Regions
112     Offset globalOffset = 0;
113     vector<Region *> newRegs;
114     if( target->getAllNewRegions(newRegs) ) {
115         // This is true, only if other regions have already been added
116         vector<Region *>::iterator newReg_it;
117         for(newReg_it = newRegs.begin(); newReg_it != newRegs.end(); ++newReg_it) {
118             Offset newRegEndAddr = (*newReg_it)->getRegionSize() + (*newReg_it)->getRegionAddr();
119             if( newRegEndAddr > globalOffset ) {
120                 globalOffset = newRegEndAddr;
121             }
122         }
123     }
124
125     if( globalOffset == 0 ) {
126         err = Link_Location_Error;
127         errMsg = "failed to find location for new code and data.";
128         return NULL;
129     }
130
131     // Holds all necessary dependencies, as determined by resolveSymbols
132     vector<Symtab *> relocatableObjects;
133     if( !resolveSymbols(target, relocatableObjects, err, errMsg) ) {
134         return NULL;
135     }
136
137     // Lays out all relocatable files into a single contiguous block of data
138     if( !createLinkMap(target, relocatableObjects, globalOffset, lmap, err, errMsg) ) {
139         return NULL;
140     }
141
142     // Copies the data from the relocatable files into the new block of data
143     if( !addNewRegions(target, globalOffset, lmap) ) {
144         err = Storage_Allocation_Failure;
145         errMsg = "Failed to create new Regions in original binary";
146         return NULL;
147     }
148
149     // Print out the link map for debugging
150     rewrite_printf("Global Offset = 0x%lx\n", globalOffset);
151     if( sym_debug_rewrite ) {
152         lmap.printAll(cerr, globalOffset);
153         lmap.printBySymtab(cerr, relocatableObjects, globalOffset);
154     }
155
156     // Now that all symbols are at their final locations, compute and apply relocations
157     if( !applyRelocations(target, relocatableObjects, globalOffset, lmap, err, errMsg) ) {
158         if( lmap.allocatedData ) delete lmap.allocatedData;
159         return NULL;
160     }
161
162     rewrite_printf("\n*** Finished static linking\n\n");
163
164     rewrite_printf("END link map output\n");
165
166     err = No_Static_Link_Error;
167     errMsg = "";
168     return lmap.allocatedData;
169 }
170
171 /**
172  * Resolves undefined symbols in the specified Symtab object, usually due
173  * to the addition of new Symbols to the Symtab object. The target Symtab
174  * object must have a collection of Archives associated with it. These
175  * Archives will be searched for the defined versions of the undefined 
176  * symbols in the specified Symtab objects.
177  *
178  * target               the Symtab containing the undefined symbols
179  * relocatableObjects   populated by this function, this collection specifies
180  *                      all the Symtabs needed to ensure that the target has
181  *                      no undefined Symbols once the link is performed
182  */
183 bool emitElfStatic::resolveSymbols(Symtab *target, 
184         vector<Symtab *> &relocatableObjects,
185         StaticLinkError &err, string &errMsg) 
186 {
187     // Collection of Symtabs that currently need their symbols resolved
188     set<Symtab *> workSet;
189
190     // Collection of Symtabs that have already had their symbols resolved
191     // this is necessary to avoid errors related to circular dependencies
192     set<Symtab *> linkedSet;
193
194     set<string> excludeSymNames;
195     getExcludedSymbolNames(excludeSymNames);
196
197     // Establish list of libraries to search for symbols
198     vector<Archive *> libraries;
199     target->getLinkingResources(libraries);
200
201     // Add all relocatable files explicitly referenced by new symbols, these
202     // essentially fuel the linking process
203     set<Symtab *> explicitRefs;
204     target->getExplicitSymtabRefs(explicitRefs);
205
206     set<Symtab *>::iterator expObj_it;
207     for(expObj_it = explicitRefs.begin(); expObj_it != explicitRefs.end();
208             ++expObj_it) 
209     {
210         relocatableObjects.push_back(*expObj_it);
211         workSet.insert(*expObj_it);
212         linkedSet.insert(*expObj_it);
213     }
214
215     set<Symtab *>::iterator curObjFilePtr = workSet.begin();
216     while( curObjFilePtr != workSet.end() ) {
217         // Take an relocatable file off the working set
218         Symtab *curObjFile = *curObjFilePtr;
219         workSet.erase(curObjFile);
220
221         rewrite_printf("\n*** Resolving symbols for: %s\n\n",
222                 curObjFile->memberName().c_str());
223
224         // Build the map of symbols to their relocations
225         map<Symbol *, vector<relocationEntry *> > symToRels;
226         vector<Region *> allRegions;
227         curObjFile->getAllRegions(allRegions);
228
229         vector<Region *>::iterator region_it;
230         for(region_it = allRegions.begin(); region_it != allRegions.end();
231                 ++region_it)
232         {
233             vector<relocationEntry> &region_rels = (*region_it)->getRelocations();
234             vector<relocationEntry>::iterator rel_it;
235             for( rel_it = region_rels.begin(); rel_it != region_rels.end(); ++rel_it) {
236                 symToRels[rel_it->getDynSym()].push_back(&(*rel_it));
237             }
238         }
239
240         // Iterate over all undefined symbols, attempting to resolve them
241         vector<Symbol *> undefSyms;
242         curObjFile->getAllUndefinedSymbols(undefSyms);
243
244         vector<Symbol *>::iterator undefSym_it;
245         for(undefSym_it = undefSyms.begin(); undefSym_it != undefSyms.end();
246                 ++undefSym_it) 
247         {
248             Symbol *curUndefSym = *undefSym_it;
249
250             // Skip symbols that are don't cares
251             if( excludeSymNames.count(curUndefSym->getPrettyName()) ) continue;
252
253             if( !checkSpecialCaseSymbols(curObjFile, curUndefSym) ) {
254                 err = Symbol_Resolution_Failure;
255                 errMsg = "special case check failed for symbol: " +
256                     curUndefSym->getMangledName();
257                 return false;
258             }
259
260             Symbol *extSymbol = NULL;
261
262             // First, attempt to search the target for the symbol
263             if( !isStripped_ ) {
264                  vector<Symbol *> foundSyms;
265                  if( target->findSymbol(foundSyms, curUndefSym->getMangledName(),
266                     curUndefSym->getType()) )
267                  {
268                     if( foundSyms.size() > 1 ) {
269                         err = Symbol_Resolution_Failure;
270                         errMsg = "ambiguous symbol definition: " + 
271                             curUndefSym->getMangledName();
272                         return false;
273                     }
274
275                     extSymbol = foundSyms[0];
276
277                     rewrite_printf("Found external symbol %s in target with address = 0x%lx\n",
278                             extSymbol->getPrettyName().c_str(), extSymbol->getOffset());
279                  }
280             }
281
282             if( extSymbol == NULL ) {
283                 // search loaded libraries and add any new reloctable files
284                 vector<Archive *>::iterator lib_it;
285                 Symtab *containingSymtab = NULL;
286                 for(lib_it = libraries.begin(); lib_it != libraries.end(); ++lib_it) {
287                     Symtab *tmpSymtab;
288                     if( (*lib_it)->getMemberByGlobalSymbol(tmpSymtab, 
289                                 const_cast<string&>(curUndefSym->getMangledName())) ) 
290                     {
291                         /** 
292                          * The GNU approach is to use the symbol that is defined first
293                          * in the list of libraries (in the order specified to the linker)
294                          *
295                          * I am choosing to use that same behavior here.
296                          */
297                         containingSymtab = tmpSymtab;
298                         break;
299                     }else{
300                         /* Regarding duplicate symbols in Archives:
301                          *
302                          * gcc/ld appear to ignore the case where an Archive
303                          * contains the same symbol in different members and
304                          * chooses the symbol that occurs first in the
305                          * Archive's symbol table. This could produce
306                          * unexpected results so it is better to alert the user
307                          * of this error
308                          */
309                         if( Archive::getLastError() == Duplicate_Symbol ) {
310                             err = Symbol_Resolution_Failure;
311                             errMsg = Archive::printError(Duplicate_Symbol);
312                             return false;
313                         }
314                     }
315                 }
316
317                 if( containingSymtab != NULL ) {
318                     vector<Symbol *> foundSyms;
319                     if( containingSymtab->findSymbol(foundSyms, curUndefSym->getMangledName(),
320                         curUndefSym->getType()) )
321                     {
322                         if( foundSyms.size() > 1 ) {
323                             err = Symbol_Resolution_Failure;
324                             errMsg = "ambiguous symbol definition: " + 
325                                 curUndefSym->getMangledName();
326                             return false;
327                         }
328
329                         extSymbol = foundSyms[0];
330                         if( !linkedSet.count(containingSymtab) ) {
331                             // Consistency check 
332                             if( containingSymtab->getAddressWidth() != addressWidth_ ) {
333                                 err = Symbol_Resolution_Failure;
334                                 errMsg = "symbol (" + curUndefSym->getMangledName() +
335                                     ") found in relocatable file that is not compatible"
336                                     + " with the target binary";
337                                 return false;
338                             }
339
340                             relocatableObjects.push_back(containingSymtab);
341
342                             // Resolve all symbols for this new Symtab, if it hasn't already
343                             // been done
344
345                             workSet.insert(containingSymtab);
346                             linkedSet.insert(containingSymtab);
347                         }
348
349                         rewrite_printf("Found external symbol %s in module %s(%s)\n",
350                                 extSymbol->getPrettyName().c_str(),
351                                 containingSymtab->getParentArchive()->name().c_str(),
352                                 containingSymtab->memberName().c_str());
353                     }else{
354                         err = Symbol_Resolution_Failure;
355                         errMsg = "inconsistency found between archive's symbol table and member's symbol table";
356                         return false;   
357                     }
358                 }
359             }
360
361             if( extSymbol == NULL ) {
362                 // If it is a weak symbol, it isn't an error that the symbol wasn't resolved
363                 if( curUndefSym->getLinkage() == Symbol::SL_WEAK ) {
364                     continue;
365                 }
366
367                 err = Symbol_Resolution_Failure;
368                 errMsg = "failed to locate symbol '" + curUndefSym->getMangledName()
369                     + "' for module '" + curObjFile->memberName() + "'";
370                 return false;
371             }
372
373             // Store the found symbol with the related relocations
374             map<Symbol *, vector<relocationEntry *> >::iterator relMap_it;
375             relMap_it = symToRels.find(curUndefSym);
376             if( relMap_it != symToRels.end() ) {
377                 vector<relocationEntry *>::iterator rel_it;
378                 for(rel_it = relMap_it->second.begin(); rel_it != relMap_it->second.end();
379                         ++rel_it)
380                 {
381                     (*rel_it)->addDynSym(extSymbol);
382                 }
383             }   /* else
384                  *
385                  * Some libraries define a reference to a symbol and then never
386                  * use it in order to ensure that the module that defines the
387                  * symbol is linked. Therefore, it is not an error if a symbol doesn't
388                  * have a relocation.
389                  */
390         }
391
392         curObjFilePtr = workSet.begin();
393     }
394     
395     return true;
396 }
397
398 /**
399  * Given a collection of Symtab objects, combines the code, data, bss and
400  * other miscellaneous Regions into groups and places them in a new block
401  * of data.
402  * 
403  * Allocates COMMON symbols in the collection of Symtab objects
404  * as bss
405  *
406  * Creates a new TLS initialization image, combining the target image
407  * and the image that exists in the collection of Symtab objects
408  *
409  * Creates a GOT used for indirect memory accesses that is required by some
410  * relocations
411  *
412  * Creates a new global constructor and/or destructor table if necessary
413  *
414  * target               New code/data/etc. will be linked into this Symtab
415  * relocatableObjects   The new code/data/etc.
416  * globalOffset         The location of the new block of data in the target
417  */
418 bool emitElfStatic::createLinkMap(Symtab *target,
419         vector<Symtab *> &relocatableObjects, 
420         Offset & globalOffset, 
421         LinkMap &lmap,
422         StaticLinkError &err, string &errMsg) 
423 {
424     rewrite_printf("\n*** Allocating storage for relocatable objects\n\n");
425
426     // Create a temporary region for COMMON storage
427     Region *commonStorage;
428
429     // Used to create a new COMMON block
430     multimap<Offset, Symbol *> commonAlignments;
431     Offset commonRegionAlign = 0;
432
433     // Collect all Regions that should be allocated in the new data block
434     vector<Symtab *>::iterator obj_it;
435     for(obj_it = relocatableObjects.begin(); obj_it != relocatableObjects.end(); ++obj_it) {
436         vector<Region *> regs;
437         if( !(*obj_it)->getAllRegions(regs) ) {
438             err = Storage_Allocation_Failure;
439             errMsg = "failed to locate regions in relocatable object";
440             return false;
441         }
442
443         vector<Region *>::iterator reg_it;
444         for(reg_it = regs.begin(); reg_it != regs.end(); ++reg_it) {
445             string regionName = (*reg_it)->getRegionName();
446             if( (*reg_it)->isLoadable() && (*reg_it)->getRegionSize() > 0) {
447                 if( (*reg_it)->isTLS() ) {
448                     switch((*reg_it)->getRegionType()) {
449                         case Region::RT_DATA:
450                         case Region::RT_BSS:
451                             lmap.tlsRegions.push_back(*reg_it);
452                             // Determine alignment of combined region
453                             if( (*reg_it)->getMemAlignment() > lmap.tlsRegionAlign ) {
454                                 lmap.tlsRegionAlign = (*reg_it)->getMemAlignment();
455                             }
456                             break;
457                         default:
458                             // ignore any other regions
459                             break;
460                     }
461                 }else if( isConstructorRegion(*reg_it) ) {
462                     lmap.newCtorRegions.push_back(*reg_it);
463                     if( (*reg_it)->getMemAlignment() > lmap.ctorRegionAlign ) {
464                         lmap.ctorRegionAlign = (*reg_it)->getMemAlignment();
465                     }
466                 }else if( isDestructorRegion(*reg_it) ) {
467                     lmap.newDtorRegions.push_back(*reg_it);
468                     if( (*reg_it)->getMemAlignment() > lmap.dtorRegionAlign ) {
469                         lmap.dtorRegionAlign = (*reg_it)->getMemAlignment();
470                     }
471                 }else{
472                     switch((*reg_it)->getRegionType()) {
473                         case Region::RT_TEXT:
474                             lmap.codeRegions.push_back(*reg_it);
475                             // Determine alignment of combined region
476                             if( (*reg_it)->getMemAlignment() > lmap.codeRegionAlign ) {
477                                 lmap.codeRegionAlign = (*reg_it)->getMemAlignment();
478                             }
479                             break;
480                         case Region::RT_DATA:
481                             lmap.dataRegions.push_back(*reg_it);
482                             // Determine alignment of combined region
483                             if( (*reg_it)->getMemAlignment() > lmap.dataRegionAlign ) {
484                                 lmap.dataRegionAlign = (*reg_it)->getMemAlignment();
485                             }
486                             break;
487                         case Region::RT_BSS:
488                             lmap.bssRegions.push_back(*reg_it);
489                             // Determine alignment of combined region
490                             if( (*reg_it)->getMemAlignment() > lmap.bssRegionAlign ) {
491                                 lmap.bssRegionAlign = (*reg_it)->getMemAlignment();
492                             }
493                             break;
494                         case Region::RT_TEXTDATA:
495                             lmap.codeRegions.push_back(*reg_it);
496                             // Determine alignment of combined region
497                             if( (*reg_it)->getMemAlignment() > lmap.codeRegionAlign ) {
498                                 lmap.codeRegionAlign = (*reg_it)->getMemAlignment();
499                             }
500                             break;
501                         default:
502                             // skip other regions
503                             continue;
504                     }
505                 }
506
507                 // Find symbols that need to be put in the GOT
508                 vector<relocationEntry> &region_rels = (*reg_it)->getRelocations();
509                 vector<relocationEntry>::iterator rel_it;
510                 for( rel_it = region_rels.begin(); rel_it != region_rels.end(); ++rel_it) {
511                     if( isGOTRelocation(rel_it->getRelType()) ) {
512                         // initialize mapping
513                         lmap.gotSymbols.insert(make_pair(rel_it->getDynSym(), 0));
514                     }
515                 }
516             }
517         }
518
519         vector<Symbol *> definedSyms;
520         if( (*obj_it)->getAllDefinedSymbols(definedSyms) ) {
521             vector<Symbol *>::iterator sym_it;
522             for(sym_it = definedSyms.begin(); sym_it != definedSyms.end(); ++sym_it) {
523                 // Note: the assumption is made that a Symbol cannot 
524                 // be both TLS and COMMON
525                 if( (*sym_it)->isCommonStorage() ) {
526                     // For a symbol in common storage, the offset/value is the alignment
527                     commonAlignments.insert(make_pair((*sym_it)->getOffset(), *sym_it));
528
529                     // The alignment of a COMMON Region is the maximum alignment
530                     // needed by one of its symbols
531                     if( (*sym_it)->getOffset() > commonRegionAlign ) {
532                         commonRegionAlign = (*sym_it)->getOffset();
533                     }
534                 }else if( (*sym_it)->getType() == Symbol::ST_TLS ) {
535                     lmap.tlsSymbols.push_back(*sym_it);
536                 }
537             }
538         }
539     }
540
541     // Determine how all the Regions in the relocatable objects will be 
542     // placed in the rewritten target
543     Offset currentOffset = 0;
544
545     // Allocate code regions 
546     
547     // Since this is the first new Region, the actual globalOffset should be 
548     // the passed globalOffset plus the padding for this Region
549     lmap.codeRegionOffset = currentOffset;
550     globalOffset += computePadding(globalOffset + lmap.codeRegionOffset,
551             lmap.codeRegionAlign);
552
553     currentOffset = layoutRegions(lmap.codeRegions, lmap.regionAllocs,
554             lmap.codeRegionOffset, globalOffset);
555     if( currentOffset == ~0UL ) {
556         err = Storage_Allocation_Failure;
557         errMsg = "assumption failed while creating link map";
558         return false;
559     }
560     lmap.codeSize = currentOffset - lmap.codeRegionOffset;
561
562     // Allocate data regions 
563     lmap.dataRegionOffset = currentOffset;
564     lmap.dataRegionOffset += computePadding(globalOffset + lmap.dataRegionOffset,
565             lmap.dataRegionAlign);
566     currentOffset = layoutRegions(lmap.dataRegions, lmap.regionAllocs, 
567             lmap.dataRegionOffset, globalOffset);
568     if( currentOffset == ~0UL ) {
569         err = Storage_Allocation_Failure;
570         errMsg = "assumption failed while creating link map";
571         return false;
572     }
573     lmap.dataSize = currentOffset - lmap.dataRegionOffset;
574
575     // Allocate space for a GOT Region, if necessary
576     lmap.gotSize = getGOTSize(lmap);
577     if( lmap.gotSize > 0 ) {
578         lmap.gotRegionAlign = getGOTAlign(lmap);
579         currentOffset += computePadding(globalOffset + currentOffset,
580                 lmap.gotRegionAlign);
581         lmap.gotRegionOffset = currentOffset;
582         currentOffset += lmap.gotSize;
583     }
584
585     /* 
586      * Find current TLS Regions in target, also check for multiple TLS Regions
587      * of the same type => knowing how to construct the TLS image would be
588      * undefined for multiple TLS Regions of the same type
589      *
590      * Find current constructor Regions and destructor Regions.
591      */
592     Region *dataTLS = NULL, *bssTLS = NULL;
593     lmap.tlsSize = 0;
594     
595     vector<Region *> regions;
596     if( !target->getAllRegions(regions) ) {
597         err = Storage_Allocation_Failure;
598         errMsg = "failed to retrieve regions from target";
599         return false;
600     }
601     
602     vector<Region *>::iterator reg_it;
603     for(reg_it = regions.begin(); reg_it != regions.end(); ++reg_it) {
604         if( (*reg_it)->isTLS() ) {
605             if( (*reg_it)->getRegionType() == Region::RT_DATA ) {
606                 if( dataTLS != NULL ) {
607                     err = Storage_Allocation_Failure;
608                     errMsg = "found more than one TLS data region";
609                     return false;
610                 }
611                 dataTLS = *reg_it;
612                 lmap.tlsSize += dataTLS->getRegionSize();
613                 if( dataTLS->getMemAlignment() > lmap.tlsRegionAlign ) {
614                     lmap.tlsRegionAlign = dataTLS->getMemAlignment();
615                 }
616             }else if( (*reg_it)->getRegionType() == Region::RT_BSS ) {
617                 if( bssTLS != NULL ) {
618                     err = Storage_Allocation_Failure;
619                     errMsg = "found more than one TLS bss region";
620                     return false;
621                 }
622                 bssTLS = *reg_it;
623                 lmap.tlsSize += bssTLS->getRegionSize();
624                 if( bssTLS->getMemAlignment() > lmap.tlsRegionAlign ) {
625                     lmap.tlsRegionAlign = bssTLS->getMemAlignment();
626                 }
627             }
628         }else if( isConstructorRegion(*reg_it) ) {
629             lmap.originalCtorRegion = *reg_it;
630         }else if( isDestructorRegion(*reg_it) ){
631             lmap.originalDtorRegion = *reg_it;
632         }
633     }
634
635     // Allocate the new TLS region, if necessary
636     if( lmap.tlsRegions.size() > 0 ) {
637         lmap.tlsRegionOffset = currentOffset;
638
639         lmap.tlsRegionOffset += computePadding(lmap.tlsRegionOffset + globalOffset,
640                 lmap.tlsRegionAlign);
641         currentOffset = layoutTLSImage(globalOffset, dataTLS, bssTLS, lmap);
642
643         if( currentOffset == lmap.tlsRegionOffset ) {
644             err = Storage_Allocation_Failure;
645             errMsg = "failed to create TLS initialization image";
646             return false;
647         }
648
649         // The size of this Region is counted twice
650         if( dataTLS != NULL ) {
651             lmap.tlsSize -= dataTLS->getRegionSize();
652         }
653
654         lmap.tlsSize += currentOffset - lmap.tlsRegionOffset;
655
656         // Adjust offsets for all existing TLS symbols, as their offset
657         // in the TLS block could have changed
658         vector<Symbol *> definedSyms;
659         if( target->getAllDefinedSymbols(definedSyms) ) {
660             vector<Symbol *>::iterator sym_it;
661             for(sym_it = definedSyms.begin(); sym_it != definedSyms.end(); ++sym_it) {
662                 if( (*sym_it)->getType() == Symbol::ST_TLS ) {
663
664                     map<Region *, LinkMap::AllocPair>::iterator result;
665                     result = lmap.regionAllocs.find((*sym_it)->getRegion());
666
667                     if( result != lmap.regionAllocs.end() ) {
668                         Offset regionOffset = result->second.second;
669                         Offset symbolOffset = (*sym_it)->getOffset();
670
671                         symbolOffset += regionOffset - lmap.tlsRegionOffset;
672                         symbolOffset = adjustTLSOffset(symbolOffset, lmap.tlsSize);
673
674                         (*sym_it)->setOffset(symbolOffset);
675                     }
676                 }
677             }
678         }
679
680         cleanupTLSRegionOffsets(lmap.regionAllocs, dataTLS, bssTLS);
681         if( bssTLS != NULL ) lmap.tlsSize -= bssTLS->getRegionSize();
682
683         hasRewrittenTLS_ = true;
684     }else{
685         // Adjust offsets for all existing TLS symbols, as the offsets required
686         // by relocation processing are TLS variant dependent
687         vector<Symbol *> definedSyms;
688         if( target->getAllDefinedSymbols(definedSyms) ) {
689             vector<Symbol *>::iterator sym_it;
690             for(sym_it = definedSyms.begin(); sym_it != definedSyms.end(); ++sym_it) {
691                 if( (*sym_it)->getType() == Symbol::ST_TLS ) {
692                     Offset symbolOffset = (*sym_it)->getOffset();
693                     symbolOffset = adjustTLSOffset(symbolOffset, lmap.tlsSize);
694                     (*sym_it)->setOffset(symbolOffset);
695                 }
696             }
697         }
698
699         // The size of the original TLS image is no longer needed
700         lmap.tlsSize = 0;
701     }
702
703     // Allocate space for a new constructor region, if necessary
704     if( lmap.newCtorRegions.size() > 0 ) {
705         lmap.ctorRegionOffset = currentOffset;
706         lmap.ctorRegionOffset += computePadding(globalOffset + lmap.ctorRegionOffset,
707                 lmap.ctorRegionAlign);
708         currentOffset = layoutNewCtorRegion(lmap);
709         if( currentOffset == ~0UL ) {
710             err = Storage_Allocation_Failure;
711             errMsg = "assumption failed while creating link map";
712             return false;
713         }
714         lmap.ctorSize = currentOffset - lmap.ctorRegionOffset;
715     }
716
717     // Allocate space for a new destructor region, if necessary
718     if( lmap.newDtorRegions.size() > 0 ) {
719         lmap.dtorRegionOffset = currentOffset;
720         lmap.dtorRegionOffset += computePadding(globalOffset + lmap.dtorRegionOffset,
721                 lmap.dtorRegionAlign);
722         currentOffset = layoutNewDtorRegion(lmap);
723         if( currentOffset == ~0UL ) {
724             err = Storage_Allocation_Failure;
725             errMsg = "assumption failed while creating link map";
726             return false;
727         }
728         lmap.dtorSize = currentOffset - lmap.dtorRegionOffset;
729     }
730
731     /* Combine all COMMON symbols into a single block */
732     if( commonAlignments.size() > 0 ) {
733         // The alignment of the COMMON Region could be the alignment 
734         // for the bss Region
735         if( commonRegionAlign > lmap.bssRegionAlign ) {
736             lmap.bssRegionAlign = commonRegionAlign;
737         }
738
739         // The following approach to laying out the COMMON symbols is greedy and
740         // suboptimal (in terms of space in the target), but it's quick...
741         Offset commonOffset = currentOffset;
742
743         // Make sure the COMMON Region's alignment is satisfied
744         commonOffset += computePadding(globalOffset + commonOffset, lmap.bssRegionAlign);
745         Offset commonStartOffset = commonOffset;
746
747         multimap<Offset, Symbol *>::iterator align_it;
748         for(align_it = commonAlignments.begin(); 
749             align_it != commonAlignments.end(); ++align_it)
750         {
751             commonOffset += computePadding(commonOffset, align_it->first);
752
753             // Update symbol with place in new linked data
754             align_it->second->setOffset(globalOffset + commonOffset);
755             commonOffset += align_it->second->getSize();
756         }
757
758         // Update the size of COMMON storage
759         if( commonAlignments.size() > 0 ) {
760             // A COMMON region is not really complete
761             Region::createRegion(commonStorage, 0, Region::RP_RW,
762                     Region::RT_BSS, commonOffset - commonStartOffset, 0, 
763                     commonOffset - commonStartOffset,
764                     DEFAULT_COM_NAME, NULL, true, false, commonRegionAlign);
765             lmap.bssRegions.push_front(commonStorage);
766         }
767     }
768
769     // Allocate bss regions
770     lmap.bssRegionOffset = currentOffset;
771     lmap.bssRegionOffset += computePadding(globalOffset + lmap.bssRegionOffset,
772             lmap.bssRegionAlign);
773     currentOffset = layoutRegions(lmap.bssRegions, lmap.regionAllocs,
774             lmap.bssRegionOffset, globalOffset);
775     if( currentOffset == ~0UL ) {
776         err = Storage_Allocation_Failure;
777         errMsg = "assumption failed while creating link map";
778         return false;
779     }
780     lmap.bssSize = currentOffset - lmap.bssRegionOffset;
781
782     // Update all relevant symbols with their offsets in the new target
783     for(obj_it = relocatableObjects.begin(); obj_it != relocatableObjects.end(); ++obj_it) {
784         vector<Symbol *> definedSyms;
785         if( (*obj_it)->getAllDefinedSymbols(definedSyms) ) {
786             vector<Symbol *>::iterator sym_it;
787             for(sym_it = definedSyms.begin(); sym_it != definedSyms.end(); ++sym_it) {
788                 if(    !(*sym_it)->isCommonStorage() 
789                     && (*sym_it)->getType() != Symbol::ST_TLS) 
790                 {
791                     map<Region *, LinkMap::AllocPair>::iterator result;
792                     result = lmap.regionAllocs.find((*sym_it)->getRegion());
793                     if( result != lmap.regionAllocs.end() ) {
794                         Offset regionOffset = result->second.second;
795                         Offset symbolOffset = (*sym_it)->getOffset();
796
797                         symbolOffset += globalOffset + regionOffset;
798
799                         (*sym_it)->setOffset(symbolOffset);
800                     }
801                 }
802             }
803         }
804     }
805
806     /* ASSUMPTION
807      * At this point, the layout of the new regions is fixed, and
808      * addresses of all symbols are known (excluding Constructor/Destructor Regions)
809      */
810
811     // Allocate storage space
812     lmap.allocatedData = new char[currentOffset];
813     lmap.allocatedSize = currentOffset;
814
815     // Copy the Regions from the relocatable objects into the new storage space
816     copyRegions(lmap);
817
818     return true;
819 }
820
821 /**
822  * Lays out the specified regions into the specified storage space
823  */
824 Offset emitElfStatic::layoutRegions(deque<Region *> &regions, 
825         map<Region *, LinkMap::AllocPair> &regionAllocs,
826         Offset currentOffset, Offset globalOffset) 
827 {
828     Offset retOffset = currentOffset;
829
830     deque<Region *>::iterator copyReg_it;
831     for(copyReg_it = regions.begin(); copyReg_it != regions.end(); ++copyReg_it) {
832         // Skip empty Regions
833         if( (*copyReg_it)->getRegionSize() == 0 ) continue;
834
835         // Make sure the Region is aligned correctly in the new aggregate Region
836         Offset padding = computePadding(globalOffset + retOffset, (*copyReg_it)->getMemAlignment());
837         retOffset += padding;
838
839         // Set up mapping for a new Region in the specified storage space
840         pair<map<Region *, LinkMap::AllocPair>::iterator, bool> result;
841         result = regionAllocs.insert(make_pair(*copyReg_it, make_pair(padding, retOffset)));
842
843         // If the map already contains this Region, this is a logic error
844         if( !result.second ) {
845             retOffset = ~0UL;
846             break;
847         }
848                        
849         retOffset += (*copyReg_it)->getRegionSize();
850     }
851
852     return retOffset;
853 }
854
855 // Add new Regions to the target 
856 bool emitElfStatic::addNewRegions(Symtab *target, Offset globalOffset, LinkMap &lmap) {
857     char *newTargetData = lmap.allocatedData;
858     
859     if( lmap.codeSize > 0 ) {
860         target->addRegion(globalOffset + lmap.codeRegionOffset,
861                 reinterpret_cast<void *>(&newTargetData[lmap.codeRegionOffset]),
862                 static_cast<unsigned int>(lmap.codeSize),
863                 CODE_NAME, Region::RT_TEXT, true, lmap.codeRegionAlign);
864     }
865
866     if( lmap.dataSize > 0 ) {
867         target->addRegion(globalOffset + lmap.dataRegionOffset, 
868                 reinterpret_cast<void *>(&newTargetData[lmap.dataRegionOffset]),
869                 static_cast<unsigned int>(lmap.dataSize),
870                 DATA_NAME, Region::RT_DATA, true, lmap.dataRegionAlign);
871     }
872
873     if( lmap.gotSize > 0 ) {
874         buildGOT(lmap);
875
876         target->addRegion(globalOffset + lmap.gotRegionOffset,
877                 reinterpret_cast<void *>(&newTargetData[lmap.gotRegionOffset]),
878                 static_cast<unsigned int>(lmap.gotSize),
879                 GOT_NAME, Region::RT_DATA, true, lmap.gotRegionAlign);
880     }
881
882     if( lmap.tlsSize > 0 ) {
883         target->addRegion(globalOffset + lmap.tlsRegionOffset,
884                 reinterpret_cast<void *>(&newTargetData[lmap.tlsRegionOffset]),
885                 static_cast<unsigned int>(lmap.tlsSize),
886                 TLS_DATA_NAME, Region::RT_DATA, true, lmap.tlsRegionAlign, true);
887     }
888
889     if( lmap.newCtorRegions.size() > 0 ) {
890         if( !createNewCtorRegion(lmap) ) {
891             return false;
892         }
893
894         target->addRegion(globalOffset + lmap.ctorRegionOffset,
895                 reinterpret_cast<void *>(&newTargetData[lmap.ctorRegionOffset]),
896                 static_cast<unsigned int>(lmap.ctorSize),
897                 CTOR_NAME, Region::RT_DATA, true, 
898                 lmap.ctorRegionAlign);
899     }
900
901     if( lmap.newDtorRegions.size() > 0 ) {
902         if( !createNewDtorRegion(lmap) ) {
903             return false;
904         }
905
906         target->addRegion(globalOffset + lmap.dtorRegionOffset,
907                 reinterpret_cast<void *>(&newTargetData[lmap.dtorRegionOffset]),
908                 static_cast<unsigned int>(lmap.dtorSize),
909                 DTOR_NAME, Region::RT_DATA, true,
910                 lmap.dtorRegionAlign);
911     }
912
913     if( lmap.bssSize > 0 ) {
914         target->addRegion(globalOffset + lmap.bssRegionOffset, 
915                 reinterpret_cast<void *>(&newTargetData[lmap.bssRegionOffset]),
916                 static_cast<unsigned int>(lmap.bssSize),
917                 BSS_NAME, Region::RT_BSS, true, lmap.bssRegionAlign);
918     }
919
920     return true;
921 }
922
923 void emitElfStatic::copyRegions(LinkMap &lmap) {
924     char *targetData = lmap.allocatedData;
925
926     map<Region *, LinkMap::AllocPair>::iterator regOff_it;
927     for(regOff_it = lmap.regionAllocs.begin(); regOff_it != lmap.regionAllocs.end(); ++regOff_it) {
928         Region *depRegion = regOff_it->first;
929         Offset regionOffset = regOff_it->second.second;
930         Offset padding = regOff_it->second.first;
931
932         // Copy in the Region data
933         char *rawRegionData = reinterpret_cast<char *>(depRegion->getPtrToRawData());
934
935         if( !depRegion->isBSS() ) {
936             memcpy(&targetData[regionOffset], rawRegionData, depRegion->getRegionSize());
937         }
938
939         // Set the padded space to a meaningful value
940         memset(&targetData[regionOffset - padding], getPaddingValue(depRegion->getRegionType()), padding);
941     }
942 }
943
944 inline
945 Offset emitElfStatic::computePadding(Offset candidateOffset, Offset alignment) {
946     Offset padding = 0;
947     if( alignment != 0 && (candidateOffset % alignment) != 0 ) {
948         padding = alignment - (candidateOffset % alignment);
949     }
950     return padding;
951 }
952
953 /**
954  * Given a collection of newly allocated regions in the specified storage space, 
955  * computes relocations and places the values at the location specified by the
956  * relocation entry (stored with the Regions)
957  */
958 bool emitElfStatic::applyRelocations(Symtab *target, vector<Symtab *> &relocatableObjects,
959         Offset globalOffset, LinkMap &lmap,
960         StaticLinkError &err, string &errMsg) 
961 {
962     // Iterate over all relocations in all .o's
963     vector<Symtab *>::iterator depObj_it;
964     for(depObj_it = relocatableObjects.begin(); depObj_it != relocatableObjects.end(); ++depObj_it) {
965         vector<Region *> allRegions;
966         (*depObj_it)->getAllRegions(allRegions);
967
968         rewrite_printf("\n*** Computing relocations for: %s\n\n",
969                 (*depObj_it)->memberName().c_str());
970
971         // Relocations are stored with the Region to which they will be applied
972         // As an ELF example, .rel.text relocations are stored with the Region .text
973         vector<Region *>::iterator region_it;
974         for(region_it = allRegions.begin(); region_it != allRegions.end(); ++region_it) {
975             // Only compute relocations for the new Regions
976             map<Region *, LinkMap::AllocPair>::iterator result;
977             result = lmap.regionAllocs.find(*region_it);
978             if( result != lmap.regionAllocs.end() ) {
979                 rewrite_printf("\nComputing relocations to apply to region: %s\n\n",
980                         (*region_it)->getRegionName().c_str());
981                 Offset regionOffset = result->second.second;
982
983                 vector<relocationEntry> region_rels = (*region_it)->getRelocations();
984
985                 vector<relocationEntry>::iterator rel_it;
986                 for(rel_it = region_rels.begin(); rel_it != region_rels.end(); ++rel_it) {
987                     // Compute destination of relocation
988                     Offset dest = regionOffset + rel_it->rel_addr();
989                     Offset relOffset = globalOffset + dest;
990
991                     char *targetData = lmap.allocatedData;
992                     if( !archSpecificRelocation(targetData, *rel_it, dest, 
993                                 relOffset, globalOffset, lmap, errMsg) ) 
994                     {
995                         err = Relocation_Computation_Failure;
996                         errMsg = "Failed to compute relocation: " + errMsg;
997                         return false;
998                     }
999                 }
1000             }
1001         }
1002     }
1003
1004     rewrite_printf("\n*** Computing relocations added to target.\n\n");
1005
1006     // Compute relocations added to static target 
1007     vector<Region *> allRegions;
1008     target->getAllRegions(allRegions);
1009
1010     vector<Region *>::iterator reg_it;
1011     for(reg_it = allRegions.begin(); reg_it != allRegions.end(); ++reg_it) {
1012         char *regionData = reinterpret_cast<char *>((*reg_it)->getPtrToRawData());
1013         
1014         vector<relocationEntry>::iterator rel_it;
1015         for(rel_it = (*reg_it)->getRelocations().begin();
1016             rel_it != (*reg_it)->getRelocations().end();
1017             ++rel_it)
1018         {
1019             if( !archSpecificRelocation(regionData, *rel_it,
1020                         rel_it->rel_addr() - (*reg_it)->getRegionAddr(),
1021                         rel_it->rel_addr(), globalOffset, lmap, errMsg) )
1022             {
1023                 err = Relocation_Computation_Failure;
1024                 errMsg = "Failed to compute relocation: " + errMsg;
1025                 return false;
1026             }
1027         }
1028     }
1029
1030     return true;
1031 }
1032
1033 string emitElfStatic::printStaticLinkError(StaticLinkError err) {
1034     switch(err) {
1035         CASE_RETURN_STR(No_Static_Link_Error);
1036         CASE_RETURN_STR(Symbol_Resolution_Failure);
1037         CASE_RETURN_STR(Relocation_Computation_Failure);
1038         CASE_RETURN_STR(Storage_Allocation_Failure);
1039         default:
1040             return "unknown error";
1041     }
1042 }
1043
1044 bool emitElfStatic::hasRewrittenTLS() const {
1045     return hasRewrittenTLS_;
1046 }
1047
1048 /** The following functions are all somewhat architecture-specific */
1049
1050 /* TLS Info
1051  *
1052  * TLS handling is pseudo-architecture dependent. The implementation of the TLS
1053  * functions depend on the implementation of TLS on a specific architecture.
1054  *
1055  * The following material is documented in more detail in the 
1056  * "ELF Handling For TLS" white paper. According to this paper, their are 
1057  * two variants w.r.t. creating a TLS initialization image.
1058  *
1059  * ======================
1060  *
1061  * The first is:
1062  *
1063  *            beginning of image
1064  *            |
1065  *            V                              high address
1066  * +----+-----+----------+---------+---------+
1067  * |    | TCB | image 1  | image 2 | image 3 |
1068  * +----+---- +----------+---------+---------+
1069  *
1070  * where TCB = thread control block, and each image is the
1071  * TLS initialization image for a module (in this context an executable or 
1072  * shared library).
1073  *
1074  * ========================
1075  *
1076  * The second is:
1077  * 
1078  * beginning of image
1079  * | 
1080  * V                                        high address
1081  * +---------+----------+---------+---------+
1082  * | image 3 | image 2  | image 1 |  TCB    |
1083  * +---------+----------+---------+---------+
1084  *
1085  * An image is:
1086  *
1087  * +--------+--------+
1088  * | DATA   |  BSS   |
1089  * +--------+--------+
1090  *
1091  * ==========================
1092  * 
1093  * These are the two variants one would see when working with ELF files. So, an
1094  * architecture either uses variant 1 or 2.
1095  */
1096
1097 Offset emitElfStatic::tlsLayoutVariant1(Offset, Region *, Region *, LinkMap &)
1098 {
1099     assert(!"Layout of TLS initialization image, Variant 1, currently not implemented.");
1100     return 0;
1101 }
1102
1103 Offset emitElfStatic::tlsLayoutVariant2(Offset globalOffset, Region *dataTLS, Region *bssTLS,
1104         LinkMap &lmap)
1105 {
1106     // The original init. image needs to remain in the image 1 slot because
1107     // the TLS data references are relative to that position
1108     unsigned long tlsBssSize = 0;
1109     if( dataTLS != NULL ) lmap.tlsRegions.push_back(dataTLS);
1110     if( bssTLS != NULL ) tlsBssSize = bssTLS->getRegionSize();
1111
1112     // Create the image, note new BSS regions are expanded
1113     Offset endOffset = layoutRegions(lmap.tlsRegions,
1114             lmap.regionAllocs, lmap.tlsRegionOffset, globalOffset);
1115     if( endOffset == ~0UL ) return lmap.tlsRegionOffset;
1116     Offset adjustedEnd = endOffset - lmap.tlsRegionOffset;
1117
1118     // This is necessary so the offsets of existing TLS symbols can be updated
1119     // in a uniform, architecture independent way
1120     if( bssTLS != NULL ) {
1121         if( dataTLS != NULL ) {
1122             lmap.regionAllocs.insert(make_pair(bssTLS, lmap.regionAllocs[dataTLS]));
1123         }else{
1124             lmap.regionAllocs.insert(make_pair(bssTLS, make_pair(1, endOffset)));
1125         }
1126     }
1127
1128     // Update the symbols with their offsets relative to the TCB address
1129     vector<Symbol *>::iterator sym_it;
1130     for(sym_it = lmap.tlsSymbols.begin(); sym_it != lmap.tlsSymbols.end(); ++sym_it) {
1131         map<Region *, LinkMap::AllocPair>::iterator result;
1132         result = lmap.regionAllocs.find((*sym_it)->getRegion());
1133
1134         // It is a programming error if the region for the symbol
1135         // was not passed to this function
1136         if( result == lmap.regionAllocs.end() ) {
1137             endOffset = lmap.tlsRegionOffset;
1138             break;
1139         }
1140
1141         Offset regionOffset = result->second.second;
1142         Offset symbolOffset = (*sym_it)->getOffset();
1143         symbolOffset += (regionOffset - lmap.tlsRegionOffset) - (adjustedEnd + tlsBssSize);
1144         (*sym_it)->setOffset(symbolOffset);
1145     }
1146
1147     return endOffset;
1148 }
1149
1150 // Note: Variant 1 does not require any modifications, so a separate
1151 // function is not necessary
1152 Offset emitElfStatic::tlsAdjustVariant2(Offset curOffset, Offset tlsSize) {
1153     // For Variant 1, offsets relative to the TCB need to be negative
1154     Offset retOffset = curOffset;
1155     retOffset -= tlsSize;
1156     return retOffset;
1157 }
1158
1159 void emitElfStatic::tlsCleanupVariant1(map<Region *, LinkMap::AllocPair> &,
1160         Region *, Region *) 
1161 {
1162     assert(!"Cleanup of TLS Regions from allocation map currently unimplemented");
1163 }
1164
1165 void emitElfStatic::tlsCleanupVariant2(map<Region *, LinkMap::AllocPair> &regionAllocs,
1166         Region *, Region *bssTLS) 
1167 {
1168     // Existing BSS TLS region is not copied to the new target data
1169     if( bssTLS != NULL ) regionAllocs.erase(bssTLS);
1170 }