4 months agoFixes for AbsRegion and jump table index slicing involving global variable (#695)
Xiaozhu Meng [Thu, 23 Jan 2020 21:10:02 +0000 (15:10 -0600)]
Fixes for AbsRegion and jump table index slicing involving global variable (#695)

1. When converting AbsRegion, PC on x86/64 should use post-instruction address

2. During jump table index slicing, we should only read read-only memory locations.
   Note that we still allow reading writable memory locations during jump table reads
   as jump tables may be put in writable sections by compilers

4 months agoParallel DWARF parsing and improved parallel code parsing (#651)
Xiaozhu Meng [Mon, 13 Jan 2020 21:36:40 +0000 (15:36 -0600)]
Parallel DWARF parsing and improved parallel code parsing (#651)

* changes for parallelizing symtabapi

* Tweaks to use OpenMP (still one last reducer left)

* Mark a false race in Type.C.
    std::call_once has a barrier at the end, so anything that happens inside is visible to anything that happens after.

* Replace the Cilk reducer with an OpenMP reduction

* Remove some dead code, and move the reducer into the source file.

* Mark the last race so far, move VG macros to a separate file.

* Annotate the two core locks, negating a lot of the race reports
    Implementation is not great though, I moved mcs_init to be a real function call.
    There might be a better way to do this, will investigate at some point.

* Very awkwardly annotate a parallel hashmap by key. Consider implementing better magic.

* Wrap the callback in `omp critical`, to make it parallel-safe no matter what happens.

* Swap out the vector for a TBB concurrent_queue.

* Remove some unnessesary annotations, using a proper OpenMP handles them.

* Revert the core lock annotations, they don't actually really work.

* Macro-replace the locks with boost equivalents. Revert this commit later once the testing is complete, or refactor it fully out.

* Replace the 1-entry cache with a vector that expands with the number of threads.

* Reuse the DwarfWalker between loop iterations, to save some work

* Use the standard allocator, so that Valgrind can track it properly

* Silence some warnings

* Replace the write with a CAS, letting Valgrind mostly ignore it.

* Strengthen the condition, its good enough for now.

* Re-annotate the hash map similar to an RW lock (which it technically is)

* Nearly fully fix the function-static annotations, using a very small constructor.

* Add libc++ annotations to vgannotations, and shift includes around to make them work

* Actually do the annotations right. I learned things today.

* Tell Helgrind to ignore a few more things

* Disable checking on everything

* A few tweaks to annotation

* Add h-b arcs to the pfq rwlock

* Apparently vectors didn't work like I thought they did. Whoops.

* Elfutils is now more thread-safe, and fix the annotations to keep DRD quiet.

* Make vgannotations.h local to Dyninst, and do something C++ for the lazy inits.

* Make the custom locks first-class C++ types, and compatible with C++17's syntax.

* Replace the lock implementations with more reasonable alternatives.

* Move the annotation to handle the case where std::pair does the write

* Unify all the TBB types under a Dyninst-tagged namespace, to permit refactor

Also fix a few whitespace errors near affected lines.

* Move concurrent_hash_map annotations into the unified class.

* Shift the thread-local stuff into a template class

* Wiggle the parallel loops and fine-grain the locking for a performance boost.

* Use Boost's call_once to try and be a bit more portable

* Put some parallelism into DwarfFrameParser. Fixes blue42u/dyninst#18 and blue42u/dyninst#19

* Use atomics for the reference counting. Fixes blue42u/dyninst#4.

* Add an extra lock to the StringTable, and use it to mediate access to the internals. Fixes blue42u/dyninst#20.

* Add a lock for inlines management, fixes blue42u/dyninst#22.

* Add a lock to the function frame vectors, fixes blue42u/dyninst#21.

* Replace a map+lock with a proper parallel hashmap for performance.

* Replace a mutex'd multi_index_container with a series of concurrent_hash_maps.

* Remove the comments that were left over from Cilkscreen race detection.

...I meant to do this a long time ago...

* Fix a number of minor issues, and one possibly important typo.

* Use RAII-style classes when handling the locks.

* Add a few defines for when Valgrind annotations are turned off.

* Parallelize some stuff in Object, makes the loading of files a little faster.

* Swap out some hash_maps for their concurrent forms, more easy parallelism.

* Actually do the parsing properly, and add a lock where it was needed.

* Adding more parallelism.

* Get rid of unnecessary serial code in finalization and add parallelism for hints initialization

* Removed a lock, and attempts to fix the resulting issues that arose afterwards.

* Tweaks to remove the phase-based approach

* 1. Fix missing parsed edges caused by early resuming frames
2. Always choosing the alphabetically smallest name for a function if there are multiple

* Delete swap_busy

* 1. Handle ud2 instruction, which will raise an undefined opcode exception. Therefore, control flow should not fall through
2. When deleting a bogus function, the reference counts of the blocks in the function should be decremented

* 1. Rewrite createAndRecordFrame to allow concurrent frame creations.
2. Simplify the use of frame status: BAD_LOOKUP means frame does not exists
   and a caller should only create a new frame when the result is BAD_LOOKUP

* 1. Resume functions as soon as a function finds a ret instruction
2. Rewrite parts of the tail call correction in finalization

* Estimate parsing task size by function symbol size
and launch large tasks first

* Delete omp critical in parisng of a fram

* Get rid of unnecessary assert

* Small changes to fix some maybe-races

* Munge the annotations for c_hash_map a little, and hotfix a possible race.

* Silence a number of warnings. Identations a mess but its quieter.

* Rewrite the c_hash_map to expose the accessors as a rwlock.

* Replace lock for delayed frames with concurrent hash map

* Parallelize SymtabCodeSource::init_hints

* Parallelize CodeObject::process_hints

* Fix an infinite loop in the parsing finalization stages.

* 1. Fix parallelization for CodeObject::process_hint(): a local variable declared is moved from outside loop to inside loop
2. Fix debug print crash in Parser.C
3. Some code cleanup

* ParseAPI now initialize hints in parallel. So, if the user of ParseAPI overloads the function for creating
ParseAPI::Function, that code should be thread-safe.

Change the DynCFGFactor in dyninstAPI to use mutex to be thread-safe.

* Lasily preparing range data for functions and blocks.

* Add block ranges and clean some dead code

* Add a CMake flag to enable Valgrind annotations

* Use dyn_c_vector, and disable the parallelism for ELF stuff for now.

* Rough additions of locks in various places to make things work.

* Properly initialize the Module in all constructors.

* Fix compilation

* Get rid unnecessary boost::lock_guard and use entry lookup in loop tree construction

* Use static AArch64 decoder tables. Fixes dyninst/dyninst#630.

Other improvements include faster compile time (for affected files),
~1s less load time, ~7.8MiB smaller binary, and ~200KiB more memory usage.

Performance effects not yet tested.

* Should not delete unused ParseAPI::Function during parsing because CFGFactory will do delete all created functions in its destructor.

* Use exchange instead of store to keep Valgrind happy.

* Several fixes for analyzing .a files

1. Rewrite the OverlappingParseData to correct handle overlapping code regions.
2. In .o files, code starts at address 0, so address 0 can be a valid address.
   So, change indirect call target from address 0 to max address to represent indiret calls
3. Use CodeSource to check address validity, which would allow cross CodeRegions valid address;
   but use CodeRegion for raw code bytes, because using CodeSource may return code bytes
   from other regions that are overlapping.

* Fixes for gap parsing, which uses a different interface to call Parser

* Fix range data related to gap parsing

* Fix loop tree callee construction on Power

* Fix function removing in parsing finalization

* Fix crahses of symtabAPI tests on power

* Fix deadlock in constructing analysis graph for jump table analysis.

* Type refcount refactor, part 1: s/Type*/boost::shared_ptr<Type>/g

* Purge Type::refCount and all related code bits. The shared_ptr's handle it now.

Also add proper SFINAE on that one template, since now typeScalar and Type
have the same size (thank GCC's automatic bitfield construction).

* Add the backwards compatbility layer

* Fixup for a minor issue that should have popped up sooner

* CFGFactory class does not need to inherit boost_guard

* Fix compilation on ARM, and fix part of the backwards-compat layer.

* Adjust cmake file to new elfutils

* libdyninstAPI_RT.so should not link against libgomp, which would
cause crash at program startup time due to calling into uninitialized
rewritten libc.

* Cleanup OpenMP handling in build system

* Fix compilation when USE_OpenMP is set to OFF

* Fix a debug print crash

* Fix infinite recursion caused by missing stack unwind debug info

* Disable installing trampolines in instrumentation

* Stack walk should always have an increasing SP on x86

* Several fixes for parallel code parsing

1. Add a jump table finalization step. The assumption here is that different jump tables
   do not share entries. So, if one jump table runs into another one, we know that the
   entries that are overlapping with the next table are out-of-bound.
2. Remove edges and blocks for created by out-of-bound jump table entries
3. Handle problems of failing to resolve jump tables caused by out-of-bound entries from
   other jump table entries.

Co-authored-by: Jonathon Anderson <17242663+blue42u@users.noreply.github.com>
Co-authored-by: Tim Haines <thaines.astro@gmail.com>
6 months agoPrevent corruption to rax during stack alignment on x86-64 (#670)
Xiaozhu Meng [Mon, 18 Nov 2019 04:59:01 +0000 (22:59 -0600)]
Prevent corruption to rax during stack alignment on x86-64 (#670)

6 months agoAllow same address range to map to different source lines in DWARF (#643)
Sasha Nícolas [Sun, 17 Nov 2019 06:43:23 +0000 (00:43 -0600)]
Allow same address range to map to different source lines in DWARF (#643)

6 months agoParse dwarf variables with abstract origin attribute (#642)
Sasha Nícolas [Sun, 17 Nov 2019 02:28:17 +0000 (20:28 -0600)]
Parse dwarf variables with abstract origin attribute (#642)

6 months agoIgnore additional Eclipse file and spurious .gitignore (#681)
Tim Haines [Sat, 16 Nov 2019 20:32:03 +0000 (14:32 -0600)]
Ignore additional Eclipse file and spurious .gitignore (#681)

The instructionAPI/doc/.gitignore seems to be auto-generated when
building the documentation. It tries to ignore instructionAPI/doc/API
which is already in the git history, so it's best to just ignore it to
prevent its accidental inclusion.

6 months agoFix instrumentation regressions for libc-2.29 on ARM (#653)
Xiaozhu Meng [Sat, 16 Nov 2019 20:22:31 +0000 (14:22 -0600)]
Fix instrumentation regressions for libc-2.29 on ARM (#653)

* Fixes loading pre-instrumentation register values on aarch64
* Fix the handling of trap instruction on ARM for register liveness analysis
* Implement a byte matching heuristic for determining the length of _start
* Implement a spin lock use __atomic_test_and_set on ARM
*   1. Change stop signal from SIGBUS to (SIGRTMIN + 4) in dyninstAPI_RT.
*   2. In dyninstAPI, only do dyninstRT signal check if the signal is indeed (SIGRTMIN + 4)
* Refacotr BPatch and DyninstRT to use breakpoint as the way of communication

6 months agoImplement the check of ThreadDB at BPatch level (#667)
Xiaozhu Meng [Sat, 16 Nov 2019 01:39:08 +0000 (19:39 -0600)]
Implement the check of ThreadDB at BPatch level (#667)

6 months agoAdd explicit ElfUtils dependency for ParseThat and examples (#678)
Tim Haines [Fri, 15 Nov 2019 20:15:26 +0000 (14:15 -0600)]
Add explicit ElfUtils dependency for ParseThat and examples (#678)

When linking the binaries for ParseThat and the examples, the transitive linkage between libsymtabAPI and libelf was not correctly resolved by the linker. Instead, it used the system libelf which may or may not be correct. This was discovered when using a non-system compiler with the --sysroot switch.

6 months agoAdd $INSTALL/lib/elfutils subdirectory to build paths (#680)
Tim Haines [Fri, 15 Nov 2019 04:02:16 +0000 (22:02 -0600)]
Add $INSTALL/lib/elfutils subdirectory to build paths (#680)

6 months agoAllow sterile builds (#641)
Tim Haines [Wed, 13 Nov 2019 19:29:43 +0000 (13:29 -0600)]
Allow sterile builds (#641)

A sterile build requires that all dependencies are already installed on the system and thus cannot be downloaded/built from source by the Dyninst build system.

6 months agoUpdate issue templates
Sasha Nícolas [Thu, 31 Oct 2019 00:49:27 +0000 (19:49 -0500)]
Update issue templates

6 months agoUpdate issue templates
Sasha Nícolas [Thu, 31 Oct 2019 00:44:16 +0000 (19:44 -0500)]
Update issue templates

7 months agoReorder includes to fix hidden build dependencies (#665)
Tim Haines [Wed, 16 Oct 2019 17:45:52 +0000 (12:45 -0500)]
Reorder includes to fix hidden build dependencies (#665)

cmake/shared.cmake includes cmake/cap_def_arch.cmake which conditionally
sets cap_thread_db only if ThreadDB has been included (but does not
include it, itself).

7 months agoDeprecate Blue Gene/Q support (#662)
Tim Haines [Fri, 11 Oct 2019 19:13:44 +0000 (14:13 -0500)]
Deprecate Blue Gene/Q support (#662)

7 months agoDelete duplicate friend declaration of Parser in Block (#649)
Tim Haines [Fri, 11 Oct 2019 18:12:52 +0000 (13:12 -0500)]
Delete duplicate friend declaration of Parser in Block (#649)

Fixes #615

7 months agoRename getType() -> getDataClass() in Section 8.1 of SymtabAPI docs (#661)
Tim Haines [Fri, 11 Oct 2019 02:37:22 +0000 (21:37 -0500)]
Rename getType() -> getDataClass() in Section 8.1 of SymtabAPI docs (#661)

7 months agoFix spelling of getTypedefType in Section 8.1 of SymtabAPI docs (#660)
Tim Haines [Fri, 11 Oct 2019 02:19:27 +0000 (21:19 -0500)]
Fix spelling of getTypedefType in Section 8.1 of SymtabAPI docs (#660)

7 months agoUpdate handling of TBB CMake file for clang (#654)
Tim Haines [Fri, 11 Oct 2019 02:13:37 +0000 (21:13 -0500)]
Update handling of TBB CMake file for clang (#654)

* Update version handling in TBB CMake file
* Fix passing 'compiler' to TBB build system for clang

7 months agoFix typo in declaration of 'create' in Section 8.3 (#659)
Tim Haines [Fri, 11 Oct 2019 01:39:21 +0000 (20:39 -0500)]
Fix typo in declaration of 'create' in Section 8.3 (#659)

7 months agoChange dataTypeDefine -> DataTypedef in DataClass enum documentation (#650)
Tim Haines [Fri, 11 Oct 2019 01:27:59 +0000 (20:27 -0500)]
Change dataTypeDefine -> DataTypedef in DataClass enum documentation (#650)

Fixes #623
* Change dataTypeDefine -> DataTypedef in DataClass enum
* Update PDF

7 months agoUse CMAKE_xx_COMPILER when building external dependencies (#636)
Tim Haines [Fri, 4 Oct 2019 18:41:31 +0000 (13:41 -0500)]
Use CMAKE_xx_COMPILER when building external dependencies (#636)

8 months agoAllow CMake files for dependencies to be included multiple times (#639)
Tim Haines [Sat, 7 Sep 2019 21:54:47 +0000 (16:54 -0500)]
Allow CMake files for dependencies to be included multiple times (#639)

Previously, multiple inclusions would result in the library being looked
up or downloaded/built multiple times. This ensures these actions happen
only once.

8 months agoUse static AArch64 decoder tables. (#633)
Jonathon Anderson [Wed, 4 Sep 2019 21:53:40 +0000 (16:53 -0500)]
Use static AArch64 decoder tables. (#633)

Fixes dyninst/dyninst#630

Other improvements include faster compile time (for affected files), ~1.2s less lazy init time, ~7.8MiB smaller binary, and ~10MiB less heap usage.

* Fixes for the more pedantic issues

* Splice out the operandFactory tables.

* Splice out the nodeBranches tables.

8 months agoDon't use software breakpoints when creating traps for springboards (#637)
Xiaozhu Meng [Mon, 2 Sep 2019 21:51:04 +0000 (16:51 -0500)]
Don't use software breakpoints when creating traps for springboards (#637)

We should only emit trap instructions and record trap mapping for trap springboards, without involving software breakpoints.

9 months agoFix overlapping bug of program header segments on fixPhdr. (#618)
Sasha Nícolas [Thu, 15 Aug 2019 22:47:12 +0000 (17:47 -0500)]
Fix overlapping bug of program header segments on fixPhdr. (#618)

This fix is making the update of the program headers in two passes. First, we need to update the addresses, and then insert the new created segment.

9 months agoUpdates TLS descriptors values in .dynamic section (ARMv8, #614)
Sasha Nícolas [Thu, 15 Aug 2019 21:07:15 +0000 (16:07 -0500)]
Updates TLS descriptors values in .dynamic section (ARMv8, #614)

Update TLS descriptor values in .dynamic section when .got and .plt offsets are modified for ARMv8.

9 months agoUse private writable mmap when opening binaries and debug files (#624)
Jonathon Anderson [Mon, 12 Aug 2019 23:15:35 +0000 (18:15 -0500)]
Use private writable mmap when opening binaries and debug files (#624)

* Open debug files (privately) writable, to allow libelf to decompress sections.
* Fix for SEGV when performing endianness conversions in-place later.

9 months agoConvert snprintf with PRIx64 to std::to_string (#627)
Tim Haines [Thu, 8 Aug 2019 22:21:50 +0000 (17:21 -0500)]
Convert snprintf with PRIx64 to std::to_string (#627)

PRIx64 is from C99 and isn't available with g++ with older libc headers.

9 months agoUse PRIx64 macros for long long results for i686. (#517)
Stan Cox [Mon, 5 Aug 2019 17:27:51 +0000 (13:27 -0400)]
Use PRIx64 macros for long long results for i686. (#517)

* Use PRIx64 macros for long long results for i686.
* Define PRIx64 for _MSC_VER

10 months agoARMv8 initial work on rewriter (#612)
Sasha Nícolas [Tue, 2 Jul 2019 19:30:07 +0000 (14:30 -0500)]
ARMv8 initial work on rewriter (#612)

* Implement AArch64 InterModule Function call
Debug message needs to be removed after finding out
* why X0 is kept being used
* why putting X0 address value back to itself does not work

* fix memory access mistakes, now uses offset mode

* removed all the debug printout for imfc

* add rewriter mode check
delete unwanted functions

* fix break on dynamic mode

* aarch64 broken movePCToReg implementation

* Fix unnecessary multiple calls to buildSysRegMap.

This function should be called only once, but was being called for every
instruction to be decoded. As a result, dyninst would take a long time
to execute. Now to simply run test1_1 on create mode takes 28 seconds,
as opposed to 58 before this fix, and now closer to 20 seconds for x86_64.

* movePCToReg still not working

* fix addressing mode for emitLoadRelative

* LoadShared: snip_ref_shlib_var test passes

* add assert details, remove debug code, and format patch

* inst-aarch64: sprintf -> snprintf, debug comments cleanup

* Implement ARMv8 IMFC and Load/Store Shared (#562)

* Implement AArch64 InterModule Function call
* fix memory access mistakes, now uses offset mode
* removed all the debug printout for imfc
* add rewriter mode check- delete unwanted functions
* fix break on dynamic mode
* aarch64 broken movePCToReg implementation
* movePCToReg still not working
* fix addressing mode for emitLoadRelative
* LoadShared: snip_ref_shlib_var test passes
* add assert details, remove debug code, and format patch
* inst-aarch64: sprintf -> snprintf, debug comments cleanup
* Minor cleanup- Remove commented-out code and debug print statements.

* Minor cleanup

Remove commented-out code and debug print statements.

* PLT: implement emitPLTCall and emitPLTJump

10 months agoDelete .syntastic_cpp_config
Sasha Nícolas [Fri, 28 Jun 2019 18:30:57 +0000 (13:30 -0500)]
Delete .syntastic_cpp_config

11 months agoAdd note on TBB usage when built from source
Tim Haines [Tue, 11 Jun 2019 20:51:45 +0000 (15:51 -0500)]
Add note on TBB usage when built from source

12 months agoMerge pull request #599 from dyninst/bump_version_number v10.1.0
Xiaozhu Meng [Thu, 16 May 2019 18:40:05 +0000 (13:40 -0500)]
Merge pull request #599 from dyninst/bump_version_number

Update version number to 10.1.0

12 months agoFix broken link in README 599/head
Tim [Wed, 15 May 2019 22:18:16 +0000 (17:18 -0500)]
Fix broken link in README

12 months agoAdd example usage of CMAKE_INSTALL_PREFIX
Tim [Wed, 15 May 2019 22:17:56 +0000 (17:17 -0500)]
Add example usage of CMAKE_INSTALL_PREFIX

12 months agoFix formatting in README
Tim [Wed, 15 May 2019 22:17:41 +0000 (17:17 -0500)]
Fix formatting in README

12 months agoFix doc bugs in LibIberty
Tim [Wed, 15 May 2019 21:45:28 +0000 (16:45 -0500)]
Fix doc bugs in LibIberty

12 months agoFix doc bug in Boost.cmake
Tim [Wed, 15 May 2019 21:23:00 +0000 (16:23 -0500)]
Fix doc bug in Boost.cmake

12 months agoMove advanced build instructions and FAQ to wiki
Tim [Wed, 15 May 2019 21:22:42 +0000 (16:22 -0500)]
Move advanced build instructions and FAQ to wiki

12 months agoUpdate CHANGELOD for 10.1
Xiaozhu Meng [Wed, 15 May 2019 21:29:25 +0000 (16:29 -0500)]
Update CHANGELOD for 10.1

12 months agoUpdate version number to 10.1.0
Xiaozhu Meng [Fri, 10 May 2019 18:58:34 +0000 (13:58 -0500)]
Update version number to 10.1.0

12 months agoTBB spack fixes (#595)
Tim Haines [Wed, 15 May 2019 20:01:03 +0000 (15:01 -0500)]
TBB spack fixes (#595)

* Fix typos and formatting in TBB CMake files
* Set minimum version of TBB to 2018.6
    This is what the Spack package is using.
* Set the source version of TBB to 2019.5
    This is the most recent version.
* In TBB, split the dotted-decimal version to make the download version
* Correctly handle minor version in FindTBB

12 months agoUpdate LibIberty to new build system (#601)
Tim Haines [Wed, 15 May 2019 20:00:32 +0000 (15:00 -0500)]
Update LibIberty to new build system (#601)

* Update LibIberty to new build system
* Include LibIberty from base CMakeLists.txt
* Correctly use USE_GNU_DEMANGLER in cap_arch_def
* Remove USE_GNU_DEMANGER from options.cmake
     This is now handled in cmake/LibIberty.cmake.

12 months agoMerge pull request #596 from dyninst/fix-sw-stepper
Xiaozhu Meng [Tue, 14 May 2019 19:10:02 +0000 (14:10 -0500)]
Merge pull request #596 from dyninst/fix-sw-stepper

Fix DwarfFrameParser, decodeDwarfExpression and DwarfResult

12 months agoMerge pull request #600 from dyninst/boost_1_70_fix
Xiaozhu Meng [Mon, 13 May 2019 21:27:35 +0000 (16:27 -0500)]
Merge pull request #600 from dyninst/boost_1_70_fix

Compilation fix for boost 1.70

12 months agoCompilation fix for boost 1.70 600/head
Xiaozhu Meng [Mon, 13 May 2019 18:14:19 +0000 (13:14 -0500)]
Compilation fix for boost 1.70

12 months agoMerge pull request #564 from dyninst/patch_cfg
Xiaozhu Meng [Sun, 12 May 2019 02:18:47 +0000 (21:18 -0500)]
Merge pull request #564 from dyninst/patch_cfg

Fix bad interactions between patchAPI and parseAPI

12 months agoAugment BPatch_effectiveAddressExpr to accept a second parameter, which 564/head
Xiaozhu Meng [Mon, 11 Mar 2019 00:22:37 +0000 (19:22 -0500)]
Augment BPatch_effectiveAddressExpr to accept a second parameter, which
represents the number of bytes to access if reading/writing with this

API compatibility is maintained by setting the default value of the
seoncd parameter to 8 (bytes)

12 months agoRight now, the BPatch_deref and BPatch_regExpr do not specify the size.
Xiaozhu Meng [Wed, 6 Mar 2019 17:19:04 +0000 (11:19 -0600)]
Right now, the BPatch_deref and BPatch_regExpr do not specify the size.
Currently the default is 32-bit. Change the default to 64-bit

12 months agoWhen splitting a block using CFGModifier::split, we need to record the
Xiaozhu Meng [Tue, 5 Mar 2019 15:24:11 +0000 (09:24 -0600)]
When splitting a block using CFGModifier::split, we need to record the
new block in parse_data

12 months agoMerge pull request #592 from dyninst/pp_springboard
Xiaozhu Meng [Sun, 12 May 2019 00:20:42 +0000 (19:20 -0500)]
Merge pull request #592 from dyninst/pp_springboard

More fixes for parallel parsing, spring boards, and ARM

12 months agoDisable incomplete implementation for RA compensation for stack 592/head
Xiaozhu Meng [Sat, 11 May 2019 23:00:57 +0000 (18:00 -0500)]
Disable incomplete implementation for RA compensation for stack

12 months agoBump minimum CMake version to 3.4.0 (#598)
Tim Haines [Fri, 10 May 2019 23:50:10 +0000 (18:50 -0500)]
Bump minimum CMake version to 3.4.0 (#598)

This is needed for FindBoost and is already in the Spack recipe

12 months agoAdd ARM effective address calculation (#594)
Xiaozhu Meng [Fri, 10 May 2019 23:48:59 +0000 (18:48 -0500)]
Add ARM effective address calculation (#594)

12 months agoBPatch_effectiveAddress truncates mem addresses on Power (#593)
Xiaozhu Meng [Fri, 10 May 2019 23:46:59 +0000 (18:46 -0500)]
BPatch_effectiveAddress truncates mem addresses on Power (#593)

In certain circumstances, BPatch_effectiveAddress would generate code that truncated
memory addresses to the bottom 32bits. The result is that instrimentation would see only
the bottom 32bits of any memory address. Before this patch, the issue occurred when instrumentation was applied to load/store instructions where the address was located in registers r3-r11 (exclusive). Ideally this function should just be straight removed in future releases (only used by emitASLoad).

12 months agoFix jump table analysis for ROSE Registers (#576)
Xiaozhu Meng [Fri, 10 May 2019 23:45:27 +0000 (18:45 -0500)]
Fix jump table analysis for ROSE Registers (#576)

Remove assertions in code from translating Dyninst::MachRegister to ROSE Register. In addition, passing the error code back to jump table analysis.

12 months agoUpdate README to reflect new build system (#597)
Tim Haines [Fri, 10 May 2019 17:10:02 +0000 (12:10 -0500)]
Update README to reflect new build system (#597)

12 months agoAdd initial support for decoding AMD FMA4 and XOP instructions (#575)
Xiaozhu Meng [Fri, 10 May 2019 17:09:26 +0000 (12:09 -0500)]
Add initial support for decoding AMD FMA4 and XOP instructions (#575)

* Add initial support for decoding AMD FMA4 instruction, including:

e_vfmaddsd, e_vfmaddss, e_vfmsubpd, e_vfmsubsd, e_vfnmaddpd,

* Add initial support for decoding XOP instructions:

e_vpcomd, e_vpmacsdd, e_vpcmov, e_vpshad

* Add x86 instruction decoding support for vpperm, movbe, vpperm

12 months agoFix DwarfFrameParser, decodeDwarfExpression and DwarfResult 596/head
Sasha @leela [Thu, 9 May 2019 21:19:44 +0000 (16:19 -0500)]
Fix DwarfFrameParser, decodeDwarfExpression and DwarfResult

After porting Dyninst to use libdw, DwarfFrameParser missed dealing
with important Dwarf operations that would decode rules for findind
registers values. These rules were not properly decoded by Dyninst
decodeDwarfExpression, neither were being dealt by DwarFrameParser.
This fix properly retrieves libdw Dwarf operations and decodes them,
making it possible to DebugStepper work, which wasn't even before the
port, when lidwarf was being used on Dyninst 9.3.

Basically, Dwarf frame info can be a simple dwarf expression, representing
a value or a memory address, a location description, or a location list.
Libdw gives the consumer an array of dwarf operations that describes how
to find the value they're looking for, as opposed to libdwarf who gives
the consumer many out parameters that lead to different ways to find a
value. This important change made DwarfFrameParser work only partially
after the port. And this fix came to implement the cases that were not
being considered.

12 months agoFix compilation of thread_db_process (#571)
Sasha Nícolas [Wed, 8 May 2019 23:03:32 +0000 (18:03 -0500)]
Fix compilation of thread_db_process (#571)

On a machine without libthread_db.so, the placeholder class had missing member functions and the contructors were calling wrong base constructors.

12 months agoSupport parsing cubin in dyninst-10.0 (#556)
Keren Zhou [Tue, 7 May 2019 22:22:40 +0000 (17:22 -0500)]
Support parsing cubin in dyninst-10.0 (#556)

12 months agoOnly demangle names starting with "_Z" according to the Itanium C++ ABI
Xiaozhu Meng [Tue, 7 May 2019 19:45:46 +0000 (14:45 -0500)]
Only demangle names starting with "_Z" according to the Itanium C++ ABI

12 months agoIn ProccontrolAPI, adding reading & writing mutatee's memory with procfs.
Xiaozhu Meng [Tue, 7 May 2019 16:43:49 +0000 (11:43 -0500)]
In ProccontrolAPI, adding reading & writing mutatee's memory with procfs.
We fall back to use ptrace if procfs read & write fail.

This change is for fixing icache coherence issue for ARM dynamic instrumentaiton.
ARM architecture does not guarantee icache-dcache coherence. And writes through
ptrace does not seem to invalidate icache contents and caused SIGILLs

12 months agoFixing TBB dependencies during build. (#570)
Sasha Nícolas [Thu, 2 May 2019 21:18:00 +0000 (16:18 -0500)]
Fixing TBB dependencies during build. (#570)

Explicitly establish dependencies on TBB.

12 months agoElfutils cleanup (#591)
Tim Haines [Thu, 2 May 2019 20:54:12 +0000 (15:54 -0500)]
Elfutils cleanup (#591)

fixes #557
fixes #547
fixes #561

- Consolidate all elfutils options into cmake/ElfUtils.cmake
- Allow user to supply installation hint directories
- Allow user to specify minimum version
- Use user-specified minimum version when building from source instead of 'elfutils-latest.tar.gz'
- Unify system paths when searching for libelf and libdw (fixes #557)
- Correctly install headers/libs when building from source (fixes #547)
- Exports variables for use in Testsuite (fixes #561)
- Clean up formatting

12 months agoTBB Cleanup (#584)
Tim Haines [Thu, 2 May 2019 20:52:11 +0000 (15:52 -0500)]
TBB Cleanup (#584)

- Remove FindTBB submodule
- Consolidate all TBB stuff into cmake/ThreadingBuildingBlocks.cmake
- Explicitly die on non-UNIX platforms when building from source (previously, it did nothing)
- Minimum TBB version is 2018.0 (I'm not sure this is necessary or sufficient)
- Export include/library directories into the CMake cache for consumption by Testsuite
- Libraries and headers are exported to CMAKE_INSTALL_PREFIX when building from source
- Correctly handles broken TBB install (intel/tbb#98)
- Explicitly die on non-UNIX platforms when building from source (previously, it did nothing)
- Minimum TBB version is 2018.0 (I'm not sure this is necessary or sufficient)
- Export include/library directories into the CMake cache for consumption by Testsuite
- Default version to build from source is 2019_U5
- Libraries and headers are exported to CMAKE_INSTALL_PREFIX when building from source
- Correctly handles broken TBB install (intel/tbb#98)

12 months agoBoost cleanup (#578)
Tim Haines [Thu, 2 May 2019 20:49:01 +0000 (15:49 -0500)]
Boost cleanup (#578)

Substantially changes how we handle Boost builds in Dyninst.

Fixes #563

- Tagged build layouts are now fully supported
- Boost is exported to the same install structure as Dyninst (fixes #563)
- All cmake variables that control Boost's build options are now available for the user to change via cache variables (e.g., -DBoost_USE_MULTITHREADED)
- Substantial error handling has been added
- Consolidates all Boost-related activities into cmake/Boost.cmake
- Makes Boost-1.61 the new minimum version (needed for Filesystem)
- Builds Boost-1.69 when building from source

12 months agosimple working hybrid example of patchAPI (#588)
Ian A Mason [Mon, 29 Apr 2019 22:23:15 +0000 (15:23 -0700)]
simple working hybrid example of patchAPI  (#588)

* simple working hybrid example of patchAPI (using dyninstAPI to create the PatchMgr and PatchObject).

* TLC plus some remarks about running the rewritten program.

13 months agoFix PCWdiget implementation on ARMv8
Xiaozhu Meng [Tue, 23 Apr 2019 21:32:03 +0000 (16:32 -0500)]
Fix PCWdiget implementation on ARMv8

13 months agoMove architecture dependent code in PCWidget.C to three separate architecture specifi...
Xiaozhu Meng [Tue, 23 Apr 2019 19:17:23 +0000 (14:17 -0500)]
Move architecture dependent code in PCWidget.C to three separate architecture specific source files.

13 months agoFor jump table analysis, control flow edges can be created in different orders,
Xiaozhu Meng [Tue, 23 Apr 2019 14:02:39 +0000 (09:02 -0500)]
For jump table analysis, control flow edges can be created in different orders,
which lead to non-deterministic slicing and non-determinisitc jump table analysis.

Therefore, we need to sort source edges in slicing based on the edge's source block
address and edge type to ensure deterministic slicing.

13 months ago1. Replace springboards prioriy "OffLimits" and "Required" with "FuncEntry" and ...
Xiaozhu Meng [Thu, 18 Apr 2019 16:16:06 +0000 (11:16 -0500)]
1. Replace springboards prioriy "OffLimits" and "Required" with "FuncEntry" and "IndirBlockEntry".

Only "FuncEntry" springboards are required because control flow enter instrumentation
through function calls (we relocate the whole function even if only a part of the
function is instrumented).

"IndirBlockEntry" springboards are important for re-directing control flow from
jump tables back to instrumentation. But, it is not as important as "FuncEntry".

2. Jumps to code in another secion should be treated as tail calls.

13 months agoIn dynamic instrumentation, springboards are installed immediately after
Xiaozhu Meng [Sun, 14 Apr 2019 22:00:48 +0000 (17:00 -0500)]
In dynamic instrumentation, springboards are installed immediately after
users insert a snippet. The user can continue to insert more snippets to
the same function, which will trigger Dyninst to perform the additional
relocation. So, we need to overwrite existing springboard for newly added

In other words, we need to overwrite existing springboards if the existing
ones were installed in previous relocations.

13 months agoDelete unnecessary asserts
Xiaozhu Meng [Fri, 12 Apr 2019 21:38:44 +0000 (16:38 -0500)]
Delete unnecessary asserts

13 months agoThe _func_cnt member variable in class ParseAPI::Block should be atomic<int>,
Xiaozhu Meng [Fri, 12 Apr 2019 21:13:42 +0000 (16:13 -0500)]
The _func_cnt member variable in class ParseAPI::Block should be atomic<int>,
rather than just int. A block can be shared by multiple functions. So, when
multiple functions add/remove blocks at the same time, there will be race conditions.

13 months agoFix compilation error introduced during applying patches
Xiaozhu Meng [Fri, 12 Apr 2019 20:33:34 +0000 (15:33 -0500)]
Fix compilation error introduced during applying patches

13 months agoCorrectness fixes for springboard generators
Benjamin Welton [Wed, 13 Feb 2019 23:13:39 +0000 (17:13 -0600)]
Correctness fixes for springboard generators

This patch deals with issues where incorrect springboards could be generated.
Specifically addresses three issues:

1. Springboards trampling function data (addresses github issue #551)

2. Required springboards being spilling over block bounds onto
   other required springboards. Prior a if two required springboards were
   located near each other, there was a chance that one of the springboards
   could be partially overwritten resulting in broken behavior.

3. Unsafe reusage of a codegen object where if a trap was needed,
   both a branch and a trap would be written causing bad behavior.

13 months agoFix finding the trap mapping header in .dyninstInst
Xiaozhu Meng [Thu, 4 Apr 2019 17:55:23 +0000 (12:55 -0500)]
Fix finding the trap mapping header in .dyninstInst

DT_DYNINST entry of the .dynamic section points the memory offset of
the trap mapping header. Should use this information to locate
trap mapping table when adjusting trap mapping entries for PIC code

13 months ago1. If ParseAPI identifies a jump as a tail call, but later find that this jump is...
Xiaozhu Meng [Wed, 3 Apr 2019 23:04:14 +0000 (18:04 -0500)]
1. If ParseAPI identifies a jump as a tail call, but later find that this jump is the only incoming edge of the targXXX function, we should not treat this jump as a tail call.

In theory, it is reasonable either way. However, treating such jump
as a tail call can cause troubles for function entry instrumentation.
If the targXXX function may jump back to the original function, and
thus reach the tail jump. This becomes a recursive tail call.

However, Dyninst relocation seems to have problem adjusting the tail jump
to include entry instrumentation.

2. If the determination of a tail call is changed, we should re-compute
function boundaries, including ret blocks, exit blocks, call edges

13 months agoFix warnings on adjusting trap springboards
Xiaozhu Meng [Tue, 2 Apr 2019 20:27:40 +0000 (15:27 -0500)]
Fix warnings on adjusting trap springboards

13 months agoFix springboard traps for PIC code
Xiaozhu Meng [Tue, 2 Apr 2019 19:00:43 +0000 (14:00 -0500)]
Fix springboard traps for PIC code

13 months agoFix the problem where trap springboards are not written to the mutatee.
Xiaozhu Meng [Mon, 1 Apr 2019 23:36:03 +0000 (18:36 -0500)]
Fix the problem where trap springboards are not written to the mutatee.

13 months agoConvert ThreadDB error message to info message (#574)
Tim Haines [Thu, 28 Mar 2019 21:11:58 +0000 (16:11 -0500)]
Convert ThreadDB error message to info message (#574)

By default, the cmake 'message' command generates an error message. This converts it to an informational message.

13 months agoA few fixes for parallel parsing (#572)
Xiaozhu Meng [Thu, 28 Mar 2019 21:04:40 +0000 (16:04 -0500)]
A few fixes for parallel parsing (#572)

1. Fix a scenario where the delayed work of call ft edges may be skipped
2. Augment indirect jump target check, so that if a jump target is decoded
   to be No_Entry, we treat this jump target invalid
3. Should only re-parse jump tables (not indirect tail calls) for fixed point

On ppple, spring boards may need to be long branch (can be more than 5
instructions). Allocate enough space in codegen for long branch spring boards.

14 months agoShould set errno to zero before calling ptrace (#569)
Xiaozhu Meng [Tue, 26 Mar 2019 17:53:54 +0000 (12:53 -0500)]
Should set errno to zero before calling ptrace (#569)

14 months agoImplement ARMv8 IMFC and Load/Store Shared (#562)
L.E.R [Tue, 12 Mar 2019 17:59:45 +0000 (12:59 -0500)]
Implement ARMv8 IMFC and Load/Store Shared (#562)

* Implement AArch64 InterModule Function call
* fix memory access mistakes, now uses offset mode
* removed all the debug printout for imfc
* add rewriter mode check- delete unwanted functions
* fix break on dynamic mode
* aarch64 broken movePCToReg implementation
* movePCToReg still not working
* fix addressing mode for emitLoadRelative
* LoadShared: snip_ref_shlib_var test passes
* add assert details, remove debug code, and format patch
* inst-aarch64: sprintf -> snprintf, debug comments cleanup
* Minor cleanup- Remove commented-out code and debug print statements.

14 months agoFix ARM stack walking (#559)
Xiaozhu Meng [Tue, 12 Mar 2019 18:43:33 +0000 (13:43 -0500)]
Fix ARM stack walking (#559)

14 months agoFix unnecessary multiple calls to buildSysRegMap.
Sasha @leela [Fri, 15 Feb 2019 01:14:29 +0000 (19:14 -0600)]
Fix unnecessary multiple calls to buildSysRegMap.

This function should be called only once, but was being called for every
instruction to be decoded. As a result, dyninst would take a long time
to execute. Now to simply run test1_1 on create mode takes 28 seconds,
as opposed to 58 before this fix, and now closer to 20 seconds for x86_64.

14 months agoAttempts to fix legacy test failures in Dyninst test suite (#549)
Xiaozhu Meng [Thu, 7 Mar 2019 00:08:22 +0000 (18:08 -0600)]
Attempts to fix legacy test failures in Dyninst test suite (#549)

* In binary rewriting, when Dyninst needs to load a library,
    it does not check whether this library has been loaded before or not.
    Dyninst will create multiple binaryEdit objects for one library, which can cause inconsistent states between these objects.

    This fix adds a map to BPatch_binaryEdit to make sure each library is only loaded once.

* Fix pc_tls failures in dyamically linked binaries.
    The root cause is a broken library name matching code.
    Just should boost:filesystem::path to deal with file paths.

Closes #549

14 months agoFix tests in PIC mode (#553)
Xiaozhu Meng [Thu, 7 Mar 2019 00:06:54 +0000 (18:06 -0600)]
Fix tests in PIC mode (#553)

* In dynamic instrumentation for PIE, finding variables's locations needs to add the load base of the PIE.
    Get rid of wrong, special handling of finding the load base of PIE.
* On x86-64, when emulating call with push & jmp, the push needs to push all 64-bit of the callee addresses.
* A few fixes for PIC instrumentation on power
    1. Fix PC-relative load and store of variables
    2. The preamble of PIE uses R12 to set up R2. However,
    when generating intra-module calls, Dyninst does not
    set up R12 and will call the global entry, causing R2 to
    be incorrect. Since there is no need to change R2 for
    intra-module calls, we should call the local entry
* Fix function call replacment on power for PIC.
    Need to call local entry when doing an intra-module call
* Handle relocation type R_X86_64_REX_GOTPCRELX for binary rewriting of statically linked binaries on x86-64
* Fix endianess issues for generating _init and _fini functions on power

14 months agoElfutil version check (#558)
Tim Haines [Thu, 7 Mar 2019 00:04:05 +0000 (18:04 -0600)]
Elfutil version check (#558)

* Add Ubuntu locations
* Search for libelf.so instead of libelf.so.1
    This makes the likelihood of find a symlink more probable.
* Add version checking
    find_package_handle_standard_args doesn't check versions of shared
    libraries, so we need to do it manually.
* Always make the configuration for elfutils noisy

14 months agoAdd --enable-install-elfh when building elfutils from source (#555)
Tim Haines [Thu, 7 Mar 2019 00:03:38 +0000 (18:03 -0600)]
Add --enable-install-elfh when building elfutils from source (#555)

When building elfutils from source on systems that have old elfutils,
Dyninst couldn't find the correct version of elf.h due to it not
being copied from the elfutils build source directory to the include
directory. In the Feb 15 2019 release of elfutils, this flag was
added to fix this.

15 months agoFix separate debuginfo
Sasha Nicolas [Tue, 12 Feb 2019 23:44:30 +0000 (17:44 -0600)]
Fix separate debuginfo
Adding correct FrameFarser to static map
Parsing modules of correct debug file

15 months agoRevert the change from PR530 that will cause crashes in rewriting
Xiaozhu Meng [Fri, 8 Feb 2019 22:19:37 +0000 (16:19 -0600)]
Revert the change from PR530 that will cause crashes in rewriting
statically linked binaries.

15 months agoMerge pull request #548 from dyninst/dynsym_fix
Xiaozhu Meng [Fri, 8 Feb 2019 21:15:11 +0000 (15:15 -0600)]
Merge pull request #548 from dyninst/dynsym_fix

Do not put newly added functions to .dynsym, which may cause the load

15 months agoRemove undefined behavior from bit-shifting code
Tim Haines [Thu, 7 Feb 2019 22:33:13 +0000 (16:33 -0600)]
Remove undefined behavior from bit-shifting code

PR #536

Overflow of signed integer arithmetic (including shifting) is
undefined behavior in C++. Compilers are allowed to exploit
this UB for optimization purposes up to and including not
emitting any opcodes.

These were found using cppcheck.

15 months agoDo not put newly added functions to .dynsym, which may cause the load 548/head
Xiaozhu Meng [Wed, 6 Feb 2019 22:16:16 +0000 (16:16 -0600)]
Do not put newly added functions to .dynsym, which may cause the load
to behave abnormally due to duplicated symbols.

Note that adding symbols to .dynsym can be a legit use case, where
we expose hidden functions in shared libraries. But this use case
needs more development to support.

15 months agoMerge pull request #543 from dyninst/ppcle_rhel8_fix
Xiaozhu Meng [Wed, 6 Feb 2019 22:07:01 +0000 (16:07 -0600)]
Merge pull request #543 from dyninst/ppcle_rhel8_fix

Ppcle rhel8 fix

15 months agoFix several bugs in common/src/pathName.C
Tim Haines [Tue, 5 Feb 2019 19:31:10 +0000 (13:31 -0600)]
Fix several bugs in common/src/pathName.C

1. Tilde expansion is done _before_ the existence check.
Since `stat` does not do shell expansions, resolve_file_path("~")
    always returned an empty string instead of the expanded path.

2. Tilde detection logic was inverted

3. Remove possible buffer overflow when making path relative to CWD

ADDED features:

1. Removes leading and trailing whitespace

2. Add basic support for Windows file system by using Boost::filesystem
Expansion of Windows-specific shell variables, e.g. %HOME%, is _not_

3. Leverage move semantics to reduce copying
This reduces the maximum number of string copies from 5 to 3. When
resolve_file_path is invoked with an r-value, there are only two